CC BY
57
УНИВЕРСИТЕТ ИТМО
НАУЧНО-ТЕХНИЧЕСКИИ ВЕСТНИК ИНФОРМАЦИОННЫХ ТЕХНОЛОГИИ, МЕХАНИКИ И ОПТИКИ июль-август 2021 Том 21 № 4 http://ntv.ifmo.ru/
SCIENTIFIC AND TECHNICAL JOURNAL OF INFORMATION TECHNOLOGIES, MECHANICS AND OPTICS July-August 2021 Vol. 21 No 4 http://ntv.ifmo.ru/en/
ISSN 2226-1494 (print) ISSN 2500-0373 (online)
ИНФОРМАЦИОННЫХ ТЕХНОЛОГИЙ, МЕХАНИКИ И ОПТИКИ
doi: 10.17586/2226-1494-2021-21-4-515-524 УДК 004.04
Определение опасных состояний водителя транспортного средства на основе информации устройств носимой электроники Игорь Борисович Лашков
Санкт-Петербургский Федеральный исследовательский центр Российской академии наук (СПб ФИЦ РАН), Санкт-Петербург, 199178, Российская Федерация igor-lashkov@ya.ruH, https://orcid.org/0000-0001-6418-4660 Аннотация
Предмет исследования. Мониторинг поведения водителя в кабине транспортного средства является актуальной задачей для современных систем автоматизированной поддержки водителя (Advanced Driver Assistance System), относящихся к классу систем активной безопасности. Существующие исследования и решения в области современных систем помощи водителю ориентированы на использование электронных устройств в виде видеокамер, лазеров и радаров, которые получают измерительную информацию о водителе в кабине транспортного средства. Применение устройств носимой электроники, выполняющих измерения частоты сердечных сокращений, электрокардиограммы, движений пользователя и других показателей, позволяет точнее и надежнее получить результаты об опасном поведении водителя. Метод. Предложен подход к детектированию опасных состояний в поведении водителя на основе использования информации с устройств носимой электроники. Показано, что возникновение состояний агрессии и стресса водителя сопровождается характерными изменениями в частоте сердечных сокращений, измеряемых с использованием устройства носимой электроники. Основные результаты. Разработано мобильное приложение на платформе Android, выполняющее детектирование признаков состояния агрессии и стресса в поведении водителя с использованием данных, полученных с сенсоров устройств носимой электроники. При обнаружении опасного поведения водителя мобильное приложение сигнализирует об этом при помощи вибрации и звукового сигнала, воспроизводимого смартфоном. Выполнена апробация разработанного подхода на основе набора данных, собранного в реальных условиях вождения на дорогах общего пользования в городе и на загородных трассах в различных условиях вождения. Практическая значимость. Детектирование признаков агрессивного поведения и состояния стресса в поведении водителя позволяет дополнить информацию о водителе, и тем самым улучшить эффективность систем мониторинга водителя в кабине транспортного средства, ориентированных на предотвращение и снижение риска возникновения дорожно-транспортных происшествий и улучшения навыков участников дорожного движения. Предлагаемый подход может быть использован совместно с другими технологиями мониторинга поведения водителя при построении интеллектуальной системы поддержки водителя. Ключевые слова
транспортное средство, водитель, смартфон, сенсоры, устройство носимой электроники, мониторинг, обработка
информации
Благодарности
Исследование выполнено при финансовой поддержке РФФИ в рамках научного проекта № 19-29-09081 (алгоритмы выявления признаков агрессивного поведения и состояния стресса водителя). Концептуальная модель мониторинга поведения водителя была поддержана бюджетной темой в Санкт-Петербургском Федеральном исследовательском центре Российской академии наук (СПб ФИЦ РАН) № 0073-2019-0005. Разработка мобильного приложения выполнена при финансовой поддержке Фонда содействия инновациям (программа «УМНИК»). Ссылка для цитирования: Лашков И.Б. Определение опасных состояний водителя транспортного средства на основе информации устройств носимой электроники // Научно-технический вестник информационных технологий, механики и оптики. 2021. Т. 21, № 4. С. 515-524. doi: 10.17586/2226-1494-2021-21-4-515-524
© Лашков И.Б., 2021
Determination of dangerous driving behavior based on the use of information
from wearable electronic devices Igor B. Lashkov
St. Petersburg Federal Research Center of the Russian Academy of Sciences, Saint Petersburg, 199178, Russian Federation
igor-lashkov@ya.ruH, https://orcid.org/0000-0001-6418-4660
Abstract
Monitoring the driver's behavior in the cabin of a vehicle is an urgent task for modern automated driver support systems (Advanced Driver Assistance Systems), which belong to the class of active safety systems. Existing research and solutions in the field of modern driver assistance systems are more focused on the use of electronic devices in the form of video cameras, lasers, and radars that provide measurement information about the driver in the cabin. However, the use of wearable electronic devices that measure the heart rate, electrocardiogram, user movements, and other indicators, allows one to obtain results about the driver's dangerous behavior more accurately and reliably. The paper proposes an approach to detecting dangerous states in the driver's behavior in the cabin of a vehicle based on the use of information from wearable electronic devices. The study shows that it is sufficient to use heart rate measurements passed from wearable electronic devices to detect dangerous states, such as aggression and stress. The developed mobile application on the Android platform allows detecting signs of aggression and stress in the driver's behavior using data obtained from sensors of wearable electronic devices. When the driver shows dangerous behavior in the cabin, the mobile application warns the driver by vibrating the wearable electronic device and an audio signal played by the smartphone. The developed approach is tested on a data set collected in real driving conditions on public roads in the city and on country roads in various driving conditions. Detection of signs of aggression and stress in the driver's behavior allows one to supplement information about the driver, and thereby improve the effectiveness of driver monitoring systems in the cabin of the vehicle, aimed at preventing and reducing the risk of road accidents and improving the skills of road users. The proposed approach can be used in combination with other technologies for monitoring driver behavior when building an intelligent driver support system. Keywords
vehicle, driver, smartphone, sensors, wearable electronic device, monitoring, information processing Acknowledgements
The study was carried out with the financial support of the RFBR within the scientific project No. 19-29-09081 ("Algorithms for Detecting Signs of Aggressive Behavior and Driver Stress"). The conceptual model of driver behavior monitoring was supported by the budget theme of the SPC RAS No. 0073-2019-0005. The development of the mobile application was supported by FASIE (the program "UMNIK").
For citation: Lashkov I.B. Determination of dangerous driving behavior based on the use of information from wearable electronic devices. Scientific and Technical Journal of Information Technologies, Mechanics and Optics, 2021, vol. 21, no. 4, pp. 515-524 (in Russian). doi: 10.17586/2226-1494-2021-21-4-515-524
Введение
В отчете по безопасности дорожного движения (по всем странам мира)1 утверждается, что дорожно-транспортный травматизм является основной причиной смерти детей и молодежи в возрасте от 5 до 29 лет. По данным отчета в 2018 году риск смерти в результате дорожно-транспортных происшествий остается самым высоким в Африке, равным 26,6 случая на 100 000 населения, и самым низким в Европе — 9,3 случая на 100 000.
Значительное число автомобильных аварий связано с состоянием стресса и агрессивного поведения водителя. Разработка системы мониторинга водителей крайне актуальна, поскольку дорожно-транспортные происшествия остаются одной из ключевых причин гибели и травматизма на сегодняшний день [1]. Например, в 2019 году компания Volvo объявила о разработке встроенной в автомобиль системы видеонаблюдения для выявления водителей, управляющих автомобилем в состо-
1 (2018). Global Status Report on Road Safety 2018. Geneva: World Health Organization [Электронный" ресурс]. URL: https://www.who.int/violence_injury_prevention/road_safety_ status/2018/English-Summary-GSRRS2018.pdf (дата обращения: 20.03.2021).
янии алкогольного опьянения и усталости2. Основной целью автоконцерна является улучшение навыков управления транспортным средством (ТС) с конечной целью приблизиться к нулевому числу дорожно-транспортных происшествий. Система, ориентированная на использование смартфона и персональных устройств носимой электроники, обладает преимуществами компактности, мобильности ввиду небольших размеров. В том числе имеет низкую начальную стоимость и открытость разработки по сравнению со встроенными в автомобиль системами.
Другой более доступный вариант построения систем поддержки водителя — применение мобильных приложений, заранее предустановленных на смартфонах. На данный момент смартфоны и приложения, устанавливаемые на них, приобретают все большую популярность. Так, например, 75 % используемых в настоящее время мобильных устройств и 96 % новых приобретенных устройств - смартфоны [1].
2 Volvo Cars to Deploy in-Car Cameras and Intervention Against Intoxication [Электронный" ресурс]. URL: https://www. media.volvocars.com/global/en-gb/media/pressreleases/250015/ volvo-cars-to-deploy-in-car-cameras-and-intervention-against-intoxication-distraction (дата обращения: 20.03.2021).
При возникновении опасного поведения водителя во время вождения мобильное приложение сигнализирует о нем при помощи звукового и графического предупреждения, позволяя водителю вовремя затормозить и избежать дорожно-транспортного происшествия.
В процессе своего функционирования современные системы автоматизированной поддержки водителя (Advanced Driver Assistance System, ADAS), интегрированные в архитектуру автомобилей на этапе производства, а также смартфоны используют различного вида видеокамеры, считывающие изображение лица и тела водителя. Такой подход к мониторингу поведения водителя в кабине ТС подвержен множественным недостаткам, включая условия освещенности, пространственные и искусственные помехи на лице (маска, очки), отражения от окружающих объектов. Наиболее перспективные подходы мониторинга поведения водителя, основаны на измерении пульса, электрокардиограммы и других биологических показателей человека. Исследование и разработка таких подходов ведется при помощи медицинских устройств, а также устройств носимой электроники.
Так, например, регистрация значений электромио-граммы и электроэнцефалограммы (ЭЭГ) водителя в режиме реального времени и измерение изменений кожно-гальваническои реакции [2] позволяют устройствам носимой электроники определять степень усталости водителя, заблаговременно предупреждая его при помощи звукового и вибросигналов. Один из примеров таких устройств — наручный браслет со встроенным датчиком, производимый компанией Неироком [3] для мониторинга психофизиологического состояния человека путем обнаружения сонливости по результатам измерении" кожно-гальванической реакции. Такой технологичный способ автоматического детектирования признаков опасного поведения водителя, основанный на применении сенсоров для измерения биологических показателей человека, более объективен к результатам измерений и менее подвержен к каким-либо помехам или искажениям, чем изображение с видеокамеры.
Постановка задачи
Цель работы — разработка подхода для детектирования признаков состояний стресса и агрессивного поведения водителя в кабине ТС на основе обработки и анализа данных с устройств носимой электроники. В качестве встроенных сенсоров применены: датчик частоты сердечных сокращений; акселерометр для анализа изменений в движении человека; сенсоры, позволяющие получить изменения в движении ТС (акселерометр, гироскоп, GPS (Global Positioning System, система глобального позиционирования)); смартфон водителя. Предложенный подход основан на мониторинге поведения водителя и оценке его эмоциональной нагрузки в кабине ТС, который позволяет заблаговременно выявлять признаки небезопасного поведения человека при вождении.
Подход ориентирован на использование единого набора данных, сформированного показателями с
датчиков устройства носимой электроники и сенсоров смартфона, с целью анализа психоэмоционального состояния водителя. Набор сенсорных данных позволит описать контекст окружающей обстановки, включая текущую дорожную ситуацию, и тем самым учесть факторы, влияющие на возникновение опасного поведения водителя, отклоняющегося от нормы. Полученные данные ориентированы в первую очередь на оценку эмоционального состояния водителя, тогда как физическая нагрузка, оказываемая на водителя, может быть проанализирована при помощи данных с сенсоров смартфона, по изображению с видеокамеры, датчиков движения (акселерометр, гироскоп, GPS), аудиосигнала, полученного с микрофона в кабине ТС. Одновременное использование данных о визуальном (внешнем) состоянии водителя, а также о его эмоциональном поведении (внутреннем) способно повысить точность и надежность работы системы поддержки водителя [4, 5].
Исследования в области систем мониторинга поведения водителя
Системы мониторинга водителя предназначены для наблюдения за его поведением в кабине ТС в режиме совершения поездки и автоматического определения опасных состояний и предупреждения водителя. На сегодняшний день фактор поведения водителя [6] играет значительную роль в обеспечении безопасности дорожного движения как для самого водителя, так и для пассажиров, и других участников дорожного движения. В [7] авторы утверждают, что дорожно-транспортные происшествия вызваны снижением уровня бдительности водителя и его отвлечением внимания от дороги. В рамках мониторинга за поведением водителя авторы настоящего исследования выделили ряд проблем, связанных с недостаточным освещением, отражением от стекол и препятствий, мешающих обзору. Для решения перечисленных проблем предложено разработать систему детектирования и классификации взгляда водителя ТС на основе данных с датчиков камеры ближней инфракрасной области, использующей в своей работе метод глубокого обучения.
Метод электрофизиологического мониторинга (ЭЭГ) активно применяется в последние годы при анализе поведения водителя в рамках безопасности дорожного движения, и, в частности, раннего оповещения и предупреждения об утомлении водителя. В [8] предложен метод классификации усталости водителя, основанный на алгоритме взвешенного анализа главных компонент, позволяющий уменьшить размерность сигналов ЭЭГ для обработки в реальном времени. Цель данного метода — улучшение диагностики опасного вождения во время управления автомобилем и повышение скорости обнаружения опасного состояния в поведении водителя. Авторы настоящей работы применили метод опорных векторов в качестве классификатора для оценки эффективности разработанного метода в экспериментах с использованием симулятора вождения при участии восьми добровольцев. В работах [9, 10] рассмотрены биологические показатели.
Физиологические параметры, измеренные у человека во время управления ТС, способны помочь выявить различные признаки проблем со здоровьем, отклоняющиеся от нормы. В работе [11] предложена система мониторинга здоровья, построенная на основе использования подушечки для сиденья автомобиля, наполненной воздухом, и встроенных в нее датчиков для обнаружения начала инсульта у водителя во время управления ТС. Основная цель исследования — выявление связанных со здоровьем проблем при помощи физиологических данных пожилых водителей. Чтобы найти аномалию здоровья водителя, данные, относящиеся к электрокардиографии, электромиографии и частоте сердечных сокращений, сравниваются с ранее сохраненной записью о здоровье в качестве эталонных данных. Авторы статьи предположили, что сочетание нескольких различных датчиков обеспечит надежность работы предлагаемой системы мониторинга. Работа [12] основана на непрерывном измерении частоты сердечных сокращений у водителя во время вождения, и контроле сердечной и дыхательной активностей.
В [13] предложен подход, который основан на использовании датчика акселерометра смартфона для отслеживания различных маневров, представляющих агрессивное вождение. Внезапное торможение и ускорение детектируются по характеру изменения продольного ускорения. В то же время разработанная система опирается на встроенный в смартфон гироскоп для распознавания резких поворотов. Данные, считываемые с сенсоров смартфонов, помогают классифицировать агрессивное и неагрессивное вождение на основе паттернов вождения. В [14] использованы встроенные в смартфон датчики (GPS, акселерометр, гироскоп и видеокамера) для анализа поведения водителя автомобиля в городе Сан-Франциско на основе данных бортовых журналов. Такой подход использует технику обучения для классификации поведения вождения, распознавания различных паттернов водителей и создания цифрового профиля пользователя.
Из анализа систем мониторинга поведения водителя, перечисленные системы применяют технологичные подходы для детектирования небезопасного поведения человека за рулем, включая обработку измерений биологических сигналов, сигнализирующих об изменениях здоровья человека, внешних признаках человека по изображению с камеры, и данных с датчиков, описывающих изменения движения в пространстве. Использование отдельно одного подхода из представленных не позволяет добиться эффективности работы системы, которую можно достичь при использовании нескольких подходов одновременно. Это связано с тем, что данные о пульсе и биологические показатели являются надежными показателями при оценке физиологического состояния человека. В сочетании с датчиками, отслеживающими движение в пространстве, перечисленные показатели позволяют повысить эффективность мониторинга водителя при детектировании состояний стресса и агрессии во время вождения.
Концептуальная модель мониторинга поведения водителя
На рис. 1 представлена концептуальная модель архитектуры системы мониторинга, ориентированная на детектирование признаков усталости и агрессивного стиля вождения, с использованием данных устройств носимой электроники и сенсоров смартфона. На сегодняшний день смартфоны уже оснащены широким набором различных электронных датчиков, осуществляющих взаимодействие с окружающей средой. В работе использованы инерциальные датчики смартфона, включая акселерометр, гироскоп и GPS, которые позволяют фиксировать данные о том, как водитель взаимодействует с автомобилем и управляет им. Также использованы громкоговорители в виде ряда микрофонов, улавливающих звуковой сигнал внутри салона автомобиля. Географическое местоположение, представленное в виде кортежа (широта, долгота, высота) и данные о движении, включая скорость, ускорение и поворот ТС, регистрируются датчиками инерциального типа. Второй компонент модели — устройство носимой электроники, а именно фитнес-браслет. Такое устройство обладает датчиком 3-х осевого акселерометра, характеризующим движения тела водителя, и оптическим пульсометром, измеряющим частоту сердечного пульса.
В процессе вождения данные о пульсе и с 3-х осевого акселерометра, полученные с фитнес-браслета, а также записи, описывающие характеристику управления ТС, дополняют друг друга информацией об окружающей обстановке внутри кабины ТС. Накопленная информация позволяет выявлять с известной долей достоверности эмоциональное состояние водителя, описывающее его физиологическое поведение, в сравнении со следующими заранее определенными классами:
— нормальный, характеризующийся спокойным (обычным) стилем вождения;
— невнимательный, отвлекающийся от управления автомобилем;
— сонливый, проявляющий характерные признаки засыпания (дремоты) за рулем, и медленную скорость реакции на меняющиеся сигналы светофора;
— раздражительный или водитель, испытывающий страх и резко реагирующий на окружающую обстановку;
— агрессивный, характеризующийся опасным стилем вождения и не соблюдающий правила дорожного движения.
Данные об эмоциональном и физиологическом состояниях водителя позволяют детектировать состояние стресса и агрессивное поведение водителя, и оповещать его о наступлении экстренного события путем воспроизведения звукового сигнала и включения вибрации при помощи устройства носимой электроники (фит-нес-браслета). Оповещения водителю об обнаруженных признаках стресса или агрессии позволят своевременно его предупредить и не допустить возникновение дорожного происшествия или снизить его последствия.
Рис. 1. Концептуальная модель системы мониторинга поведения водителя Fig. 1. Reference model for monitoring driver behavior
Алгоритмы выявления признаков агрессивного поведения и состояния стресса водителя
Агрессивное поведение водителя на дороге определяется как совершение преступления с использованием автомобиля или другого опасного оружия водителем или пассажиром(пассажирами) одного автомобиля на водителя или пассажира(пассажиров) другого автомобиля или ТС, вызванное инцидентом, произошедшим на проезжей части. Состояние агрессивного поведения и стресса могут быть выявлены с использованием данных о пульсе водителя, а также параметров, описывающих управление ТС, а именно скорость движения, ускорение и торможение, поворот. В таком случае признаки агрессивного поведения водителя на дороге могут быть обнаружены как посредством анализа его физической нагрузки при управлении ТС с использованием данных с датчиков движения, так и оценке эмоциональной нагрузки на основе частоты сердечных сокращений с устройства носимой электроники. Схема алгоритма, ориентированного на выявление признаков агрессивного поведения у водителя, представлена на рис. 2.
Существующие исследования не подтверждают направленный характер изменения (повышение/понижение) сердечного пульса при агрессивном вождении. Выявление различий частоты пульса при нормальном и агрессивном стилях вождения позволит детектировать присутствие поведения человека за рулем ТС, отличающегося от нормального состояния. Такие показатели, как скорость движения, параметры управления рулевым колесом, торможение и ускорение позволяют описать
манеру вождения водителя. События, включающие небезопасное использование рулевого колеса, сопровождающегося многочисленными перестроениями, резкими ускорениями, торможениями или поворотами; неоднократные превышения скоростного режима за поездку, могут свидетельствовать о возникновении признаков агрессивного поведения водителя в дорожной обстановке. Стоит отметить, что признаки состояния стресса и агрессивного поведения водителя опираются на ряд дополнительных параметров, собираемых с сенсоров смартфона, для описания контекста, и анализируемых системой поддержки водителя Drive Safely. К таким сенсорам относятся фронтальная или тыловая видеокамера, гиро^о^ магнитометр, GPS, микрофон, и другие датчики. Так, например, использование доли открытости глаз водителя в течение некоторого промежутка времени позволяет обосновать уровень усталости водителя в процессе движения. Или же поворот головы водителя, обусловленный углом поворота по направлению, отличающемуся от направления движения ТС, дополняет информацию о поведении водителя в кабине ТС, и характеризует его сосредоточенность и внимание на дорожной обстановке.
Рассмотрим алгоритм, предназначенный для детектирования состояния стресса у водителя (рис. 3). Стресс можно определить как сложную и в то же время безадресную реакцию организма, включающую физические и психические проявления, а также эмоциональные переживания [15]. Реакция на стресс связана с активностью автономной нервной системы, изменения которой можно отслеживать по биологических сигналам человека и производным признакам [16]. В работе
-Нет-
Рис. 2. Схема алгоритма выявления агрессивного состояния у водителя. N — максимальное количество событий, которое не приводит к детектированию опасного поведения; L — временной интервал,
за который происходит расчет опасных состояний
Fig. 2. Scheme of the algorithm for driver's aggressive state detection. N stands for the maximum number of the events that do not lead to the detection of dangerous behavior; L stands for the time interval for
which dangerous states are calculated
Рис. 3. Схема алгоритма выявления состояния стресса у водителя Fig. 3. Scheme for the algorithm for driver's stress detection
[17] показано, что стресс определяется повышением частоты сердечных сокращений. Подтверждено, что статистические показатели на временной шкале пригодны для обнаружения признаков стресса. К таким показателям относятся максимальное, минимальное и среднее значения R-R интервалов (интервалы между сердечными сокращениями), среднее значение, стандартное отклонение пульса и другие.
Использование акселерометра и датчика GPS, встроенных в смартфон, позволяют их применять для обеспечения мониторинга различных паттернов вождения, включая резкое ускорение, торможение и поворот ТС. Датчик акселерометра, встроенный в устройство носимой электроники, регистрирует характеристику поворота рулевого колеса и его резкость при совершении дорожных маневров. Накопившиеся опасные сигналы за некоторый последний промежуток времени L, дают возможность сделать вывод о том, находится ли водитель в состоянии стресса.
Реализация системы мониторинга
поведения водителя на смартфоне
Данные с сенсоров смартфона и устройств носимой электроники были собраны при помощи смартфонов на платформе Android. Разработка программного кода приложения выполнена на языке Kotlin в среде программирования Android Studio. В качестве устройства носимой электроники использован браслет Xiaomi Mi Band 3, позволяющий получить частоту пульса в минуту и параметры работы акселерометра, представленные числовыми измерениям в плоскости по трем осям X, Y, Z. Данные, накопленные приложением, составляют продолжительность поездки — 5 ч при участии трех добровольцев (с идентификаторами 1-3 на рис. 4). Результаты исследования содержат значения пульса с пульсометра, положения в пространстве и ускорения с акселерометра, гироскопа, датчика GPS, встроенных в смартфон, а также акселерометра, интегрированного в фитнес-браслет. Анализ набора значений частоты пульса (уд/мин), скорости движения (км/ч), и основных характеристик управления ТС, на известном промежутке времени T позволяют рассматривать каждое небезопасное состояние водителя как вектор событий, который произошел в определенный момент времени на протяжении поездки. Так, например, скачкообразное изменение исходных относительных значений и обработанных статистических показателей частоты пульса водителя и резкое изменение скорости движения, ускорения или торможения, ТС на множестве событий, и их повторные возникновения впоследствии, сигнализируют об обнаружении признаков агрессивного вождения. В рамках поездок были соотнесены усредненные значения о частоте пульса (HeartRate_Mean), скорости движения (Speed_Mean), и движениях рук водителем, представленных данными с акселерометра устройства носимой электроники (AccelBodyX_Mean, AccelBodyY_Mean). Полученные значения были вычислены как среднее арифметическое для множества событий, выбранных за каждые 2 с в течение всей поездки водителя. Для срав-
нения такие значения показаны на графиках (рис. 4) на примере поездки продолжительностью 40 мин. Можно заметить, что соотнесение и использование нескольких вычисленных параметров позволяет охарактеризовать поведение водителя в каждый момент времени в течение поездки.
Полученными и вычисленными параметрами, составляющими данные о поездке, являются:
— дата/время возникновения события в конкретный момент времени; среднее и стандартное отклонение значений частоты пульса (уд/мин);
— скорость движения ТС (км/ч);
— угол поворота головы (градусы);
— доля времени, в течение которого глаза водителя закрыты (PERCLOS);
— состояние водителя, характеризующее его нормальное, агрессивное поведение или состояние стресса. На рис. 5 приведена часть пути поездки водителя
на географической карте, характеризующая опасное поведение водителя путем окрашивания трека в красный цвет.
Классификация стиля вождения водителя разработана c использованием алгоритма машинного обучения CatBoost, построенного на основе градиентного бустин-га над решающими деревьями. Обучающая выборка для данного классификатора сформирована на основе накопленных поездок водителей, и разделена на два различных набора данных в следующих соотношениях: обучающая 80 %, и тестовая 20 %. Обучающая выборка использовалась при построении и валидации модели с использованием алгоритма N-fold Cross Validation. С целью оптимизации представления и исполнения такой модели на смартфоне водителя применен экспорт модели непосредственно в исходный код на языке программирования C++, что по умолчанию поддерживается самой библиотекой CatBoost. На вход данной модели поступает набор статистически значимых признаков, заранее посчитанных в течение последних 3 с от рассматриваемого момента времени.
К таким статистически значимым признакам относятся: среднее значение пульса за период; стандартное отклонение пульса водителя; коэффициент эксцесса модуля пульса и ускорения, переданного пульсометром и датчиком движения, встроенных в устройство носимой электроники.
Выходным значением для модели, обученной при помощи библиотеки CatBoost, является значение, обозначающее текущее состояние водителя, где 0 — нормальное состояние, 1 — состояние стресса, и 2 — агрессивное поведение водителя за рулем ТС. Тестовая выборка позволила вычислить финальные статистические показатели классификатора. Итоговая модель была провалидирована на тестовом датасете данных и показала точность классификатора, равную 86 %, полноту — 82 % и гармоническое среднее F1 — 84 %.
Заметим, что во время проведения экспериментов произошел случай, когда автоинспектор остановил водителя. По результатам анализа данных, пришедших от данного водителя за эту поездку, каких-либо заметных отклонений в значениях пульса или других показателей замечено не было. Можно сказать, что подобного
06:23:20 06:31:40 06:40 06:48:20 06:56:40 07:05 Т, часы : минуты : с екун ды
06:23:20 06:31:40 06:40 06:48:20 06:56:40 07:05 Т, часы:минуты:секунды
120
15:25 15:33:20 15:41:40
Т, часы:минуты:секунды
15:50
120
100
11:15 11:23:20 11:31:40 11:40 Т, часы:минуты:секунды
11:48:20
Рис. 4. Динамика изменения пульса (HeartRate_Mean), скорости движения (Speed_Mean) и изменения положения рук (AccelBodyX_Mean и AccelBodyY_Mean) водителей с идентификаторами: 1 (а), 2 (b) и 3 (с) во время поездки Fig. 4. Dynamics of changes in the pulse (HeartRate_Mean), movement speed (Speed_Mean), and hand position (AccelBodyX_ Mean and AccelBodyY_Mean) of the driver during the trip for users with id equal to 1 (a), 2 (b), and 3 (с)
Рис. 5. Часть пути поездки водителя Fig. 5. Part of the driver's trip
вида дорожные ситуации, а также различные погодные условия (например, гололед, ливень, жаркая погода) по-разному оказывают влияние на состояние и поведение того или иного водителя и в большей мере зависят от его водительского опыта, психологического типа человека, наличию тех или иных физических ограничений при вождении. Так, например, частота пульса для одного водителя в тяжелых погодных условиях может повыситься, а для другого не изменится.
Заключение
В работе предложен подход к детектированию опасных состояний в поведении водителя в кабине транспортного средства на основе использования сенсоров с устройств носимой электроники и смартфона. Представлена концептуальная модель автоматизированной поддержки водителя, и разработаны алгоритмы определения признаков состояния стресса и агрессивного поведения у человека за рулем транспортного средства. Модель и алгоритмы в рамках гибридного подхода совмещают данные разных электронных устройств и способны найти применение при построении современных систем поддержки водителя. Возможно повышение эффективности работы данных систем посредством обработки показаний частоты сердечных сокращений человека, характеристик поворота рулевого колеса, управления транспортным средством, описанного при помощи паттернов ускорения, торможения, поворота и изменения скорости движения. Предложенный подход ориентирован на поддержку
Литература
1. Moody J., Bailey N., Zhao J. Public perceptions of autonomous vehicle safety: An international comparison // Safety Science. 2020. V. 121. P. 634-650. https://doi.org/10.1016/j.ssci.2019.07.022
2. Val-Calvo M., Álvarez-Sánchez J.R., Ferrández-Vicente J.M., Díaz-Morcillo A., Fernández-Jover E. Real-time multi-modal estimation of dynamically evoked emotions using EEG, heart rate and galvanic skin response // International Journal of Neural Systems. 2020. V. 30. N 4. P. 2050013. https://doi.org/10.1142/S0129065720500136
3. Dementienko V., Yurov A., Ivanov I., Makaev D. Remote monitoring of the driver status as a means of improving transport safety // Transportation Research Procedia. 2017. V. 20. P. 138-142. https://doi.org/10.1016/j.trpro.2017.01.035
4. Kashevnik A., Lashkov I., Ponomarev A., Teslya N., Gurtov A. Cloud-based driver monitoring system using a smartphone // IEEE Sensors Journal. 2020. V. 20. N 12. P. 6701-6715. https://doi.org/10.1109/JSEN.2020.2975382
5. Kashevnik A., Lashkov I., Gurtov A. Methodology and mobile application for driver behavior analysis and accident prevention //
водителя и недопущение дорожно-транспортного происшествия. Своевременно обращается внимание водителя на возникающие опасности.
Параметры управления транспортным средством позволяют оценить текущее состояние водителя в момент времени. Присутствие признаков небезопасного поведения человека за рулем может потенциально снизить безопасность для водителя и других участников дорожного движения. В целях повышения безопасности и экономических факторов информация об управлении транспортным средством способна найти применение в работе страховых и логистических компаний, специализирующихся на грузоперевозках, а также в области пассажирских перевозок.
При детектировании небезопасного поведения водителя для анализа пульса и движений рулевого колеса во время управления транспортным средством применяются устройства носимой электроники, широко представленные многофункциональными фитнес-трекера-ми, смарт-часами, и смарт-браслетами. Использование данных устройств обусловлено востребованностью и популярностью среди людей при оценке физической активности (пройденное расстояние, количество шагов) и физического состояния (пульс, сон, давление). Также электронные устройства позволяют оценить эффективность тренировок того или иного вида спорта, и просто активного отдыха. С точки зрения медико-диагностических показателей, устройства носимой электроники некорректно сравнивать по точности работы со специализированными пульсометрами для спортсменов (например, компании Polar) и с медицинскими приборами при измерении пульса или других биологических показателей человека. Большинство медицинских приборов ориентированы на использование при проведении исследований диагностирования заболеваний у человека. Профессиональное медицинское оборудование не предназначено для широкого использования и не относится к категории носимой электроники, а его высокая стоимость не сопоставима по сравнению с доступностью многофункциональных фитнес-трекеров. Результаты работы предложенной системы определения опасных состояний не являются медицинским заключением, а носят только рекомендательный характер для водителя.
References
1. Moody J., Bailey N., Zhao J. Public perceptions of autonomous vehicle safety: An international comparison. Safety Science, 2020, vol. 121, pp. 634-650. https://doi.org/10.1016/jj.ssci.2019.07.022
2. Val-Calvo M., Álvarez-Sánchez J.R., Ferrández-Vicente J.M., Díaz-Morcillo A., Fernández-Jover E. Real-time multi-modal estimation of dynamically evoked emotions using EEG, heart rate and galvanic skin response. International Journal of Neural Systems, 2020, vol. 30, no. 4, pp. 2050013. https://doi.org/10.1142/S0129065720500136
3. Dementienko V., Yurov A., Ivanov I., Makaev D. Remote monitoring of the driver status as a means of improving transport safety. Transportation Research Procedia, 2017, vol. 20, pp. 138-142. https://doi.org/10.1016/jj.trpro.2017.01.035
4. Kashevnik A., Lashkov I., Ponomarev A., Teslya N., Gurtov A. Cloud-based driver monitoring system using a smartphone. IEEE Sensors Journal, 2020, vol. 20, no. 12, pp. 6701-6715. https://doi.org/10.1109/JSEN.2020.2975382
5. Kashevnik A., Lashkov I., Gurtov A. Methodology and mobile application for driver behavior analysis and accident prevention. IEEE
IEEE Transactions on Intelligent Transportation Systems. 2020. V. 21. N 6. P. 2427-2436. https://doi.org/10.1109/TITS.2019.2918328
6. Moslem S., Gul M., Farooq D., Celik E., Ghorbanzadeh O., Blaschke T. An integrated approach of best-worst method (BWM) and triangular fuzzy sets for evaluating driver behavior factors related to road safety // Mathematics. 2020. V. 8. N 3. P. 414. https://doi.org/10.3390/math8030414
7. Naqvi R.A., Arsalan M., Batchuluun G., Yoon H.S., Park K.R. Deep learning-based gaze detection system for automobile drivers using a NIR camera sensor // Sensors. 2018. V. 18. N 2. P. 456. https://doi.org/10.3390/s18020456
8. Dong N., Li Y., Gao Z., Ip W.H., Yung K.L. A WPCA-based method for detecting fatigue driving from EEG-Based Internet of Vehicles system // IEEE Access. 2019. V. 7. P. 124702-124711. https://doi.org/10.1109/ACCESS.2019.2937914
9. Jing D., Liu D., Zhang S., Guo Z. Fatigue driving detection method based on EEG analysis in low-voltage and hypoxia plateau environment // International Journal of Transportation Science and Technology. 2020. V. 9. N 4. P. 366-376. https://doi.org/10.1016/j.ijtst.2020.03.008
10. ElSherif A., Karaman A., Ahmed O., Magdy O., Shouman R., El-Noumier R., Hamed A.M., Eldawlatly H., Eldawlatly S. Monitoring and predicting driving performance using EEG activity // Proc. 15th International Conference on Computer Engineering and Systems (ICCES). 2020. P. 9334574. https://doi.org/10.1109/ICCES51560.2020.9334574
11. Park S.J., Hong S., Kim D., Hussain I., Seo Y. Intelligent in-car health monitoring system for elderly drivers in connected car // Advances in Intelligent Systems and Computing. 2019. V. 823. P. 40-44. https://doi.org/10.1007/978-3-319-96074-6_4
12. Hamza CherifF., Hamza CherifL., Benabdellah M., Nassar G. Monitoring driver health status in real time // Review of Scientific Instruments. 2020. V. 91. N 3. P. 035110. https://doi.org/10.1063/L5098308
13. Chhabra R., Verma S., Rama Krishna C. Detecting aggressive driving behavior using mobile smartphone // Lecture Notes in Networks and Systems. 2019. V. 46. P. 513-521. https://doi.org/10.1007/978-981-13-1217-5_49
14. Warren J., Lipkowitz J., Sokolov V. Clusters of driving behavior from observational smartphone data // IEEE Intelligent Transportation Systems Magazine. 2019. V. 11. N 3. P. 171-180. https://doi.org/10.1109/MITS.2019.2919516
15. Myslivecek J. The basis of the stress reaction // Current Science. 2015. V. 109. N 4. P. 716-726.
16. Munla N., Khalil M., Shahin A., Mourad A. Driver stress level detection using HRV analysis // Proc. of the International Conference on Advances in Biomedical Engineering (ICABME). 2015. P. 61-64. https://doi.org/10.1109/ICABME.2015.7323251
17. Sterling P., Eyer J. Allostasis: A new paradigm to explain arousal pathology // Handbook of Life Stress, Cognition and Health. Hoboken, USA: Wiley, 1988. P. 629-649.
Transactions on Intelligent Transportation Systems, 2020, vol. 21, no. 6, pp. 2427-2436. https://doi.org/10.1109/TITS.2019.2918328
6. Moslem S., Gul M., Farooq D., Celik E., Ghorbanzadeh O., Blaschke T. An integrated approach of best-worst method (BWM) and triangular fuzzy sets for evaluating driver behavior factors related to road safety. Mathematics, 2020, vol. 8, no. 3, pp. 414. https://doi.org/10.3390/math8030414
7. Naqvi R.A., Arsalan M., Batchuluun G., Yoon H.S., Park K.R. Deep learning-based gaze detection system for automobile drivers using a NIR camera sensor. Sensors, 2018, vol. 18, no. 2, pp. 456. https://doi.org/10.3390/s18020456
8. Dong N., Li Y., Gao Z., Ip W.H., Yung K.L. A WPCA-based method for detecting fatigue driving from EEG-Based Internet of Vehicles system. IEEE Access, 2019, vol. 7, pp. 124702-124711. https://doi.org/10.1109/ACCESS.2019.2937914
9. Jing D., Liu D., Zhang S., Guo Z. Fatigue driving detection method based on EEG analysis in low-voltage and hypoxia plateau environment. International Journal of Transportation Science and Technology, 2020, vol. 9, no. 4, pp. 366-376. https://doi.org/10.1016/j.ijtst.2020.03.008
10. ElSherif A., Karaman A., Ahmed O., Magdy O., Shouman R., El-Noumier R., Hamed A.M., Eldawlatly H., Eldawlatly S. Monitoring and predicting driving performance using EEG activity. Proc. 15th International Conference on Computer Engineering and Systems (ICCES), 2020, pp. 9334574. https://doi.org/10.1109/ICCES51560.2020.9334574
11. Park S.J., Hong S., Kim D., Hussain I., Seo Y. Intelligent in-car health monitoring system for elderly drivers in connected car. Advances in Intelligent Systems and Computing, 2019, vol. 823, pp. 40-44. https://doi.org/10.1007/978-3-319-96074-6_4
12. Hamza Cherif F., Hamza Cherif L., Benabdellah M., Nassar G. Monitoring driver health status in real time. Review of Scientific Instruments, 2020, vol. 91, no. 3, pp. 035 110. https://doi.org/10.1063/L5098308
13. Chhabra R., Verma S., Rama Krishna C. Detecting aggressive driving behavior using mobile smartphone. Lecture Notes in Networks and Systems, 2019, vol. 46, pp. 513-521. https://doi.org/10.1007/978-981-13-1217-5_49
14. Warren J., Lipkowitz J., Sokolov V. Clusters of driving behavior from observational smartphone data. IEEE Intelligent Transportation Systems Magazine, 2019, vol. 11, no. 3, pp. 171-180. https://doi.org/10.1109/MITS.2019.2919516
15. Myslivecek J. The basis of the stress reaction. Current Science, 2015, vol. 109, no. 4, pp. 716-726.
16. Munla N., Khalil M., Shahin A., Mourad A. Driver stress level detection using HRV analysis. Proc. of the International Conference on Advances in Biomedical Engineering (ICABME), 2015, pp. 61-64. https://doi.org/10.1109/ICABME.2015.7323251
17. Sterling P., Eyer J. Allostasis: A new paradigm to explain arousal pathology. Handbook of Life Stress, Cognition and Health. Hoboken, USA, Wiley, 1988, pp. 629-649.
Автор
Author
Лашков Игорь Борисович — кандидат технических наук, старший научный сотрудник, Санкт-Петербургский Федеральный исследовательский центр Российской академии наук (СПб ФИЦ РАН), Санкт-Петербург, 199178, Российская Федерация, ^ 56719631000, https://orcid.org/0000-0001-6418-4660, igor-lashkov@ya.ru
Igor B. Lashkov — PhD, Senior Researcher, St. Petersburg Federal Research Center of the Russian Academy of Sciences, Saint Petersburg, 199178, Russia, S3 56719631000, https://orcid.org/0000-0001-6418-4660, igor-lashkov@ya.ru
Статья поступила в редакцию 25.03.2021 Одобрена после рецензирования 12.05.2021 Принята к печати 23.07.2021
Received 25.03.2021
Approved after reviewing 12.05.2021
Accepted 23.07.2021
© Ф®
Работа доступна по лицензии Creative Commons «Attribution-NonCommercial»
