CC BY
85
ОБРАБОТКА ИНФОРМАЦИИ И УПРАВЛЕНИЕ
УДК 004
йок10.31799/1684-8853-2018-5-2-12 Агйс!вв
Подход к распознаванию стиля вождения
водителя транспортного средства
на основе использования сенсоров смартфона
И. Б.Лашкова'6, научный сотрудник, orcid.org/0000-0001-6418-4660, ¡gor-lashkov@ya.ru аУниверситет ИТМО, Кронверкский пр., 49, Санкт-Петербург, 197101, РФ 6Санкт-Петербургский институт информатики и автоматизации РАН, 14-я линия В. О., 39, Санкт-Петербург, 199178, РФ
Введение: анализ поведения водителя за рулем транспортного средства и оценка его стиля вождения позволяют обратить внимание водителя на навыки управления, снизить процент небезопасного вождения, повысить эффективность эксплуатации транспортного средства и, таким образом, снизить количество дорожно-транспортных происшествий. Однако современные системы содействия водителю ограничены в возможностях персонализации системы для водителя, снижая общую эффективность работы подобных систем и сужая их область применимости. Цель исследования: разработка подхода к анализу и оценке стиля вождения водителя при управлении транспортным средством с использованием фронтальной камеры и сенсоров смартфона, ориентированного на применение в системах повышения безопасности водителя. Результаты: описана схема потоков данных с сенсоров смартфона для системы предупреждения аварийных ситуаций; представлена информационная модель профиля водителя; разработан алгоритм анализа стиля управления транспортным средством индивидуально для водителя, позволяющий повысить качество распознавания опасных состояний в поведении водителя во время вождения и учитывающий предыдущий опыт использования системы, а также предоставляющий возможность оценить стиль вождения каждого водителя в отдельности, тем самым обратив его внимание на навыки управления транспортным средством; разработан прототип системы оценки стиля вождения водителя при управлении транспортным средством на основе обработки данных с сенсоров смартфона за счет выделения связей между ними и характеристиками управления транспортным средством, а также анализа истории взаимодействия водителя с системой предупреждения аварийных ситуаций. Практическая значимость: полученные результаты позволят повысить точность распознавания опасных состояний и, как следствие, эффективность системы предупреждения аварийных ситуаций, а также найдут применение при формировании и отображении отчетов для представителей страховых компаний, администраторов автопарков и руководителей логистических компаний, осуществляющих наблюдение и контроль за статистикой совершения поездок водителями из штата автопарка.
Ключевые слова — современные системы содействия водителю, водитель, транспортное средство, поведение водителя, стиль вождения.
Цитирование: Лашков И. Б. Подход к распознаванию стиля вождения водителя транспортного средства на основе использования сенсоров смартфона. Информационно-управляющие системы, 2018, № 5, с. 2-12. doi:10.31799/1684-8853-2018-5-2-12 Citation: Lashkov I. B. Smartphone-based approach to determining driving style with on-board sensors. Informatsionno-upravliaiushchie sistemy [Information and Control Systems], 2018, no. 5, pp. 2-12 (In Russian). doi:10.31799/1684-8853-2018-5-2-12
Введение
Согласно статистике Госавтоинспекции МВД России более 80 % дорожно-транспортных происшествий происходят по вине самих водителей. Факторы риска, соответствующие психофизиологической составляющей поведения водителя, оказывают значительное влияние на возникновение дорожно-транспортных происшествий. К таким факторам повышенного риска наступления дорожно-транспортного происшествия можно отнести усталость и ослабленное внимание водителя, проявляющиеся в ситуациях, в которых водители зачастую сами не осознают наступление признаков того или иного опасного состояния.
Одним из вариантов повышения безопасности водителя является использование систем активной безопасности, направленных на предотвращение аварийных ситуаций на основе мониторинга поведения водителя и своевременного его
оповещения о текущей ситуации за счет генерации ему контекстно-ориентированных рекомендаций. Первые исследования ученых по разработке систем мониторинга окружающей обстановки и предупреждения водителя автомобиля об опасности отмечены 1992 годом. Мониторинг опасного поведения за рулем способен помочь водителю обратить внимание на стиль своего вождения и связанные с этим риски, и тем самым снизить процент неосторожного вождения и улучшить навыки безопасного поведения на дороге.
По форме представления и принципу функционирования все системы слежения за состоянием водителя и дорожной обстановкой можно условно разделить на четыре категории: системы предупреждения аварийных ситуаций, существующие в виде аппаратно-программных комплексов и устанавливаемые автопроизводителями [1], мобильные системы генерации рекомендаций, существующие в виде мобильных приложений
для смартфонов [2], видеокамеры, устанавливаемые водителем в кабине транспортного средства (ТС), представленные автомобильными видеорегистраторами и отдельными устройствами видеонаблюдения, направленными на водителя, или на дорогу [3], устройства носимой электроники, надеваемые и носимые водителем перед совершением каждой поездки на автомобиле [4].
Основной целью данной статьи является разработка подхода к анализу поведения водителя, основанного на использовании предыдущего опыта взаимодействия водителя с ТС, включающим контекст внутри кабины ТС, данные с сенсоров смартфона и опасные состояния в поведении водителя [5-7].
Обзор литературы
Алгоритмы, анализирующие поведение водителя на основе его предыдущего опыта взаимодействия с ТС, представлены многочисленными исследованиями и разработками, рассмотрим некоторые, наиболее значимые из них.
На сегодняшний день одним из широко встречающихся подходов для интеллектуального анализа данных является применение различных методов Data Mining [8-12] и машинного обучения [13-17], ориентированных на обучение в условиях решения множества схожих задач. Значительная часть предлагаемых учеными решений в области изучения воздействия поведения водителя на дорожную обстановку ориентирована на использование данных с датчиков и сенсоров ТС (автомобиля) или смартфона водителя. Общим для всех таких систем является определение последовательности совершенных водителем в некоторый момент времени действий, образующих паттерн поведения [18]: алгоритм определения [19] действий водителя на основе данных с датчиков автомобиля посредством использования специализированного автомобильного симулятора для моделирования процесса управления ТС; алгоритм распознавания паттернов поведения [20] водителя за счет дискретизации его действий путем использования не фиксированного ограничения количества поступающих на вход системе событий, а временного интервала, а также другие исследования, решающие задачу анализа и классификации поведения водителя [21-29].
Стоит отметить, что рассмотренные исследования нацелены на решение только задачи классификации поведения водителя и фиксированной оценки его стиля вождения без учета его предыдущей истории взаимодействия с системой предупреждения аварийных ситуаций, включающей распознавание опасных состояний в его поведении (усталость, ослабленное внимание).
Схема потоков данных в системе предупреждения аварийных ситуаций
С целью общего представления о взаимодействии водителя с системой предупреждения аварийных ситуаций предложена схема потоков данных, считываемых с сенсоров смартфона и применяемых в дальнейшем при анализе и оценке навыков управления ТС (рис. 1). Исходными данными для системы предупреждения аварийных ситуаций являются показания встроенных в смартфон сенсоров, таких как фронтальная камера, GPS, акселерометр, гироскоп, магнитометр, микрофон и датчик освещенности. Получая изображение водителя с фронтальной камеры, мобильное приложение применяет последовательность программных операций для выделения лицевых характеристик водителя с целью определения его опасного поведения.
Изменения в скорости, ускорении или торможении автомобиля, вычисляемые GPS и акселерометром на основе спутниковых данных и ускорения силы тяжести, позволяют описать поведение водителя при управлении ТС. Положение в пространстве смартфона и направление движения ТС, определяемые гироскопом и магнитометром, позволяют точнее охарактеризовать то или иное поведение водителя. Микрофон, измеряющий уровень сигнала шума в кабине ТС, применяется при генерации рекомендаций водителю для определения ситуаций, когда водитель едет один или с пассажирами. Датчик освещенности смартфона используется при выявлении темного времени суток, когда обработка изображений водителя с фронтальной камеры становится нецелесообразной ввиду невозможности распознавания лицевых характеристик. На основе информации с сенсоров смартфона происходит уведомление водителя о наступлении опасного состояния при помощи рекомендаций, поступающих водителю через графический дисплей, аудио динамики смартфона или вибрации устройства носимой электроники.
Информационная модель профиля водителя
Разработанная информационная модель профиля водителя распределенной системы предупреждения аварийных ситуаций (РСПАС) при управлении ТС показана на рис. 2. Анализ поведения водителя в кабине ТС позволил выделить следующую информацию: общая информация о водителе, его контекст, компетенции водителя и история его взаимодействия с системой.
Раздел Общая информация о водителе включает в себя уникальный идентификатор водите-
■ Рис. 1. Схема объединения сенсоров на основе использования смартфона
■ Fig. 1. Scheme of combining sensors fusion based on the use of a smartphone
Смартфон водителя
Сенсоры
Фронтальная камера
GPS
Акселерометр
Гироскоп
Магнитометр
Наблюдаемые параметры
Изображение водителя
Координаты
Ускорение
Скорость движения
Положение в пространстве
Микрофон
Магнитное поле
Сигнал шума в кабине ТС
Датчик освещенности
Освещенность в кабине ТС
Воздействие на водителя
Обработанные параметры
*
Параметры головы и черт лица водителя
Координаты ТС
Ускорение ТС
Торможение ТС
Скорость движения ТС
Направление движения ТС
Уровень сигнала шума в кабине ТС
Уровень освещенности в кабине ТС
Считывание параметров
f
Средства уведомления водителя
Аудио динамики смартфона
Графический дисплей смартфона
Вибрация устройства
носимой электроники
Уведомление
Мобильное приложение
ля, имя, фамилию, пол, дату рождения, семейное положение, стаж вождения, номер мобильного телефона. Данная информация является базовой и первоначально характеризует водителя.
Раздел Контекст описывает информацию, характеризующую окружающую обстановку, в которой находятся водитель и ТС, и состоит из двух подразделов Контекст водителя и Контекст ТС.
Раздел Контекст водителя содержит информацию, которая изменяется в зависимости от текущей ситуации в кабине ТС и дорожной обстановки и включает в себя следующие атрибуты:
1) параметры калибровки системы — позволяют лучше подстроиться под конкретного водителя. Они описывают сведения о водителе (например, наклон головы водителя влево/вправо, вперед/назад по отношению к туловищу), настройки и возможности его смартфона (например, присутствие того или иного датчика, необходимого для функционирования РСПАС, уровень громкости предупреждений об опасной ситуации) и транспортного средства (легковой или грузовой автомобиль);
2) используемое оборудование — описывает технические характеристики смартфона, используемого водителем ТС;
ОБРАБОТКА ИНФОРМАЦИИ И УПРАВЛЕНИЕ
Контекст
Контекст водителя
Параметры калибровки системы Используемое программное обеспечение
Используемое оборудование Психофизиологические особенности человека Симптомы небезопасного поведения
Состояние обстановки внутри
Контекст ТС
Местоположение Характеристики движения Дорожные условия
д
л е т
и д
о
m
Облачный сервис
Общая информация о водителе Уникальный идентификатор Имя
Фамилия Пол
Дата рождения Семейное положение Стаж вождения Номер моб. телефона
История взаимодействия Статистика использования системы РСПАС Контекст*
Компетенции водителя*
Компетенции водителя Соблюдение правил дорожного движения
Паттерны поведения Группы водителей
*Атрибуты «Контекст» и «Компетенции водителя» соответствуют категориям «Контекст» и «Компетенции водителя» соответственно
■ Рис. 2. Информационная модель профиля водителя
■ Fig. 2. Information model of the driver profile
3) используемое программное обеспечение — характеризует программный комплекс, устанавливаемый и настраиваемый на смартфоне водителя и предназначенный для прогнозирования вероятности наступления аварийных ситуаций;
4) психофизиологические особенности водителя — описывает состояние водителя в текущий момент времени, характеризуя его скорость реакции, точность и последовательность действий;
5) симптомы небезопасного поведения — содержит информацию о выявленном небезопасном поведении водителя за рулем автомобиля с целью дальнейшей выработки рекомендаций для предотвращения наступления аварийной ситуации, например, количество часов непрерывного управления ТС;
6) состояние обстановки внутри салона кабины ТС — описывает различные параметры и условия обстановки в кабине ТС, например, уровень освещенности, уровень сигнала шума.
Раздел Контекст ТС включает в себя следующие атрибуты:
1) местоположение — содержит информацию о текущем географическом местоположении ТС и близлежащих мест отдыха, используемых при формировании рекомендаций. Сведения о местах отдыха описывают придорожные остановки (ка-
фе, отели, автомобильные заправочные станции), которыми водитель может воспользоваться при наступлении усталости или ослабленного внимания и сделать небольшой отдых в 20-30 минут, выпив тонизирующий напиток, или же воспользоваться полноценным 7-8-часовым сном, восстановив силы перед следующей поездкой;
2) характеристики движения — содержит информацию о направлении и скорости движения водителя в конкретный момент времени;
3) дорожные условия — описывает время в пути, оставшееся время до конечного пункта назначения, текущее время суток и отражает текущую степень загруженности автомобильных дорог.
Раздел История взаимодействия включает историю работы водителя с системой предупреждения аварийных ситуаций:
1) статистика использования системы (протоколирование действий водителя), собираемая в основном неявным образом;
2) контекст водителя;
3) компетенции водителя.
Раздел Компетенции водителя описывает способность и стремление водителя к действиям на основе его личностных параметров, знаний, навыков и включает в себя:
1) соблюдение правил дорожного движения;
2) паттерны поведения — описывают успешность, последовательность и время выполнения тех или иных действий конкретного водителя в каждый момент времени на основе использования считываемых сенсорных данных и информации, определяющей профиль водителя. Примером паттерна поведения водителя может служить ситуация, описывающая процесс торможения ТС перед красным сигналом светофора на некотором промежутке времени. В данном случае паттерн поведения водителя включает почти неизменное движение ТС в направлении прямо, регистрируемое гироскопом и магнитометром, снижение скорости движения ТС, регистрируемого сенсором GPS, отрицательные значения, считываемые при помощи акселерометра смартфона и свидетельствующие о торможении ТС и, наконец, прекращение движения ТС и установление его скорости, равной нулю;
3) группы водителей — включают в себя выявляемую информацию о принадлежности к той или иной группе, к которой система отнесла данного водителя.
Раздел Компетенции водителей заполняется системой автоматически на основе истории работы с системой, паттернов поведения и стиля вождения водителя. Формализация компетенций позволяет осуществить автоматическую кластеризацию водителей посредством формирования поведенческих профилей с последующим выявлением групп водителей со схожими характеристиками в управлении ТС (паттерны поведения, стиль вождения). Данная информация использу-
ется для дальнейшей синхронизации с облачным сервисом и офлайн-анализа действий водителя и обновления раздела в автоматическом режиме. С целью выделения групп водителей со схожими характеристиками на основе информации об их поведении за рулем ТС используется метод классификации их профилей.
Алгоритм оценки стиля вождения водителя ТС
Информация о паттернах поведения водителя в кабине ТС оказывает большое влияние на распознавание опасных состояний и генерацию рекомендаций, ориентированных на помощь водителю для предотвращения наступления аварийной ситуации. Для решения проблемы неполноты знаний о водителе предлагается решить задачу реализации обучения системы для каждого водителя путем применения методов машинного обучения, работающих чаще всего с численными значениями. Данные методы должны быть предназначены для решения задач распознавания образов на основе использования методов кластеризации и идентификации объектов, характеризующихся конечным набором некоторых признаков. В результате чего строится модель, предсказывающая недостающие атрибуты (признаки) поведения водителя в конкретный момент времени.
В общем случае алгоритм оценки стиля вождения водителя ТС (рис. 3) включает в себя
■ Рис. 3. Общая схема алгоритма определения стиля вождения водителя
■ Fig. 3. General scheme of the algorithm for detection of the driving style
решение следующих задач: выделение характерных признаков в поведении водителя в кабине ТС, считывание и преобразование сенсорных данных, классификация событий по правилам, сегментирование путей движения, отбор признаков SMA (Simple Moving Average — простое скользящее среднее) для данных, кластеризация профилей водителей на группы, соотнесение водителя с группой.
Одной из первостепенных задач предлагаемого алгоритма является построение связей между наблюдаемыми характеристиками поведения водителя и обрабатываемыми измерениями контекста водителя и ТС. Входными данными для такого алгоритма являются сенсорные показатели с датчиков смартфона, включающие акселерометр, гироскоп, GPS и магнитометр. Такая связь формируется за счет отображения параметров поведения водителя, к которым относятся:
— лицевые характеристики: угол поворота головы влево и вправо, наклон вперед и назад, продолжительность и частота моргания век, PERCLOS;
— характеристики управления ТС: скорость движения, ускорение и торможение ТС на конкретном дорожном участке;
— список грубых нарушений ПДД: вождение в алкогольном опьянении, превышение скоростного режима, использование мобильного телефона во время движения.
Полученные параметры поведения водителей формируют совокупность атрибутов (дискрими-нантных признаков), характеризующих стиль вождения того или иного водителя в отличие от стиля вождения остальных участников системы. Данные с сенсоров смартфона классифицируются следующим образом:
— бинарные, ответом на который является «да» или «нет» (1 или 0): пол водителя, усталость, ослабленное внимание;
— порядковые, ответом на который является конкретный класс: степень усталости, степень ослабленного внимания, уровень громкости звуковых сигналов смартфона, уровень освещенности в кабине ТС;
— количественные, ответом на который является число, характеризующее конкретную меру: возраст водителя, стаж вождения, PERCLOS, продолжительность моргания век, открытость рта, угол наклона и поворота головы.
Примером входных данных являются данные с акселерометра смартфона по оси Z, характеризующие продольное ускорение текущего ТС (рис. 4). Положительные значения продольного ускорения позволяют охарактеризовать ускорение ТС, а отрицательные значения — торможение ТС.
Далее, атрибуты и события, выявленные в результате работы алгоритма на первом этапе, проходят процесс фильтрации и предобработки «вы-
бивающихся» значений в рамках того или иного признака. Для решения этой задачи в качестве первого шага используется алгоритм sliding window [30] (рис. 5), позволяющий выбирать информацию за определенный промежуток времени из непрерывного потока данных таким образом, что отфильтровываются наиболее устаревшие наборы таких данных.
На втором шаге применяется фильтр нижних частот (LPF, low-pass filter) [31], пропускающий спектр сигнала ниже некоторой частоты и подавляющий частоты сигнала выше этой частоты. Алгоритм фильтра LPF описывается следующим образом:
output[t] ^ output[t] + a*(input[i] - output[t]), (1)
15г
10
н
о о о
в
ф
н м
ф
а о
и
-5
-10
-15
1L
чрр]
н*
1000
2000
Время, с — Ускорение (z)
3000
4000
■ Рис. 4. Продольное ускорение водителя на основе полученных данных с акселерометра
■ Fig. 4. Longitudinal acceleration of the driver based on the data from the accelerometer
Время
Размер окна
f0
Размер окна
f-t f-1 f0
Размер окна
f-t
f0
Рис. 5. Схема алгоритма sliding window Fig. 5. Scheme of the sliding window algorithm
5
0
0
f
f
f
ОБРАБОТКА ИНФОРМАЦИИ И УПРАВЛЕНИЕ
где а — коэффициент сглаживания фильтра; input — массив входных значений; output — массив выходных значений.
Атрибуты формируются в виде множества признаков для каждого i водителя, где x — атрибут; Y — категория, показывающая вид распознанного опасного состояния у водителя:
X(i) = {x(i):, x(i)2, ..., x(i)„} и класс Y(i).
На втором этапе работы алгоритма производятся классификация и отбор событий (ускорение (а), торможение (d), поворот руля (и), время наката (с)) по их типу на основе заранее определенных правил:
— а ^ if (aLN > 0,1) n (v > 0),
— d ^ if (aLN < 0) n (v > 0),
— и ^ if (aLi > 0) n (aLi > aLN) n (v > 0),
— с ^ if (v = 0),
где aLN — продольное ускорение ТС; aLt — поперечное ускорение ТС; v — скорость ТС.
Как только каждое событие было идентифицировано, на следующем этапе происходит свертка событий одинакового типа и формирование набора {e, t0, t1,1} для каждого нового объекта, где e — тип события; i0 — время начала события (мс, прошедшие с полуночи 01.01.1970 по UTC); t1 — время окончания события (мс, прошедшие с полуночи 01.01.1970 по UTC); l — географические координаты события (долгота, широта и высота). Данная операция обрабатывает число событий, полученное в результате разделения времени поездки на интервалы в 10 секунд.
На следующем шаге алгоритма происходит вычисление SMA-признаков для событий {a, d, и, с} с целью нахождения среднего арифметического значений событий на интервале по следующей формуле:
п-1
SMAt = et ,
П ■ п
1=0
(2)
где БЫЛ^ — значение простого скользящего среднего в точке п — количество значений исходной функции для расчета скользящего среднего;
H-i
— значение исходной функции в точке t - i.
Порог чувствительности для каждого из событий (а2 — продольное ускорение, ах — поперечное ускорение), указанный в таблице, позволяет охарактеризовать то или иное событие по степени резкости совершенного водителем маневра.
Далее происходит вычисление рейтинга для каждого события по формуле:
S!f =-
DT:
^ п т
X Р js^ijst,
(3)
it i=l s=0
где Би — рейтинг события за период времени БТ — время вождения за весь период; — количество маневров типа ] и опасности (резкости) в, которые водитель совершил; р^, — веса (коэффициенты) различных маневров. Вычисление рейтинга для всей совершенной поездки производится по следующей формуле:
- 1 п S = — ^ XI,
(4)
где 5 — среднее значение рейтингов всех событий; п — количество значений исходной функции для расчета скользящего среднего; х1 — значение рейтинга функции в точке I.
На последнем этапе работы алгоритма производится оценка стиля вождения водителя (в интервале значений [0; 1], где 0 — спокойный стиль вождения, а 1 — агрессивный) на основе препро-цессинга агрегированных атрибутов (признаков). Процессинг представляет собой отображение данных (пол, возраст, стаж вождения водителя, тип кузова ТС) в формат, пригодный для обучения модели. Можно выделить две основные операции, производимые на этапе препроцессинга:
1) Создание векторного пространства признаков, где будут расположены примеры обучающей выборки. По сути, это процесс приведения всех данных в числовую форму, позволяющий отойти от категорийных, булевых и остальных не числовых типов.
2) Процесс нормализации данных, в результате которого необходимо изменить шкалу измерений таким образом, чтобы среднее значение каждого признака по всем данным было равно нулю,
Порог чувствительности событий Threshold for the intensity of the events
Тип события Порог чувствительности (м/с2)
Низкий Средний Высокий
Ускорение ТС 0,1 < az < 0,5 0,5 < az < 1,5 az > 1,5
Торможение ТС -0,1< az < -0,5 -0,5 < az < -1,5 az < -1,5
Поворот ТС влево/вправо 0,1 < |ax| < 0,5 0,5 < |ax| < 1,5 |axl > 1,5
а стандартное отклонение — одному. В общем виде нормализация данных выглядит следующим образом:
X = (X - ц)/ст. (5)
С целью разбиения всех водителей системы на конечное число групп (кластеров), характеризующих степень схожести водителей по стилю вождения, решим задачу кластеризации. Входными данными для метода кластеризации выступает сформированный на основе накопленных сведений профиль водителя системы, а в качестве класса — стиль вождения водителя (в интервале множества значений [0; 1] от спокойного до агрессивного).
В настоящее время кластеризация является одной из основополагающих задач в области анализа данных и Data Mining. Существует большое количество методов кластеризации, которые можно условно разделить на следующие основные группы: применяющие вероятностный подход (K-means, EM-алгоритм), методы искусственного интеллекта (генетические алгоритмы, нейронные сети), использующие иерархические алгоритмы и теоретико-графовые модели. С целью достижения высокой скорости обработки данных, наглядности и простоты реализации метода для выявления групп водителей со схожими компетенциями (User-User, коллаборатив-ная фильтрация) выбран метод кластеризации k-средних (K"-means) [32]. Ключевыми входными параметрами для данного алгоритма являются n, обозначающее исходное число объектов (наблюдений) для обработки, и k — число кластеров (групп) наблюдения, содержащих похожие элементы внутри группы и непохожие на элементы, не принадлежащие к данной группе. При использовании данного метода возникает необходимость в определении числа кластеров для разбиения. Предварительный анализ исходных данных позволяет найти оптимальное число кластеров для разбиения за счет минимизации суммы вну-трикластерных расстояний. Исходя из вышеперечисленного, для кластеризации профилей водителей был выбран алгоритм k-means.
Разобьем множество объектов x (всех участников системы РСПАС) на конечное число непересекающихся классов Sv..Sm, каждый из которых соответствует определенному стилю вождения водителя
X = {x1, ..., xn}
на M непересекающихся классов. (6)
Суть алгоритма k-means заключается в том, что он стремится минимизировать суммарное квадратичное отклонение точек кластеров от центров этих кластеров:
k т
S = (*(7)
1=1 x^Si
где k — число кластеров; St — полученные кластеры; ^ — центры масс всех St объектов x из кластера St. Последним этапом работы алгоритма кластеризации является сопоставление каждого водителя системы РСПАС с определенным номером кластера, или, иначе говоря, за каждым водителем закрепляется метка кластера, характеризующая группу водителей со схожим стилем вождения ТС. Стоит отметить, что алгоритм кластеризации профилей водителей периодически запускается повторно при изменении числа водителей или поступлении новой информации в облачный сервис о статистике их вождения ТС.
В дальнейшем результаты работы кластеризации используются системой при оценке паттернов поведения того или иного водителя во время вождения. Оценка паттернов поведения водителя, определенная заранее для некоторого контекста, помогает скорректировать мониторинг опасного поведения водителя в кабине ТС и тем самым точнее сформировать контекстно-ориентированные рекомендации, необходимые для принятия мер по предотвращению аварийной ситуации. Так, например, алгоритм выявления опасных состояний в поведении для водителя с более агрессивным стилем вождения работает с видоизмененными входными параметрами (время распознавания, доля опасных состояний к общему числу событий и т. п.).
Реализация алгоритма анализа стиля вождения водителей
Алгоритм анализа поведения водителя, основанный на обработке данных сенсоров смартфона, кластеризации профилей водителей и анализе статистики взаимодействия водителей с системой, реализован с использованием языка программирования Python. Выбор языка Python обусловлен развитой стандартной библиотекой функций, большим множеством сторонних модулей и лаконичным синтаксисом.
Анализ статистики взаимодействия водителей с системой заключается в получении данных со смартфона водителя, их анализ, обработку и фильтрацию с целью дальнейшей записи в базу данных ClickHouse. В выбранной базе данных заранее создана таблица pure_stat_events, содержащая данные об опасных ситуациях, и таблица pure_critical_event, содержащая данные об опасных состояниях для каждого водителя системы РСПАС. Задачей базы данных ClickHouse является предоставление хранящихся данных для модуля кластеризации профилей водителей
с целью дальнейшего определения стиля вождения каждого из них. Запрос выборки данных (см. Листинг) позволяет получить необходимые данные для кластеризации профилей водителей.
Листинг. Запрос выборки данных для кластеризации
SELECT * FROM ^ pure_critical_evenr p INNER JOIN ^ pure_stat_events" ps ON ps.id = p.event_id
Заключение
Разработан подход к анализу поведения водителя ТС с использованием информационной модели профиля водителя и алгоритма анали-
1. Abraham H., McAnulty H., Mehler B., Reimer B.
Case study of today's automotive dealerships: introduction and delivery of advanced driver assistance systems. Transportation Research Record: Journal of the Transportation Research Board, 2017, vol. 2671, pp. 1-17. doi:10.3141/2660-02
2. Botzer A., Musicant O., Perry A. Driver behavior with a smartphone collision warning application — a field study. Safety Science, 2017, vol. 91, pp. 361372. doi:10.1016/j.ssci.2016.09.003
3. Schofield K., O'brien F., Bingle R. L., Lynam N. R. Cabin monitoring system for a vehicle. Patent US20170237946A1, 2001.
4. Choi M., Koo G., Seo M., Kim S. W. Wearable device-based system to monitor a driver's stress, fatigue, and drowsiness. IEEE Transactions on Instrumentation and Measurement, 2018, vol. 67, no. 3, pp. 634-645. doi:10.1109/TIM. 2017.2779329
5. Лашков И. Б. Анализ поведения водителя при управлении транспортным средством с использованием фронтальной камеры смартфона. Информационно-управляющие системы. 2017. № 4(89). С. 7-17. doi:10.15217/issnl684-8853.2017.4.7
6. Smirnov A., Kashevnik A., Lashkov I. Human-smart-phone interaction for dangerous situation detection & recommendation generation while driving. Speech and Computer, LNCS, 2016, vol. 9811, pp. 346-353. doi:10.1007/978-3-319-43958-7_41
7. Smirnov A., Kashevnik A., Lashkov I., Baraniuc O., Parfenov V. Smartphone-based identification of dangerous driving situations: algorithms and implementation. Proc. of the 18th Conference of Open Innovations Association FRUCT, 2016, pp. 306-313. doi:10.1109/FRUCT-ISPIT.2016.7561543
8. Witten I. W., Frank E., Hall M. A., Pal C. J. Data mining: practical machine learning tools and techniques. San Francisco, Morgan Kaufmann, 2016. 654 p.
за стиля вождения водителя, который основан на использовании данных с сенсоров смартфона, формировании связей между изначальными данными и характеристиками управления ТС и истории взаимодействия водителя с системой предупреждения аварийных ситуаций. Такой подход позволяет не только обратить внимание водителя на навыки управления и характеристику езды, но и снизить процент неосторожного вождения, повысить эффективность эксплуатации ТС и таким образом снизить количество дорожно-транспортных происшествий на дорогах общего пользования.
Исследования выполнены при финансовой поддержке РНФ (проект № 18-71-10065).
9. Chen Y., Wu J. Distribution patterns of energy consumed in classified public buildings through the data mining process. Applied Energy, 2018, vol. 226, pp. 240-251. doi:10.1016/j.apenergy.2018.05.123
10. Si G., Zheng K., Zhou Z., Pan C., Zhang Y. Three-dimensional piecewise cloud representation for time series data mining. Neurocomputing, 2018, vol. 316, pp. 78-94. doi:10.1016/j.neucom.2018.07.053
11. El Mohadab M., Bouikhalene B., Safi S. Automatic CV processing for scientific research using data mining algorithm. Journal of King Saud University — Computer and Information Sciences. 2018, vol. 30, pp. 1-7. doi:10.1016/j.jksuci.2018.07.002
12. Silva N., Soares J., Shah V., Yasmina Santos M., Rodrigues H. Anomaly detection in roads with a data mining approach. Procedia Computer Science, 2017, vol. 121, pp. 415-422. doi:10.1016/j.procs.2017.11.056
13. Николенко С. И., Тулупьев А. Л. Самообучающиеся системы. М.: МНЦМО, 2009. 288 с.
14. James S. C., Zhang Y., O'Donncha F. A machine learning framework to forecast wave conditions. Coastal Engineering, 2018, vol. 137, pp. 1-10. doi:10.1016/j.coastaleng.2018.03.004
15. Cai J., Luo J., Wang S., Yang S. Feature selection in machine learning: a new perspective. Neurocomputing, 2018, vol. 300, pp. 70-79. doi:10.1016/j.neu-com.2017.11.077
16. Aksjonov A., Nedoma P., Vodovozov V., Petlenkov E., Herrmann M. A Novel driver performance model based on machine learning. IFAC-PapersOnLine, 2018, vol. 51, iss. 9, pp. 267-272. doi:10.1016/j.if-acol.2018.07.044
17. Zou X., Long Yue W., Le Vu H. Visualization and analysis of mapping knowledge domain of road safety studies. Accident Analysis & Prevention, 2018, vol. 118, pp. 131-145. doi:10.1016/j.aap.2018.06.010
18. Bishop C. M. Pattern recognition and machine learning (information science and statistics): Springer-Verlag Berlin, Heidelberg, 2006. 738 p.
OEPAEOTKA MHOOPMAUMM M YnPABAEHME
19. Skrjanc I., Andonovski G., Ledezma Espino A., Sipe-le O., Iglesias J., Sanchis de Miguel A. Evolving cloud-based system for the recognition of drivers' actions. Expert Systems with Applications, 2018, vol. 99, pp. 231-238. doi:10.1016/j.eswa.2017.11.008
20. Verwer S., de Weerdt M., Witteveen C. Learning driving behavior by timed syntactic pattern recognition. Proceedings of the 22 International Joint Conference on Artificial Intelligence, 2011, pp. 1529-1534. doi:10.5591/978-1-57735-516-8/IJCAI11-257
21. Johnson D. A., Trivedi M. M. Driving style recognition using a smartphone as a sensor platform. Intelligent Transportation Systems (ITSC) 14th International IEEE Conference, 2011, pp. 1609-1615. doi:10.1109/ITSC.2011.6083078
22. Van Ly M., Martin S., Trivedi M. M. Driver classification and driving style recognition using inertial sensors. IEEE Intelligent Vehicles Symposium (IV), 2013, pp. 1040-1045. doi:10.1109/IVS.2013.6629603
23. Rolim C., Baptista P. Comparing drivers' self-perception on driving behaviour changes with real world driving performance data: Lisbon case-study. Travel Behaviour and Society, 2018, vol. 11, pp. 86-92. doi:10.1016/j.tbs.2018.02.002
24. Hong J. H., Margines B., Dey A. K. A smart-phone-based sensing platform to model aggressive driving behaviors. Proceedings of the SIGCHI Conference on Human Factors in Computing Systems (CHI '14). ACM, New York, NY, USA. 2014. pp. 4047-4056. doi:10.1145/2556288.2557321
25. Yang L., Ma R., Zhang H. M., Guan W., Jiang S. Driving behavior recognition using EEG data from a simulated car-following experiment. Accident Analysis & Prevention, vol. 116, 2018, pp. 30-40. doi:10.1016/j.aap.2017.11.010
26. Li G., Eben Li S., Cheng B., Green P. Estimation of driving style in naturalistic highway traffic using maneuver transition probabilities. Transportation Research Part C: Emerging Technologies, 2017, vol. 74, pp. 113-125. doi:10.1016/j.trc.2016.11.011
27. He H., Sun C., Zhang X. A Method for identification of driving patterns in hybrid electric vehicles based on a LVQ neural network. Energies, 2012, pp. 33633380. doi:10.3390/en5093363
28. Zhang Y., Lin W. C., Chin Y.-K. S. A Pattern-recognition approach for driving skill characterization. Intelligent Transportation Systems, IEEE Transactions, 2010, vol. 4(11), pp. 905-916. doi:10.1109/ TITS.2010.2055239
29. Han W., Wang W., Li X., Xi J. Statistical-based approach for driving style recognition using Bayesian probability with kernel density estimation. IET Intelligent Transport Systems, 2018, pp. 1-8. doi:10.1049/ iet-its.2017.0379
30. Halim Mohd Noor M., Salcic Z., I-Kai Wang K. Adaptive sliding window segmentation for physical activity recognition using a single tri-axial accelerometer. Pervasive and Mobile Computing, 2017, vol. 38, pp. 41-59. doi:10.1016/j.pmcj.2016.09.009
31. Hammed R. T., Hassan S. H., Ajeel S. L. New compact low-pass filter (LPF) using cascaded square open loop resonator AEU. International Journal of Electronics and Communications, 2018, vol. 92, pp. 9397. doi:10.1016/j.aeue.2018.05.030
32. Ismkhan H. I-k-means-+: An iterative clustering algorithm based on an enhanced version of the k-means. Pattern Recognition. 2018, vol. 79, pp. 402-413. doi:10.1016/j.patcog.2018.02.015
UDC 004
doi:10.31799/1684-8853-2018-5-2-12
Smartphone-based approach to determining driving style with on-board sensors
I. B. Lashkova> b, Researcher, orcid.org/0000-0001-6418-4660, igor-lashkov@ya.ru aITMO University, 49, Kronverkskii Pr., 197101, Saint-Petersburg, Russian Federation
bSaint-Petersburg Institute for Informatics and Automation of the RAS, 39, 14 Line, V. O., 199178, Saint-Petersburg, Russian Federation
Introduction: Driving behavior analysis and driving style evaluation allow you to pay the drivers' attention to their driving skills and characteristics, reduce reckless driving rate, increase the vehicle usage efficiency and thereby reduce the number of traffic accidents. However, the available driver assistance systems lack personalization, which in its turn decreases the efficiency of these systems and limits the scope of their usage. Purpose: Developing an approach to analysis and evaluation of a driving style, based on smartphone features such as a front-facing camera and sensors, and focused on its usage in driver safety systems. Results: The article discusses a scheme of combining data from smartphone sensors for a driver assistant system. It presents an information model of a driver's profile. An algorithm has been developed for the analysis of an individual driving style in order to to improve the quality of recognizing dangerous states in one's driving behavior, taking into account the previous experience of using the system. This algorithm allows drivers to evaluate their driving style and thereby to pay more attention to their driving skills. A prototype has been developed for a system evaluating a driving style based on the data from smartphone sensors related to the vehicle operation parameters, taking into account the history of driver's interaction with the assistant system. Practical relevance: The obtained results allow you to increase the accuracy of recognizing dangerous states and, thereby, improve the efficiency of the driver assistance system. They also can be used for generating and displaying driving reports for insurance agents, fleet managers and logistic managers who observe and monitor the driving statistics.
Keywords — advanced driver assistance systems, driver, vehicle, driving behavior, driving style.
Citation: Lashkov I. B. Smartphone-based approach to determining driving style with on-board sensors. Informatsionno-upravliaiushchie sistemy [Information and Control Systems], 2018, no. 5, pp. 2-12 (In Russian). doi:10.31799/1684-8853-2018-5-2-12
References
1. Abraham H., McAnulty H., Mehler B., Reimer B. Case study of today's automotive dealerships: introduction and delivery of advanced driver assistance systems. Transportation Research Record: Journal of the Transportation Research Board, 2017, vol. 2671, pp. 1-17. doi:10.3141/2660-02
2. Botzer A., Musicant O., Perry A. Driver behavior with a smartphone collision warning application — a field study. Safety Science, 2017, vol. 91, pp. 361-372. doi:10.1016/j. ssci.2016.09.003
3. Schofield K., O'brien F., Bingle R. L., Lynam N. R. Cabin monitoring system for a vehicle. Patent US20170237946A1, 2001.
4. Choi M., Koo G., Seo M., Kim S.W. Wearable device-based system to monitor a driver's stress, fatigue, and drowsiness. IEEE Transactions on Instrumentation and Measurement, 2018, vol. 67, no. 3, pp. 634-645. doi:10.1109/TIM. 2017.2779329
5. Lashkov I. B. Driver's behavior analysis with smartphone front camera. Informatsionno-upravliaiushchie sistemy, 2017, 4(89), pp. 7-17 (In Russian). doi:10.15217/issnl684 -8853.2017.4.7
6. Smirnov A., Kashevnik A., Lashkov I. Human-smartphone interaction for dangerous situation detection & recommendation generation while driving. Speech and Computer, LNCS, 2016, vol. 9811, pp. 346-353. doi:10.1007/978-3-319-43958-7_41
7. Smirnov A., Kashevnik A., Lashkov I., Baraniuc O., Parfenov V. Smartphone-based identification of dangerous driving situations: algorithms and implementation. Proc. of the 18th Conference of Open Innovations Association FRUCT, 2016, pp. 306-313. doi:10.1109/FRUCT-ISPIT.2016. 7561543
8. Witten I. W., Frank E., Hall M. A., Pal C. J. Data mining: practical machine learning tools and techniques. San Francisco, Morgan Kaufmann, 2016. 654 p.
9. Chen Y., Wu J. Distribution patterns of energy consumed in classified public buildings through the data mining process. Applied Energy, 2018, vol. 226, pp. 240-251. doi:10. 1016/j.apenergy.2018.05.123
10. Si G., Zheng K., Zhou Z., Pan C., Zhang Y. Three-dimensional piecewise cloud representation for time series data mining. Neurocomputing, 2018, vol. 316, pp. 78-94. doi:10. 1016/j.neucom.2018.07.053
11. El Mohadab M., Bouikhalene B., Safi S. Automatic CV processing for scientific research using data mining algorithm. Journal of King Saud University — Computer and Information Sciences. 2018, vol. 30, pp. 1-7. doi:10.1016/j.jksu-ci.2018.07.002
12. Silva N., Soares J., Shah V., Yasmina Santos M., Rodrigues H. Anomaly detection in roads with a data mining approach. Procedia Computer Science, 2017, vol. 121, pp. 415-422. doi:10.1016/j.procs.2017.11.056
13. Nikolenko S. I., Tulupiev A. L. Samoobuchajushhiesia sistemy [Self-learning systems]. Moscow, MNWMO Publ., 2009, 288 p. (In Russian).
14. James S. C., Zhang Y., O'Donncha F. A machine learning framework to forecast wave conditions. Coastal Engineering, 2018, vol. 137, pp. 1-10. doi:10.1016/j.coastaleng.2018. 03.004
15. Cai J., Luo J., Wang S., Yang S. Feature selection in machine learning: a new perspective. Neurocomputing, 2018, vol. 300, pp. 70-79. doi:10.1016/j.neucom.2017.11.077
16. Aksjonov A., Nedoma P., Vodovozov V., Petlenkov E., Herrmann M. A Novel driver performance model based on machine learning. IFAC-PapersOnLine, 2018, vol. 51, iss. 9, pp. 267-272. doi:10.1016/j.ifacol.2018.07.044
17. Zou X., Long Yue W., Le Vu H. Visualization and analysis of mapping knowledge domain of road safety studies. Accident
Analysis & Prevention, 2018, vol. 118, pp. 131-145. doi:10. 1016/j.aap.2018.06.010
18. Bishop C. M. Pattern recognition and machine learning (information science and statistics): Springer-Verlag Berlin, Heidelberg, 2006, 738 p.
19. Skrjanc I., Andonovski G., Ledezma Espino A., Sipele O., Iglesias J., Sanchis de Miguel A. Evolving cloud-based system for the recognition of drivers' actions. Expert Systems with Applications, 2018, vol. 99, pp. 231-238. doi:10.1016/j. eswa.2017.11.008
20. Verwer S., de Weerdt M., Witteveen C. Learning driving behavior by timed syntactic pattern recognition. Proceedings of the 22 International Joint Conference on Artificial Intelligence, 2011, pp. 1529-1534. doi:10.5591/978-1-57735-516-8/IJCAI11-257
21. Johnson D. A., Trivedi M. M. Driving style recognition using a smartphone as a sensor platform. Intelligent Transportation Systems (ITSC) 14th International IEEE Conference, 2011, pp. 1609-1615. doi:10.1109/ITSC.2011.6083078
22. Van Ly M., Martin S., Trivedi M. M. Driver classification and driving style recognition using inertial sensors. IEEE Intelligent Vehicles Symposium (IV), 2013, pp. 1040-1045. doi:10.1109/IVS.2013.6629603
23. Rolim C., Baptista P. Comparing drivers' self-perception on driving behaviour changes with real world driving performance data: Lisbon case-study. Travel Behaviour and Society, 2018, vol. 11, pp. 86-92. doi:10.1016/j.tbs.2018.02.002
24. Hong J. H., Margines B., Dey A. K. A smartphone-based sensing platform to model aggressive driving behaviors. Proceedings of the SIGCHI Conference on Human Factors in Computing Systems (CHI '14). ACM, New York, NY, USA. 2014. pp. 4047-4056. doi:10.1145/2556288.2557321
25. Yang L., Ma R., Zhang H. M., Guan W., Jiang S. Driving behavior recognition using EEG data from a simulated car-following experiment. Accident Analysis & Prevention, vol. 116, 2018, pp. 30-40. doi:10.1016/j.aap.2017.11.010
26. Li G., Eben Li S., Cheng B., Green P. Estimation of driving style in naturalistic highway traffic using maneuver transition probabilities. Transportation Research Part C: Emerging Technologies, 2017, vol. 74, pp. 113-125. doi:10.1016/j. trc.2016.11.011
27. He H., Sun C., Zhang X. A Method for identification of driving patterns in hybrid electric vehicles based on a LVQ neural network. Energies, 2012, pp. 3363-3380. doi:10.3390/ en5093363
28. Zhang Y., Lin W. C., Chin Y.-K. S. A Pattern-recognition approach for driving skill characterization. Intelligent Transportation Systems, IEEE Transactions, 2010, vol. 4(11), pp. 905 — 916. doi:10.1109/TITS.2010.2055239
29. Han W., Wang W., Li X., Xi J. Statistical-based approach for driving style recognition using Bayesian probability with kernel density estimation. IET Intelligent Transport Systems, 2018, pp. 1-8. doi:10.1049/iet-its.2017.0379
30. Halim Mohd Noor M., Salcic Z., I-Kai Wang K. Adaptive sliding window segmentation for physical activity recognition using a single tri-axial accelerometer. Pervasive and Mobile Computing, 2017, vol. 38, pp. 41-59. doi:10.1016/j. pmcj.2016.09.009
31. Hammed R. T., Hassan S. H., Ajeel S. L. New compact low-pass filter (LPF) using cascaded square open loop resonator AEU. International Journal of Electronics and Communications, 2018, vol. 92, pp. 93-97. doi:10.1016/j.aeue.2018. 05.030
32. Ismkhan H. I-k-means-+: An iterative clustering algorithm based on an enhanced version of the k-means. Pattern Recognition. 2018, vol. 79, pp. 402-413. doi:10.1016/j.patcog. 2018.02.015
