CC BY
110
УДК 004
doi:10.15217/issnl684-8853.2017.4.7
АНАЛИЗ ПОВЕДЕНИЯ ВОДИТЕЛЯ
ПРИ УПРАВЛЕНИИ ТРАНСПОРТНЫМ СРЕДСТВОМ
С ИСПОЛЬЗОВАНИЕМ ФРОНТАЛЬНОЙ КАМЕРЫ СМАРТФОНА
И. Б. Лашкова-6-1, аспирант
эСанкт-Петербургский национальный исследовательский университет информационных технологий,
механики и оптики, Санкт-Петербург, РФ
бСанкт-Петербургский институт информатики и автоматизации РАН, Санкт-Петербург, РФ
Постановка проблемы: многие водители за рулем транспортного средства оказываются в состоянии усталости и при этом даже не подозревают о том, что находятся в таком состоянии. Отслеживание опасного поведения за рулем может помочь обратить внимание водителей на стиль своего вождения и связанные с этим риски, тем самым снизить процент неосторожного вождения, улучшить навыки безопасного поведения на дороге, таким образом уменьшив количество дорожно-транспортных происшествий на дорогах общего пользования. На сегодняшний день большую популярность приобретают системы автоматизированной поддержки водителей, призванные помочь им избежать дорожно-транспортных происшествий или смягчить их последствия, заранее предупреждая водителя об опасности звуковым или световым сигналом. Цель исследования: разработка концептуальной модели для анализа поведения водителя при управлении транспортным средством с использованием фронтальной камеры смартфона. Результаты: разработана концептуальная модель для распознавания небезопасного поведения водителя при помощи фронтальной камеры смартфона; представлен алгоритм определения признаков усталости и ослабленного внимания водителя; разработана онтологическая модель поведения водителя для определения опасных состояний при управлении транспортным средством; разработан прототип мобильного приложения для слежения за водителем при помощи фронтальной камеры смартфона и обнаружения признаков сонливости и ослабленного внимания в процессе управления им транспортным средством. Практическая значимость: разработанное мобильное приложение, задействующее алгоритм определения признаков сонливости и ослабленного внимания, позволяет распознавать небезопасное поведение водителя за рулем автомобиля и предупреждать о наступлении аварийной ситуации в процессе движения.
Ключевые слова — современные системы содействия водителю, транспортные системы, онтологии.
Введение
Количество несчастных случаев, вызванных засыпанием водителя за рулем транспортного средства (ТС), с каждым годом уносит все больше жизней и приводит к травматизму среди населения как в России, так и в мире. Вождение в состоянии ослабленного внимания настолько же опасно, как и вождение в состоянии алкогольного опьянения, о чем свидетельствует анализ числа смертей и травм, полученных при вождении. Заснул ли водитель за рулем, или же у него замедлилась скорость реакции — все это в равной мере может привести к опасным последствиям.
На сегодняшний день безопасность на дороге определяется не только техническим состоянием ТС, дорожными условиями и соблюдением правил дорожного движения, но также навыками, физическим состоянием, способностью концентрироваться и соблюдением мер безопасности водителями.
В целях повышения уровня безопасности на дорогах мировыми производителями легковых и
1 Научный руководитель — кандидат технических наук, старший научный сотрудник Санкт-Петербургского института информатики и автоматизации РАН А. М. Кашевник.
грузовых автомобилей разрабатываются и встраиваются в автомобили современные системы содействия водителю (СССВ). Данные системы призваны помочь водителям предотвратить дорожно-транспортное происшествие (ДТП) или смягчить его последствия. Согласно прогнозу McKinsey Global Institute [1], среднегодовые темпы роста рынка систем помощи водителю до 2020 г. могут составить более $ 11 млрд.
В настоящий момент проводится достаточно много исследований в области компьютерного зрения (например, [2-5]). В СССВ невербальное выражение водителем ТС внутреннего состояния анализируется при помощи видеокамеры за счет наблюдения за его головой и лицом, которые предоставляют достаточно точные характеристики, по которым можно определить физиологические особенности водителя. Предупреждающие сигналы подаются такими системами для стимулирования бдительности водителя, а также для предупреждения его о необходимости своевременных действий в ситуациях, когда существует риск возникновения ДТП. Так, например, управление автомобилем требует от водителя полной сосредоточенности внимания, хорошей реакции и адекватного восприятия дорожной обстановки. Существует большое количество отвлекающих внимание водителя факторов, таких как теле-
■ Рис. 1. Общая схема СССВ
■ Fig. 1. General scheme of ADAS
фонные звонки, SMS-сообщения, мультимедиа и навигационные системы. Если водитель отвлекается от дорожной ситуации во время движения ТС, СССВ проинформирует водителя о наступлении опасной ситуации и существующем риске возникновения ДТП. В этом случае у водителя появляется время для совершения необходимого маневра с целью избежать ДТП.
Технологии, составляющие СССВ, можно условно разделить по виду контекста на те, которые осуществляют мониторинг окружающей обстановки (дорожной обстановки), и те, которые направлены на слежение за поведением водителя внутри кабины ТС. Под контекстом понимается любая информация, которая может быть использована для описания ситуации, в которой находится в определенный момент времени некоторый объект (водитель ТС). Упрощенная схема СССВ, интегрированной в автомобиль и использующей оба вида контекста, представлена на рис. 1.
Получая и используя показания с телеметрии ТС (встроенных в автомобиль видеокамер, радаров, лазеров, датчиков, сенсоров), СССВ осуществляет сбор информации о дорожной обстановке (контексте автомобиля) и наблюдение за поведением водителя внутри кабины ТС (контексте водителя). Непрерывно анализируя опасные ситуации в процессе движения, при наступлении аварийной ситуации данная система способна принять управление ТС на себя или же выработать рекомендации водителю, оповестив его о них через информационно-развлекательную систему ТС.
Основной целью статьи является разработка прототипа мобильного приложения для предот-
вращения ДТП, основанного на использовании контекста внутри кабины ТС с применением фронтальной камеры и сенсоров смартфона и разработанной онтологии водителя. В статье описана реализация мобильного приложения для смартфонов на базе платформы Android, задачей которого является отслеживание физического состояния водителя и предупреждение его о риске наступления аварийной ситуации.
Аналитический обзор решений в области СССВ
Автопроизводители все активнее встраивают передовые системы помощи водителю, помогающие избежать аварии или уменьшить ее последствия. Можно выделить следующие наиболее встречающиеся: система контроля слепых зон (Blind Spot Detection — BSD), система контроля рядности движения (Lane Departure Warning — LDW), система обнаружения пешеходов и велосипедистов (Pedestrian Collision Warning — PCW), функция распознавания дорожных знаков (Traffic Sign Recognition — TSR), функция предупреждения о переднем столкновении и смягчении неизбежной аварии (Forward Collision Warning — FCW), система шоссейного мониторинга и предупреждения (Headway Monitoring and Warning — HMW).
Все СССВ можно условно разделить по форме представления на две категории:
— внешние камеры, сенсоры, датчики, чипы и т. д. вместе с программными средствами, встраиваемые в автомобили на заводах-изготовителях или устанавливаемые в качестве дополнительного оборудования уже самим водителем;
— мобильные приложения, устанавливаемые водителем на смартфон из магазина приложений Google Play (магазин приложений, игр, книг, музыки и фильмов компании Google и других компаний) или App Store (магазин приложений, раздел онлайн-магазина iTunes Store компании Apple, предлагающий iOS-приложения).
В настоящее время существует достаточно большое количество производителей, разрабатывающих и интегрирующих интеллектуальные системы помощи водителю. Одной из ведущих компаний в области проектирования и разработки систем безопасности и помощи водителю является Mobileye (Израиль). Данная компания предоставляет интеллектуальную систему помощи водителю, встраиваемую в ТС некоторыми заводами-изготовителями. При этом существует возможность покупки водителем видеокамеры, устанавливаемой под лобовым стеклом автомобиля, с интегрированным программным обеспечением. Примерами опасных ситуаций, определяемых такой системой, являются: наезд на пешехода, несоблюдение дистанции до движущегося впереди ТС, непреднамеренный съезд с полосы движения, а также превышение разрешенной скорости движения на данном участке. Как можно заметить, в целях предотвращения ДТП СССВ осуществляют визуальную оценку окружающей обстановки вокруг автомобиля, а поведение водителя и обстановка внутри кабины не учитываются. Стоит также заметить, что на данный момент интегрируемые в ТС СССВ в основном доступны в виде дополнительной опции для автомобилей класса премиум и выше, а сама стоимость такого оборудования остается достаточно высокой.
Другой категорией СССВ являются мобильные приложения, представленные в основном на платформах iOS и Android и являющиеся пассивными системами содействия водителю.
Мобильное приложение использует встроенные в смартфон тыловую камеру, сенсоры и датчики для обнаружения впереди идущих автомобилей и предупреждения водителя в случае опасности. Такое приложение распознает объекты впереди водителя в реальном времени, вычисляет текущую скорость автомобиля, и при надвигающейся опасности система воспроизводит звуковое и визуальное предупреждение, уведомляя водителя о необходимости своевременной реакции для предотвращения ДТП. Существующие мобильные приложения сфокусированы на обработке изображений, получаемых из видеоряда тыловой камеры смартфона, направленной на слежение за дорожной обстановкой впереди автомобиля. Обрабатывая и анализируя изображения, мобильные приложения способны распознавать небезопасную дистанцию до впереди идущих ТС, съезд с выбранной полосы движения, дорожные знаки и т. п. Сравнение мобильных СССВ-приложений по набору технологий, часто встречающихся в подобных системах (LDW, FCW, CLC, LW, HWM, SLI/TSR, PCW), а также системах распознавания сонливости (Drowsiness Driving — DD) и ослабленного внимания (Inattentive Driving — ID) водителя представлено в табл. 1.
Несмотря на небольшие размеры современных смартфонов, в них встроено большое количество различных сенсоров и датчиков, среди которых к часто встречающимся можно отнести фронтальную и тыловую камеры, GPS, акселерометр (G-сенсор), гироскоп, микрофон. Сравнение мобильных СССВ-приложений по использованию доступных сенсоров смартфонов представлено в табл. 2.
Одним из наиболее популярных мобильных приложений среди СССВ, предназначенных для повышения безопасности вождения ТС, является мобильное приложение дополненной реальности iOnRoad, доступное на платформах iOS
■ Таблица 1. Сравнение мобильных СССВ-приложений по наличию функций
■ Table 1. Comparison of mobile ADAS application functions
Приложение Платформа Технология
iOS Android LDW FCW CLC LW HMW DD ID SLI/TSR PCW
iOnRoad + + + + + + + - - - -
CarSafe - - + + + + + - - - -
DriveSafe + - + - + - - + - + +
Augmented Driving + - + + - - - + - - -
Nexar — AI Dashcam - + + + + - - - - - -
NightDrive + - - - - - - + - - -
■ Таблица 2. Сравнение мобильных СССВ-приложений по использованию встроенных камер и сенсоров смартфона
■ Table 2. Comparison of mobile ADAS applications by employing the built-in cameras and smartphone sensors
Приложение Устройство
Фронтальная камера Тыловая камера GPS Акселерометр Гироскоп Микрофон
iOnRoad - + + + + -
CarSafe + + + + + +
DriveSafe - - + + + -
Augmented Driving + - - + + -
Nexar — AI Dashcam - + - + + +
NightDrive + - - - - -
и Android, задействующее тыловую камеру, сенсоры и датчики смартфона. При аварийной ситуации приложение выводит звуковое и графическое предупреждение о риске столкновения. Другим приложением помощи водителю является мобильное приложение CarSafe [6], использующее алгоритмы компьютерного зрения и машинного обучения для отслеживания усталости и ослабленного внимания водителя при помощи фронтальной камеры смартфона и в то же время для слежения за дорожной обстановкой при помощи тыловой камеры. Однако на данный момент приложение CarSafe не доступно для тестирования. Другой мобильной СССВ является приложение дополненной реальности Augmented Driving [7] , использующее исключительно тыловую камеру смартфона для отслеживания дорожной обстановки и предупреждения водителя о возможном наступлении ДТП при помощи звуковых уведомлений. Данное приложение предлагает такие функции для водителя, как уведомление о несоблюдении дистанции до впереди идущего ТС, слежение за дорожной разметкой и уведомление о превышении скорости ТС. Приложение NightDrive [8] является единственным мобильным решением, которое непрерывно следит за открытостью/закрытостью глаз водителя и предупреждает его в случае определения состояния ослабленного внимания. В том случае, если глаза водителя закрыты две секунды и более, приложение проигрывает звуковой сигнал до тех пор, пока водитель не выйдет из этого состояния. Стоит отметить, что у приложения имеется режим «ночного видения». Изменяя яркость экрана телефона, приложение способно подстраиваться под условия слабой освещенности в кабине водителя ТС и тем самым повышать качество и яркость изображений, получаемых
с фронтальной камеры смартфона и используемых при выявлении опасных ситуаций. Данное приложение, опубликованное ранее в магазине приложений App Store, на текущий момент недоступно. Другим помощником водителя может служить мобильное приложение Driver Guard [9], осуществляющее слежение за обстановкой, помогая поддерживать безопасную дистанцию до впереди идущего ТС, и предупреждающее водителя о наступлении опасного состояния. Данное приложение доступно только на платформе Android. Приложение Nexar — AI Dashcam [10] доступно на платформах iOS и Android и работает как видеорегистратор, сохраняющий информацию о поездке в удаленном хранилище: время, координаты и скорость автомобиля и запись ДТП. Nexar ведет запись видеопотока одновременно с фронтальной и тыловой камер смартфона, сохраняет номерные знаки ТС, нарушающих правила дорожного движения, чтобы впоследствии при появлении нарушителя в зоне видимости камеры смартфона предупредить водителя при помощи текстовых и звуковых оповещений.
К сожалению, проанализированные приложения учитывают не весь спектр небезопасных дорожных ситуаций, с которыми может столкнуться водитель ТС. Рассмотренные мобильные приложения сфокусированы на анализе окружающей дорожной обстановки, не учитывая в полной мере контекст внутри кабины ТС. Существующие приложения не подстраиваются под конкретного водителя, не осуществляют дополнительную калибровку всей системы, пренебрегая прошлым опытом водителя, его поведением за рулем ТС и паттернами вождения при анализе небезопасного состояния водителя, тем самым уменьшается точность распознавания небезопасных ситуаций при работе систем помощи водителю.
Концептуальная модель предложенной СССВ
Концептуальная модель предложенной мобильной системы, реализующей функции СССВ, представлена на рис. 2. Модель состоит из трех основных компонентов: водителя, смартфона и облачного сервиса. Устанавливаемое на смартфон мобильное приложение задействует фронтальную камеру и сенсоры (GPS, акселерометр, гироскоп, магнетометр) телефона для получения изображений водителя и параметров поездки (скорости, ускорения, торможения, поворота налево/ направо и текущей геопозиции ТС). Для поиска и извлечения характеристик лица водителя (положения головы; доли времени, когда глаза закрыты — PERCLOS — PERcentage of eye CLOSure [11]; скорости моргания век; направления взгляда; зевоты) его исходное изображение, поступающее на вход модуля обработки изображений, обрабатывается методами компьютерного зрения. Используя онтологию водителя, характеристики его лица и показания сенсоров смартфона, модуль анализа выявляет опасные состояния и аварийные ситуации, в которые может попасть водитель ТС. На основе выявленной авариной ситуации и
контекста, в котором находятся водитель и ТС, модуль рекомендаций вырабатывает рекомендации, следование которым позволяет снизить вероятность наступления ДТП. Планировщик задач осуществляет распределение ресурсоемких, затратных по распознаванию объектов на изображении, вычислительных и сетевых задач, что позволяет воспользоваться возможностями многоядерных процессоров современных смартфонов, переключая потоки на исполнение.
Большое количество информации, получаемой и генерируемой в процессе работы с фронтальной камерой и многочисленными сенсорами смартфона, накапливается системой помощи водителю при отслеживании его поведения за рулем автомобиля. Хранение, управление, анализ и генерирование новых данных осуществляется при помощи технологической связи в виде локальной базы данных (БД), хранящейся в приложении на смартфоне водителя и облачном сервисе, доступном удаленно для каждого пользователя в любой момент времени. Локальная БД используется для хранения временных пользовательских данных и подготовки их в целях дальнейшей синхронизации, отправки в облачный сервис. Использование локальной БД может быть также оправдано в от-
Водитель Голова
S
Положение головы
PERCLOS
Скорость моргания век
Направление взгляда
Зевота
Лицевые характеристики
'Рекомендации
Смартфон
Фронтальная камера
Сенсоры (GPS, акселерометр,
гироскоп, магнитометр)
Локальная БД
__________\Z_____________
Мобильное приложение
Модуль считывания сенсоров
Модуль обработки изображений
Модуль анализа
Модуль рекомендаций
Пользовательский интерфейс
Планировщик задач
Онтология водителя
Облачный сервис
Паттерны поведения
Паттерны стиля вождения
Аварийные ситуации
Статистика использования приложения
■ Рис. 2. Концептуальная модель разрабатываемой СССВ
■ Fig. 2. Reference model of the developed ADAS
сутствие соединения с сетью Интернет, когда запись событий и их характеристик продолжится в память устройства при обрыве связи. Облачный сервис получает от приложения такие данные, как характеристика вождения водителя (ускорение, торможение, плавность хода, перестроение, путь следования и т. д.), опасные состояния и аварийные ситуации в процессе движения и статистика использования приложения. На основе данных, собираемых с мобильного устройства водителя, выделяются и формируются паттерны его поведения, уникальный стиль (манера) вождения. В дальнейшем система помощи водителю продолжает обучаться и подстраиваться под текущего водителя с учетом особенностей его поведения за рулем и стиля вождения.
Последним компонентом мобильного приложения является интуитивный пользовательский интерфейс, предоставляющий удобное взаимодействие водителя с приложением.
Анализ поведения водителя
Рассмотрим предлагаемую схему распознавания аварийных ситуаций, наблюдаемых внутри кабины ТС (рис. 3). На вход поступает изображение из видеоряда с фронтальной камеры смартфона. Осуществляя поиск и локализацию объектов лица водителя (положение головы, угол поворота головы, глаз, рта) при помощи алгоритмов компьютерного зрения, на каждом кадре оценивается физическое состояние водителя при движении ТС в момент времени (состояние глаз — открытость и закрытость, скорость моргания век, выражение лица, направление взгляда, поворот головы). Распознанные параметры позволяют выявить аварийные ситуации (состояние сонливости [12], ослабленного внимания [13]), оказывающие влияние на безопасность водителя при управлении ТС.
Под сонливостью понимается чувство усталости и «слипания глаз», являющееся следствием нарушения сна и сопровождающееся постоянным или периодическим желанием уснуть во время, не предназначенное для сна. Скорость реакции замедляется, затрудняется принятие решений, понижаются внимание, память, страдает координация движений. Стоит отметить, что водители сами зачастую не осознают, что находятся в состоянии сонливости.
Существующие на данный момент научные исследования показали, что параметр РЕИ^ОЯ является проверенным и надежным критерием определения сонливости водителя. Параметр РЕИ^ОЯ характеризуется долей времени, в течение которого веки водителя закрыты более чем на 80 % по оценкам наблюдателя или соответствующей прикладной программы. Если показатель РЕИ^ОЯ наблюдается более 28 % [14]
времени в течение одной минуты, то человек считается дремлющим.
При развитии состояния усталости или сонливости моргание глаз может стать более продолжительным и более медленным, и (или) частота моргания может варьироваться, и (или) при моргании веки могут начать опускаться с небольшой амплитудой, например, пока глаза не начинают закрываться до краткосрочных «микроснов», т. е. состояний сна, которые длятся в течение приблизительно 3-5 с или дольше, или до продолжительного сна.
Дополнительным критерием определения сонливости служит скорость моргания глаз. Безопасный для водителя интервал, в течение которого допускается моргание глаза, равен от 0,5 до 0,8 с [15].
Другим индикатором определения состояния сонливости является зевота [16]. Считаем, что у водителя присутствуют признаки сонливости, если при управлении ТС он совершает более трех зевков в течение 30 мин.
Одним из заметных признаков сонливости является момент, когда водитель «клюет носом», т. е. ему трудно удерживать голову в обычном положении [17]. Если приложение обнаруживает, что водитель совершил более двух кивков головой в течение 2 мин, фиксируется обнаружение опасного состояния.
В результате исследований авторов работы [18] было установлено, что постоянное управление транспортом на протяжении 4 ч понижает скорость реагирования автомобилиста на изменение дорожной обстановки в 2 раза, а в течение 8 ч — до 5-7 раз. Термин «невнимательное вождение» подразумевает под собой управление ТС, при котором водитель не полностью сосредоточен на дорожных условиях. Были выявлены следующие три варианта невнимательного вождения.
При выявлении состояния ослабленного внимания водителя применяется классификация положения его головы относительно туловища. В первом варианте рассматривается ситуация, при которой голова водителя должна быть направлена прямо по направлению движения ТС. У водителя фиксируется ослабленное внимание, если его голова опущена более 3 с (направление скорости фиксируется акселерометром смартфона) или же она не направлена в сторону поворота (определяется по данным с гироскопа) ТС.
Во втором варианте осуществляется наблюдение за прохождением водителем поворотов налево и направо путем отслеживания направления движения ТС и фиксации его поворотов налево или направо. Предполагается, что у водителя ослаблено внимание, если угол поворота его головы при повороте ТС составляет менее 15° по направлению движения ТС или попросту отсутствует.
Рис. 3. Fig. 3.
Схема распознавания небезопасных состояний внутри кабины ТС Unsafe events recognition scheme inside the vehicle
owl: Thing
i e о
"0 >
С
s
0
1 I
о
-к ZI
5
m
5
E s
m n S n 4
Поворот_ головы
о m
m о ч
X
e о
XI >
с
< □
ГО
>
m I
s m
NJ О SJ
Рис. 4. Онтологическая модель водителя: 1 — является; 2 — влияет_на; 3 — используется Fig. 4. Ontological model of the driver: 1 — is; 2 — affects; 3 — is_used
И, наконец, в третьем варианте контролируется процесс перестроения ТС в соседнюю полосу движения (водитель должен убедиться в безопасности маневра, проверив наличие автомобилей при помощи боковых зеркал).
Онтологическая модель водителя для определения опасных состояний при управлении ТС
Для описания разрабатываемой СССВ, осуществляющей выявление опасных состояний водителя и генерирование рекомендаций по предотвращению ДТП, используется онтологическая модель водителя ТС (рис. 4) [19], построенная на основе знаний об объектах (водителе, ТС, дорожной обстановке, смартфоне), составляющих предметную область. Онтологическая модель позволяет сопоставить сигналы поведения водителя и опасные состояния, с которыми он может столкнуться при управлении ТС.
Разработанная онтологическая модель водителя состоит из следующих пяти основных классов: «Фронтальная_камера» (фронтальная камера смартфона), «Наблюдаемые_параметры» (наблюдаемые параметры, характеризующие текущее физическое состояние водителя), «Визуальные_сиг-налы» (визуальные сигналы, использующиеся при обнаружении аварийных ситуаций), «Аварийные_ ситуации» (аварийные ситуации, с которыми может столкнуться водитель) и «Водитель» (профиль водителя, отражающий биографические данные и характеристики водителя, наблюдаемые в текущий момент времени). Профиль водителя состоит из таких компонентов, как «Навыки_и_опыт», «Поведение_за_рулем», «Восприятие_обстановки», «Мотивация» и «Знания». Визуальные сигналы, формируемые наблюдаемыми параметрами, влияют на обнаружение аварийных ситуаций в кабине ТС. «Визуальные_сигналы» и «Наблюдаемые_па-раметры» позволяют определить опасное поведение водителя, характеризующееся такими аварийными ситуацими, как «Ослабленное_внимание» и «Сонливость».
Реализация мобильного приложения
Мобильное приложение разработано для смартфонов на платформе операционной системы Android 4.0.3 и выше на языке Java в среде программирования Android Studio. Для обработки изображений был использован фреймворк компьютерного зрения Mobile Vision (фреймворк для поиска и локализации объектов на фото и изображениях), разработанный компанией Google, предоставляющий удобный интерфейс для поиска и локализации объектов (лиц, глаз, рта) на изображении и видео в режиме реального времени.
Рис. 5. Приложением установлено нормальное поведение водителя (а) и обнаружены признаки сонливости (б) Fig. 5. Detected normal state of the driver (a) and drowsiness state of the driver (б)
Фреймворк позволяет фиксировать следующие характеристики водителя: направление взгляда, поворот головы, кивок головой, скорость и продолжительность закрытия глаз. Приложение осуществляет непрерывное наблюдение за поведением водителя и фиксирует опасные состояния водителя (усталость, состояние ослабленного внимания). Пример работающего приложения, функционирующего совместно с привычной навигационной системой водителя, приведен на рис. 5, а и б, где в первом случае приложением зафиксировано нормальное поведение водителя за рулем ТС, не вызывающее опасений (отсутствие иконок на изображении с фронтальной камеры), а во втором распознаны признаки сонливости водителя (пиктограмма в правом нижнем углу окна приложения).
Заключение
В статье представлен анализ поведения водителя ТС с использованием онтологии водителя и фронтальной камеры смартфона. Данный подход основан на распознавании усталости и состояния ослабленного внимания водителя ТС. Осуществляя непрерывное наблюдение за физическим состоянием водителя при помощи фронтальной камеры смартфона, предложенная СССВ фиксирует характеристики головы и лица человека и
их отклонения. На основе анализа этих характеристик система выявляет опасные состояния водителя и генерирует рекомендации по предотвращению ДТП. Разработано мобильное приложение на платформе ОС Android, предупреждающее водителя о возможности столкновения при помощи звукового и визуального уведомления, позволяя водителю вовремя затормозить и предотвратить аварийную ситуацию. Разработанный подход дает возможность не только смягчать последствия аварий, но и помогать водителю избегать их, своевременно обращая его внимание на возника-
Литература
1. McKinsey Global Institute. http://www.mckinsey. com/industries/semiconductors/our-insights/ad-vanced-driver-assistance-systems-challenges-and-opportunities-ahead (дата обращения: 02.06.2017).
2. Mustafa M. Alrjebi, Nadith Pathirage, Wanquan Liu, Ling Li. Face Recognition Against Occlusions via Colour Fusion using 2D-MCF Model and SRC // Pattern Recognition Letters. 2017. Vol. 95. P. 14-21. doi:10.1016/j.patrec.2017.05.013
3. Фурсов В. А., Бибиков С. А., Якимов П. Ю. Локализация контуров объектов на изображениях при вариациях масштаба с использованием преобразования Хафа // Компьютерная оптика. 2013. № 37(4). С. 496-502. doi:http://dx.doi.org/10.18287/0134-2452-2013-37-4-496-502
4. Небаба С. Г., Захарова А. А. Алгоритм построения деформируемых 3D моделей лица и обоснование его применимости в системах распознавания личности // Тр. СПИИРАН. 2017. Вып. 52. C. 157-179. doi:http://dx.doi.org/10.15622/sp.52.8
5. Чиров Д. С., Чертова О. Г., Потапчук Т. Н. Методика обоснования требований к системе технического зрения робототехнического комплекса // Тр. СПИИРАН. 2017. Вып. 51. C. 152-176. doi:http://dx. doi.org/10.15622/sp.51.7
6. You C.-W., Lane N. D., Chen F., Wang R., Chen Z., Bao T. J., Montes-de-Oca M., Cheng Y., Lin M., Torre-sani L., Campbell A. T. CarSafe App: Alerting Drowsy and Distracted Drivers using Dual Cameras on Smartphones // Proc. of MobiSys'13. 2013. P. 461462. doi:https://doi.org/10.1145/2462456.2466711
7. Augmented Driving. http://www.imaginyze.com/ Site/Welcome.html (дата обращения: 02.06.2017).
8. NightDrive. https://appadvice.com/app/nightdrive/ 902703316 (дата обращения: 02.06.2017).
9. Driver Guard. https://play.google.com/store/apps/ details?id=com.badrit.cv.vehicledetect (дата обращения: 02.06.2017).
10. Nexar — AI Dashcam. https://www.getnexar.com (дата обращения: 02.06.2017).
11. Dinges D., Grace R. PERCLOS: A Valid Psychophysi-ological Measure of Alertness as Assessed by Psycho-/^
ющие опасности, если надлежащая реакция со стороны водителя недостаточна или отсутствует. Полученные результаты могут найти применение в построении комплексных СССВ-решений, учитывающих большой спектр дорожных ситуаций.
Представленные результаты исследований являются частью проекта № 17-29-03284, финансируемого Российским фондом фундаментальных исследований и бюджетной темой №0073-20140005. Работа выполнена также при государственной финансовой поддержке ведущих университетов Российской Федерации (субсидия 074-Ш1).
motor Vigilance/ US Department of Transportation, Federal Highway Administration, Publication No. FHWA-MCRT-98-006. USA, October 1998. — 4 p.
Wierville W. W. Overview of Research on Driver Drowsiness Definition and Driver Drowsiness Detection// Proc. of the 14th Intern. Technical Conf. on Enhanced Safety of Vehicles/ National Highway Traffic Safety Administration. Munich, Germany. 1995. P. 462-468.
12. Dinges D. F., Mallis M., Maislin G., Powell J. W. Evaluation of Techniques for Ocular Measurement as an Index of Fatigue and the Basis for Alertness Management: Tech. Rep. 808 762/Department of Transportation Highway Safety Publication. Washington, DC, USA, April 1998. — 113 p.
13. Wierwille W. W., Wreggit S. S., Kirn C. L., Ellsworth L. A., Fairbanks R. J. Research on Vehicle-based Driver Status/Performance Monitoring: Development, Validation, and Refinement of Algorithms for Detection of Driver Drowsiness: Tech. Rep. D0T-HS-808-247 / National Highway Traffic Safety Administration, 1994. — 247 p.
14. Priyanka N. L., Krutika S., Admane, Mrunali G. Driver's Face Monitoring System for Detecting Hypo Vigilance // A Review. Intern. Journal of Research. 2015. N 4. P. 553-559.
15. Saini V., Saini R. Driver Drowsiness Detection System and Techniques // A Review. Intern. Journal of Computer Science and Information Technologies. 2014. Vol. 5 (3). P. 4245-4249.
16. Eskandarian A., Sayed R., Delaigue P., Mortazavi A., Blum J. Advanced Driver Fatigue Research: Tech. Rep. FMCSA-RRR-07-001 / U.S. Department of Transportation, April 2007. — 210 p.
17. Anon. Proximity Array Sensing System: Head Position Monitor / Metric: Tech. Rep. NM87504 / Advanced Safety Concepts. Sante Fe, 1998.
18. Lashkov I., Smirnov A., Kashevnik A., Parfenov V. Ontology-based Approach and Implementation of ADAS System for Mobile Device use While Driving // 6th Intern. Conf. on Knowledge Engineering and Semantic Web, Moscow, 2015. CCIS 518. P. 117-131. doi: 10.1007/978-3-319-24543-0_9
UDC 004
doi:10.15217/issn1684-8853.2017.4.7
Driver's Behavior Analysis with Smartphone Front Camera
Lashkov I. B.a,b, Post-Graduate Student, [email protected]
aSaint-Petersburg National Research University of Information Technologies, Mechanics and Optics, 49, Kronverkskii St., 197101, Saint-Petersburg, Russian Federation
bSaint-Petersburg Institute for Informatics and Automation of the RAS, 39, 14 Line, V. O., 199178, Saint-Petersburg, Russian Federation
Introduction: From time to time people drive while being tired or drowsy and, according to experts, many drivers fail to recognize that they are in a fatigue state. Monitoring dangerous driving behavior can help drivers pay attention to their driving style and the associated risks, thereby reducing the occurrences of careless driving and improving the safe driving skills. Advanced driver assistance systems are becoming popular nowadays. They can help drivers avoid road accidents, producing a warning signal by light or sound. Purpose: The goal was to develop a conceptual model for analyzing a driver's behavior using a front-facing camera. Results: A conceptual model has been developed for recognizing a dangerous behavior of a driver using the front-facing camera of a smartphone. An algorithm for determining the visual cues of driver's drowsiness and distraction is presented. An ontological model has been developed which detects the driver's dangerous behavior. Processing the video stream from a front-facing camera and a variety of onboard smartphone sensors, the application attempts to recognize the driver's behavior accurately, anticipating dangerous events caused by drowsiness or tiredness and producing an immediate alert with audible or visual signals. Practical relevance: The proposed mobile application can recognize unsafe behavior of a driver and give a warning about a possible emergency.
Keywords — Advanced Driver Assistance Systems, Transportation Systems, Ontologies.
References
1. McKinsey Global Institute. Available at: http://www.mck-insey.com/industries/semiconductors/our-insights/ad-vanced-driver-assistance-systems-challenges-and-opportu-nities-ahead (accessed 2 June 2017).
2. Mustafa M. Alrjebi, Nadith Pathirage, Wanquan Liu, Ling Li. Face Recognition Against Occlusions via Colour Fusion using 2D-MCF Model and SRC. Pattern Recognition Letters, 2017. doi: 10.1016/j.patrec.2017.05.013
3. Fursov V. A., Bibikov S. A., Yakimov P. Y. Localization of Objects Contours with Different Scales in Images using Hough Transform. Komp'iuternaia optika, 2013, no. 37(4), pp. 496-502 (In Russian). doi:http://dx.doi.org/ 10.18287/0134-2452-2013-37-4-496-502
4. Nebaba S. G., Zakharova A. A. An Algorithm for Building Deformable 3D Human Face Models and Justification of its Applicability for Recognition Systems. Trudy SPIIRAN, 2017, iss. 3(52), pp. 157-179 (In Russian). doi:http://dx.doi. org/10.15622/sp.52.8
5. Chirov D. S., Chertova O. G., Potapchuk T. N. Methods of Study Requirements for the Complex Robotic Vision System. Trudy SPIIRAN, 2017, iss. 51, pp. 152-176 (In Russian). doi:http://dx.doi.org/10.15622/sp.51.7
6. You C.-W., Lane N. D., Chen F., Wang R., Chen Z., Bao T. J., Montes-de-Oca M., Cheng Y., Lin M., Torresani L., Campbell A. T. CarSafe App: Alerting Drowsy and Distracted Drivers using Dual Cameras on Smartphones. Proc. of Mobi-Sys'13, 2013, pp. 461-462. doi:https://doi.org/10.1145/ 2462456.2466711
7. Augmented Driving. Available at: http://www.imaginyze. com/Site/Welcome.html (accessed 2 June 2017).
8. NightDrive. Available at: https://appadvice.com/app/night-drive/902703316 (accessed 2 June 2017).
9. Driver Guard. Available at: https://play.google.com/store/ apps/details?id=com.badrit.cv.vehicledetect (accessed 2 June 2017).
10. Nexar — AI Dashcam. Available at: https://www.getnexar. com (accessed 2 June 2017).
11. Dinges D., Grace R. PERCLOS: A Valid Psychophysiological Measure of Alertness as Assessed by Psychomotor Vigi-
lance. US Department of Transportation, Federal Highway Administration, Publication No. FHWA-MCRT-98-006, USA, October 1998. 4 p.
Wierville W. W. Overview of Research on Driver Drowsiness Definition and Driver Drowsiness Detection. Proc. of the 14th Intern. Technical Conf. on Enhanced Safety of Vehicles, National Highway Traffic Safety Administration, Munich, Germany, 1995, pp. 462-468.
12. Dinges D. F., Mallis M., Maislin G., Powel J. W. Evaluation of Techniques for Ocular Measurement as an Index of Fatigue and the Basis for Alertness Management. Tech. Rep. 80S 762, Department of Transportation Highway Safety Publication, Washington, DC, USA, April 1998. 113 p.
13. Wierwille W. W., Wreggit S. S., Kirn C. L., Ellsworth L. A., Fairbanks R. J. Research on Vehicle-based Driver Status / Performance Monitoring: Development, Validation, and Refinement of Algorithms for Detection of Driver Drowsiness. Tech. Rep. DOT-HS-S0S-247, National Highway Traffic Safety Administration, 1994. 247 p.
14. Priyanka N. L., Krutika S., Admane, Mrunali G. Driver's Face Monitoring System for Detecting Hypo Vigilance. A Review. Intern. Journal of Research, 2015, no. 4, pp. 553559.
15. Saini V., Saini R. Driver Drowsiness Detection System and Techniques. A Review. Intern. Journal of Computer Science and Information Technologies, 2014, vol. 5 (3), pp. 42454249.
16. Eskandarian A., Sayed R., Delaigue P., Mortazavi A., Blum J. Advanced Driver Fatigue Research. Tech. Rep. FMCSA-RRR-07-001, U.S. Department of Transportation, April 2007. 210 p.
17. Anon. Proximity Array Sensing System: Head Position Monitor/Metric: Tech. Rep. NMS7504, Sante Fe, Advanced Safety Concepts, 1998.
18. Lashkov I., Smirnov A., Kashevnik A., Parfenov V. Ontology-Based Approach and Implementation of ADAS System for Mobile Device use While Driving. 6th Intern. Conf. on Knowledge Engineering and Semantic Web, Moscow, 2015, CCIS 518, pp. 117-131. doi:10.1007/978-3-319-24543-0_9
