CC BY
188
НАУЧНО-ТЕХНИЧЕСКИИ ВЕСТНИК ИНФОРМАЦИОННЫХ ТЕХНОЛОГИИ, МЕХАНИКИ И ОПТИКИ ноябрь-декабрь 2015 Том 15 № 6 ISSN 2226-1494 http://ntv.i1mo.ru/
SCIENTIFIC AND TECHNICAL JOURNAL OF INFORMATION TECHNOLOGIES, MECHANICS AND OPTICS November-December 2015 Vol. 15 No 6 ISSN 2226-1494 http://ntv.ifmo.ru/en
УДК 004.04
ИССЛЕДОВАНИЕ И РАЗРАБОТКА ПОДХОДА К ПОСТРОЕНИЮ ИНТЕЛЛЕКТУАЛЬНОГО МОБИЛЬНОГО СЕРВИСА ДЛЯ АВТОМАТИЗИРОВАННОЙ ПОДДЕРЖКИ ВОДИТЕЛЯ ТРАНС ПОРТНОГО СРЕДСТВА
И.Б. Лашкова, А.В. Смирнова,ь, А.М. Кашевникь,с
a Университет ИТМО, Санкт-Петербург, 197101, Российская Федерация
ь Санкт-Петербургский институт информатики и автоматизации РАН (СПИИРАН), 199178, Российская Федерация с Петрозаводский государственный университет (ПетрГУ), Петрозаводск, 185910, Российская Федерация Адрес для переписки: [email protected] Информация о статье
Поступила в редакцию 20.05.15, принята к печати 12.10.15 doi:10.17586/2226-1494-2015-15-6-1130-1138 Язык статьи - русский
Ссылка для цитирования: Лашков И.Б., Смирнов А.В., Кашевник А.М. Исследование и разработка подхода к построению интеллектуального мобильного сервиса для автоматизированной поддержки водителя транспортного средства // Научно-технический вестник информационных технологий, механики и оптики. 2015. Т. 15. № 6. С. 1130-1138.
Аннотация
Предмет исследования. Представлены результаты исследования и предложен способ построения мобильного сервиса для автоматизированной поддержки водителя транспортного средства, основанного на использовании данных, получаемых с камер и сенсоров. Направление исследований связано с разработкой интеллектуального мобильного сервиса автоматизированной поддержки водителя автомобиля (Advanced Driver Assistance System -ADAS). Метод. Предлагаемый подход основан на активном использовании онтологий водителя и транспортного средства. Все ADAS-системы можно условно разделить по форме представления на две категории: мобильные приложения, устанавливаемые водителем на смартфон из магазина приложений, и системы безопасности, встраиваемые в автомобили на заводах-производителях или устанавливаемые в автомобильных сервисных центрах. Мобильное приложение, установленное на телефоне, использует тыловую и фронтальную камеры и сенсоры, встроенные в смартфон, для слежения как за дорогой и впереди идущими транспортными средствами, так и за водителем с целью предотвращения дорожно-транспортных происшествий. Сервис включает в себя компоненты по распознаванию объектов на изображениях, получаемых с камер, и компоненты анализа дорожных ситуаций, отвечающие за слежение той или иной небезопасной дорожной ситуацией. Основные результаты. Спроектировано мобильное решение, предназначенное для водителей, использующих персональные смартфоны. Мобильный телефон закрепляется на лобовом стекле автомобиля. Оповещения о возможности столкновения выводятся на экран смартфона и сопровождаются звуковой индикацией или вибросигналом. Наиболее распространенной небезопасной ситуацией на дороге является столкновение с препятствием, впереди идущим или неподвижно стоящим автомобилем. Приложение в режиме реального времени определяет скорость впереди идущего транспортного средства и рассчитывает время до столкновения с ним с учетом текущей скорости автомобиля. Если безопасная дистанция между автомобилями не соблюдается, то выдается соответствующее предупреждение. Разработанное мобильное приложение помогает повысить безопасность поездки, а также оценить и улучшить навыки вождения. Практическая значимость. Применение данного подхода позволит разработать мобильную информационную систему для автоматизированной поддержки водителя автомобиля с целью предотвращения дорожно-транспортных происшествий и улучшения навыков участников дорожного движения. Ключевые слова
транспортное средство, водитель, смартфон, сенсоры, фронтальная камера, тыловая камера, ADAS, мониторинг,
обработка информации, онтологии.
Благодарности
Представленные результаты исследований являются частью проектов № 13-07-00336, 13-07-12095, 13-01-00286, 1407-00345, 14-07-00363, финансируемых Российским фондом фундаментальных исследований. Работа также выполнена при государственной финансовой поддержке ведущих университетов Российской Федерации (субсидия 074-U01).
SMARTPHONE-BASED APPROACH TO ADVANCED DRIVER ASSISTANCE SYSTEM (ADAS) RESEARCH AND DEVELOPMENT I.B. Lashkova, A.V. Smirnova,b, A.M. Kashevnikb,c
a ITMO University, Saint Petersburg, 197101, Russian Federation
b Saint Petersburg Institute for Informatics and Automation of the Russian Academy of Sciences (SPIIRAS), Saint Petersburg, 199178, Russian Federation
c Petrozavodsk State University (PetrSU), Petrozavodsk, 185910, Russian Federation Corresponding author: [email protected] Article info
Received 20.05.15, accepted 12.10.15 doi:10.17586/2226-1494-2015-15-6-1130-1138 Article in Russian
For citation: Lashkov I.B., Smirnov A.V., Kashevnik A.M. Smartphone-based approach to advanced driver assistance system (ADAS) research and development. Scientific and Technical Journal of Information Technologies, Mechanics and Optics, 2015, vol. 15, no. 6, pp. 1130-1138.
Abstract
Subject of Research. The paper deals with findings and presents a smartphone-based approach to advanced driver assistance system (ADAS) research and development.The approach is based on the data of smartphone cameras and sensors. The line of research is associated with the development of mobile advanced driver assistance system (ADAS). Method.The proposed approach is based on the use of driver's and vehicle behavior ontologies. Current ADAS systems can be divided into two main categories according to the method of implementation: mobile applications, manually installed by the driver from the application stores, and safety hardware and software systems integrated into vehicles by manufactures or in the automotive service centers.Mobile application installed on the smartphone uses the built-in rear and front-facing cameras and sensors to monitor both the road and vehicles ahead, and at the same time the driver in order to prevent traffic collisions. The service consists of components for objects recognition in the images obtained with cameras, and components for traffic situation analysis. Main Results. The driver safety mobile application has been developed for the use on mobile phones.The mobile phone is mounted on the windshield of a car. In case of dangerous event occurrence, the application engine will make an audible or vibration signal to inform the driver to be concentrated and more vigilant. For example, road obstacles, rear-end and stationary vehicle accidents are the most common accident types. The mobile application detects whether a crash is imminent by computing the 'Time To Contact' (TTC) taking into account host vehicle speed, relative speed and relative acceleration. If the driver doesn't maintain safe minimum distance with the car immediately ahead, the mobile application will alert the driver by displaying an attention icon with an audible alert. The dual-camera sensing application is designed to help the drivers increase the trip safety and assess and improve their driving skills. Practical Relevance. The proposed approach is designed to help the driver in the driving process, anticipate hazards and provide the driver with appropriate messages through his/her mobile phone. Keywords
vehicle, driver, smartphone, sensors, front-facing camera, rear camera, ADAS, monitoring, information processing, ontologies.
Acknowledgements
The presented findings are part of the research carried out within the project funded by grants #13-07-00336, 13-07-12095, 13-01-00286, 14-07-00345 and 14-07-00363 of the Russian Foundation for Basic Research. This work is also carried out with the financial support of the Government of the Russian Federation, Grant 074-U01.
Введение
Многие водители за рулем автомобиля испытывают чувство усталости или сонливости, и они даже не подозревают о том, что находятся в таком состоянии. Отслеживание опасного поведения за рулем может помочь обратить внимание водителей на стиль своего вождения и связанные с этим риски, тем самым снизить процент неосторожного вождения и улучшить навыки безопасного поведения на дороге.
Понятие «вождение в полусонном состоянии», возможно, звучит несерьезно, но количество несчастных случаев, вызванных засыпанием водителя за рулем, с каждым годом уносит все больше жизней и приводит к травматизму. Вождение в состоянии сонливости настолько же опасно, как и вождение в состоянии алкогольного опьянения, о чем свидетельствует анализ числа травм и смертей, полученных при вождении. Заснул ли водитель за рулем, или же у него замедлилась скорость реакции - все это в равной мере может привести к серьезным опасным последствиям вождения в состоянии сонливости.
Системы автоматизированной поддержки водителя (Advanced Driver Assistance Systems, ADAS) нацелены на оказание помощи водителю в деле недопущения дорожно-транспортных происшествий (ДТП) или смягчения их последствий. Предупреждающие сигналы высокой приоритетности подаются этими системами для стимулирования бдительности и своевременных и надлежащих действий водителя в ситуациях, когда может иметь место или непосредственно существует опасность возникновения серьезных повреждений или гибели людей.
Основные современные технологии, составляющие ADAS-системы: - система обнаружения дорожной разметки (Lane Detection, LDA) - маркеров полос и края проезжей части, оценка положения автомобиля в пределах полосы;
- система контроля рядности движения (Lane Departure Warning, LDW) использует информацию от модуля обнаружения полосы LDA, вычисляет время до пересечения разметки (Time to Lane Crossing, TLC) и обеспечивает предупреждение водителю в случае обнаружения ухода;
- функция обнаружения транспортных средств (ТС), работающая на основе монокамерных алгоритмов, распознает все моторизованные механические ТС - автомобили, мотоциклы, грузовики, в условиях дневного или ночного освещения;
- функция предупреждения о переднем столкновении и смягчении неизбежной аварии (Forward Collision Warning & pre-crash mitigation), шоссейный мониторинг и предупреждения (Headway Monitoring & Warning).
Все ADAS-системы можно условно разделить по форме представления на две категории:
- мобильные приложения, устанавливаемые на смартфон из магазина приложений (Google Play1 / App Store2);
- внешние камеры, сенсоры, датчики, чипы и т.д. вместе с программными средствами, встраиваемые в автомобили на заводах-производителях или устанавливаемые постфактум.
На рынке ADAS-систем существует немалое количество решений от разных компаний. Можно отметить следующие недостатки интегрируемых ADAS-систем:
- стоимость таких систем остается достаточно высокой;
- они доступны в основном только в виде дополнительной опции для дорогих и эксклюзивных автомобилей.
Более доступным вариантом ADAS-систем являются мобильные приложения, представленные на платформах iOS и Android. На данный момент смартфоны и приложения, которые существуют под них, приобретают все большее и большее значение. Так, например, 75% всех мобильных устройств находятся в использовании, а 96% новых покупок составляют смартфоны [1]. Одним из наиболее популярных мобильных приложений в сфере ADAS-систем является решение iOnRoad3. Приложение использует встроенные в смартфон тыловую камеру, сенсоры и датчики для обнаружения впереди идущих автомобилей и предупреждения водителя в случае опасности. Данная система фиксирует объекты впереди водителя в реальном времени, высчитывая текущую скорость с помощью сенсоров. При надвигающейся опасности всплывает звуковое и графическое предупреждение о возможности столкновения, позволяя водителю вовремя затормозить. Обзор основных мобильных приложений, реализующих ADAS-системы, можно найти в работе [2].
Мобильные приложения имеют, в свою очередь, свои недостатки. Главным из них является то, что мобильные ADAS-решения не умеют отслеживать одновременно и поведение водителя, и движение ТС, и в таких приложениях задействуется только одна из имеющихся на смартфоне камер. Таким образом, мобильные ADAS-решения не учитывают весь спектр небезопасных дорожных ситуаций, с которыми может столкнуться водитель ТС. Кроме того, в таких мобильных решениях все интенсивные вычисления по обработке и анализу изображений и дорожных ситуаций выполняются только на смартфоне водителя, что может быть не всегда приемлемо ввиду ограниченности ресурсов мобильных устройств. Таким образом, развертывание и выполнение процессов мобильных приложений не представлено в облачной среде.
Модель архитектуры сервиса автоматизированной поддержки водителя
На рис. 1 представлена общая схема архитектуры мобильного сервиса, реализующего функции ADAS-систем. Архитектура сервиса состоит из пяти модулей, каждому из которых соответствуют определенные задачи: мобильное приложение, камеры, сенсоры, локальная база данных (БД), облачный сервис и сервис синхронизации.
Информация, получаемая при помощи сенсоров смартфона, аккумулируется модулем работы с сенсорами для расчета таких величин, как скорость, ускорение и геопозиция [3]. Внутренними компонен -тами мобильного приложения являются алгоритм переключения камер, планировщик задач и модуль обработки изображений, получаемых с камер смартфона.
На сегодняшний день смартфоны не имеют функции работы одновременно с двумя камерами -фронтальной и тыловой. В связи с этим мы используем контекстно-ориентированный алгоритм переключения между двумя камерами. Модуль обработки и анализа изображений, описываемый онтологиями водителя и ТС, отвечает за выделение и поиск областей объектов изображений, получаемых с обеих камер телефона. Онтология ТС представлена в работе [4]. Планировщик задач позволяет воспользоваться всеми возможностями многоядерных архитектур смартфонов для проведения вычислений. Пользователь-
1 Google Play - магазин приложений, игр, книг, музыки и фильмов компании Google и других компаний.
2 App Store - магазин приложений, раздел онлайн-магазина iTunes Store компании Apple, предлагающий iOS-приложения.
3 iOnRoad - мобильное приложение дополненной реальности, разработанное для платформы Android и предназначенное для повышения безопасности вождения транспортного средства.
ские настройки хранятся в изолированном хранилище при помощи структуры «ключ-значение». Если у пользователя теряется соединение с Интернетом, информация от вышеописанных модулей поступает в локальную БД. Как только Интернет-соединение восстанавливается, данные отправляются в облачное хранилище. Сервис синхронизации отвечает за управление потоками данных из/в облачное хранилище и локальную БД.
Рис. 1. Общая модель архитектуры разработанного ADAS-сервиса Анализ поведения водителя транспортного средства
Существующие в настоящий момент аппаратно-программные комплексы оценивают функциональное состояние человека, используя один из следующих методов: электроэнцефалографию [5], анализ сердечной активности, движения головы, время реакции на стимул, электродермальную активность, движения глаз, моргания, измерение доли времени, в течение которого веки частично закрыты по оценкам наблюдателя (PERCLOS) [6]. PERCLOS (PERcentage of eye CLOSure) - это доля времени, в течение которого веки водителя частично закрыты по оценкам наблюдателя или соответствующей прикладной программы. Однако эффективность подобных систем пока еще невелика. Причина тому - недостаточно разработанные физиологические и поведенческие критерии, на основании которых могут распознаваться опасные для водителя состояния, проблемы с регистрацией биологических сигналов, проблемы с эргономикой и удобством использования, закрытость алгоритмов, отсутствие обмена информацией в среде разработчиков, а также простое нежелание водителей быть объектами контроля [7].
Наиболее перспективным с точки зрения удобства использования, качества сигнала и информативности регистрируемых параметров является метод анализа окуломоторных реакций. В настоящей работе использовался метод видеоокулографии (eye-tracking), который сочетает в себе все указанные достоинства [8]. Можно выявить следующие физиологические признаки, которые измеряют невнимательность [9], усталость [10] или сонливость [11] водителя ТС: доля времени, когда глаза закрыты (PERCLOS), зевота, кивание головой, частота моргания век, скорость моргания век.
Критерием сонливости является состояние, когда глаза закрыты больше 80% за минуту. Если процент закрывания глаз превышает 80% в течение минуты, то человек считается дремлющим.
Сонливость - это чувство усталости и «слипания глаз», являющееся следствием нарушения сна и сопровождающееся постоянным или периодическим желанием уснуть во время, не предназначенное для сна. Чрезмерная сонливость снижает бдительность и производительность труда. Скорость реакции замедляется, затрудняется принятия решений, а также понижается внимание, память, страдает координация движений. Одним из заметных признаков сонливости является момент, когда водитель «клюет носом», т.е. ему трудно становится удерживать голову в нормальном положении.
При развитии усталости или сонливости моргание глаз может стать более продолжительным и более медленным, и (или) частота моргания может варьировать, и (или) при моргании веки могут начать опускаться с небольшой амплитудой, например, пока глаза не начинают закрываться до краткосрочных «микроснов», т.е. состояний сна, которые длятся в течение приблизительно 3-5 с или дольше, или до продолжительного сна.
Кроме того, у каждого водителя имеется свой профиль вождения, включающий в себя личностную характеристику и параметры, характеризующие его в конкретный момент времени в процессе вождения. Личностная характеристика водителя включает в себя поведение, восприятие, навыки вождения и стаж, желание, целеустремленность, отношение к окружающей среде и пассажирам [12].
К профилю вождения относятся следующие параметры: стиль вождения, поведение за рулем, необходимость в информационной поддержке, уровень внимания водителя. Разработанная модель онтологии водителя ТС изображена на рис. 2.
ф Поведение В од иге
Рис. 2. Онтология водителя транспортного средства
Анализ поведения транспортного средства
При построении ЛЭЛ8-сервиса в режиме реального времени поведение водителя нужно учитывать совместно с поведением транспортного средства.
Рис. 3. Онтология транспортного средства
Поведение транспортного средства - поведение, задаваемое водителем и определяемое, по меньшей мере, исходя из подаваемых водителем входных сигналов управления на систему рабочего тормоза, систему ручного управления и двигатель. Рассмотрены такие небезопасные дорожные события, как несоблюдение дистанции до впереди идущего ТС [13], нарушение рядности движения [14], возникновение «болтанки» («рыскание» ТС), опережение и обгон ТС.
Онтология ТС включает в себя пять основных компонентов: параметры дороги, небезопасные события, которые могут произойти во время движения, камеры смартфона, сенсоры, установленные на телефоне, параметры движения ТС. Онтология транспортного средства представлена на рис. 3.
Реализация мобильного сервиса
Предложенный подход был апробирован при разработке ADAS-системы для устройств c операционной системой (ОС) Android 4.0 и выше. Разработка программного кода приложения велась на языке Java и C++ в среде программирования IntelliJ IDEA. Для манипуляции изображениями была использована открытая кросс-платформенная библиотека компьютерного зрения OpenCV1. Данная библиотека, разработанная компанией Intel, значительно упрощает программирование в области компьютерного зрения, предоставляя удобный' интерфейс для отслеживания и распознавания лиц. Особо ценным компонентом в OpenCV является математический аппарат и функциональные возможности по обработке изображений.
Обработка критически важных областей, таких как модель водителя и ТС, была выполнена на языках программирования C и C++, а JNI-интерфейсы были реализованы на языке Java. Другие архитектурные компоненты, такие как модуль принятия решений, алгоритм переключения камер смартфона и планировщик задач, были разработаны на Java. Для каждого кадра, поступающего с фронтальной или тыловой камер смартфона, используется метод, предложенный П. Виола и М. Джонсом [15] в 2001 году, заключающийся в построении каскадного классификатора, каждый уровень которого имеет большее количество проверяемых параметров. Выбор данного алгоритма обоснован тем, что это один из самых популярных, быстрых и эффективных методов для поиска области лица на изображении. Таким образом, при сканировании изображения регион, отбракованный на первом уровне каскада классификаторов, не подвергается проверке на последующих уровнях, а помечается как не содержащий лица. В качестве параметров для классификации используются визуальные особенности изображения - функции, которые рассчитывают разность интенсивностей двух смежных прямоугольных областей изображения. Особенности с наибольшим значением, присущие всем обучающим образцам класса, являются наиболее репрезентативными. Для обучения каскада и отбора таких ключевых особенностей применяется алгоритм машинного обучения AdaBoost [16].
Обработка изображения
X
О-
Изображение
а
Алгоритмы
Библиотека OpenCV
Онтология водителя
«use»
а
Модуль анализа данных
Сигналы
«use»
Онтология ТС
«use»
Рис. 4. Схема обработки изображений в реальном времени
Схема обработки изображений в реальном времени, поступающих с фронтальной и тыловой камер, представлена на рис. 4. На вход данной схемы поступает исходное изображение с камеры смартфона. Используя ранее построенные онтологии водителя и ТС, при помощи каскадного детектора методом Виолы-Джонса выделяются признаки и области объектов на кадре из видеоряда. Далее ОрепСУ-
1
ОрепСУ - библиотека алгоритмов компьютерного зрения, обработки изображений и численных алгоритмов общего назначения с открытым кодом.
структуры «Rect», описывающие области распознанных объектов, поступают в модуль анализа данных, где уже принимается решение о наличии той или иной небезопасной ситуации.
На вход в модуль обработки изображений подается кадр из видеоряда с фронтальной или тыловой камер, а на выходе выдаются аудиовизуальные сигналы о возможном возникновении ДТП и рекомендации о том, как их можно предотвратить.
На рис. 5 приведен пример поиска и выделения таких объектов, как лицо, глаза и зрачки человека. В ходе эксперимента была задействована фронтальная камера смартфона Samsung Galaxy S4 с установленной ОС Android версии 5.0.1. Для распознавания объектов на изображении была использована библиотека компьютерного зрения OpenCV версии 2.4.3. Найденное лицо человека обозначено самым большим внешним прямоугольником, глаза - чуть меньшим по размерам, и наименьшим прямоугольником -области видимости зрачков. Центр лица человека обозначен координатами.
Рис. 5. Результат работы алгоритма поиска и выделения объектов на изображении
Данные с камеры смартфона, такие как положение лица, глаз и зрачков, анализируются в потоковом режиме. В таблице приведена тестовая выборка из четырех экспериментов, представляющих координаты и размеры найденных областей объектов на изображении и временную оценку работы алгоритма. Значения переменных X и Y описывают координаты, а W и H - ширину и высоту найденного объекта соответственно. Координаты и размеры объектов на изображении X, Y, W, H представлены в единицах цифровых изображений, пикселях. Как можно заметить, значения как X и Y, так и W и H изменялись на протяжении экспериментов, и это можно объяснить тем, что найденный объект то приближался, то отдалялся в кадре, и соответственно менялось его расположение. Так, например, в эксперименте 3 лицо человека отдалялось. Время распознавания также незначительно менялось, и это можно связать с особенностями работы мобильной платформы Android и самим смартфоном, на котором было запущено данное приложение. Можно также отметить, что среднее время обработки одного кадра из видеоряда составляет 75 мс, что позволяет говорить о том, что система работает в реальном времени с точки зрения выполняемых задач пользователя в рамках проектируемого приложения.
Лицо Левый глаз Правый глаз Левый зрачок Правый зрачок Время, мс
X Y W H X Y W H X Y W H X Y W H X Y W H
243 108 372 372 429 190 163 124 266 190 163 124 1 1 22 22 1 1 22 22 119
253 106 368 368 437 187 161 122 276 187 161 122 1 1 22 22 1 1 22 22 57
75 276 203 203 176 321 89 67 87 321 89 67 1 1 22 22 1 1 22 22 94
75 276 203 203 176 321 89 67 87 321 89 67 1 1 22 22 1 1 22 22 70
Таблица. Значения координат найденных объектов на изображении
Заключение
В работе представлен подход к разработке интеллектуального мобильного сервиса автоматизированной поддержки водителя автомобиля, основанного на активном использовании онтологий водителя и транспортного средства. Разработано приложение для смартфона на базе операционной системы Android, включающее в себя спроектированные онтологии и модуль компьютерного зрения. Результаты тестирования отображены в таблице. Реализация данного подхода основывается на внедрении библиотеки OpenCV, позволяющей искать и выделять объекты на изображении.
Разработанный подход позволяет не только смягчать последствия аварий, но и помогать водителю избегать их, своевременно обращая его внимание на возникающие опасности, если надлежащая реакция со стороны водителя недостаточна или отсутствует. Данная ADAS-система способна самостоятельно анализировать дорожную ситуацию, распознавать и оценивать опасности и выдавать соответствующие сигналы для предотвращения дорожно-транспортных происшествий. Полученные результаты могут найти применение в построении иных ADAS-решений. В дальнейшей работе планируется разработать модуль анализа данных и провести тестирование системы в комплексе.
Литература
1. Janssen J., Krings D. Mit chip und smartphone - IPS und IPSI vernetzen handy-ticket-systeme in Deutschland // Der Nahverkehr. 2014. N 1-2. P. 7-9.
2. Smirnov A., Lashkov I. State-of-the-art analysis of available advanced driver assistance systems // Proc. 17th Conference of the Open Innovations Association FRUCT. Yaroslavl', Russia, 2015. P. 345-349.
3. Hashimoto N., Tomita K., Boyli A., Matsumoto O., Smirnov A., Kashevnik A., Lashkov I. Operational evaluation of new transportation method for smart city: use of personal mobility vehicles under three different scenarios // Proc. 4th Int. Conf. on Smart Systems, Devices and Technologies. Brussels, Belgium, 2015. P. 1-6.
4. Lashkov I.B., Smirnov A.V., Kashevnik A.M., Hashimoto N., Boyali A., Smirnov A.V. Smartphone-based on-the-fly two-wheeled self-balancing vehicles rider assistant // Proc. 17th Conference of Open Innovations Association FRUCT. Yaroslavl', Russia, 2015. P. 201-209.
5. Whitlock A., Pethick J. Driver vigilance devices: systems review. Rail Safety and Standards Board's, T024 Quin 22 RPT Final Report, 2002, no. 1.
6. Dinges D.F., Grace R. PERCLOS: a valid psychophysiological measure of alertness as assessed by psychomotor vigilance. Technical Report FHWA-MCRT-98-006. Federal Highway Administration, Office of Motor Carrier Research and Standards, 1998.
7. Кирой В., Шапошников Д., Анищенко С. В основу систем «технического зрения» должны быть положены живые нейротехнологии // Коммерсанть-Наука. 2015. № 4. С. 26-27.
8. Захарченко Д.В. Изменение параметров окуломоторных и двигательных реакций оператора под действием алкоголя: дисс. ...канд. биол. наук. М., 2015. 105 с.
9. Anon. Proximity array sensing system: head position monitor/metric. Technical Report NM 87504. Advanced Safety Concepts, Sante Fe, 1998.
10.Dinges D.F., Mallis M.M., Maislin G., Powell J.W. Evaluation of techniques for ocular measurement as an index of fatigue and the basis for alertness management. NHTSA Report DOT-HS-808762. Washington, 1998. 112 p.
11.Wierville W. W. Overview of research on driver drowsiness definition and driver drowsiness detection // Proc. 14th Int. Conf. on Enhanced Safety of Vehicles. Munich, 1994. P. 462-468.
12. Порталова М.А. Влияние психофизиологических особенностей личности водителя на надежность управления транспортным средством // Общество и право. 2009. № 5. С. 311-313.
13.Gu Q., Yang J., Zhai Y., Kong L. Vision-based multi-scaled vehicle detection and distance relevant mix tracking for driver assistance system // Optical Review. 2015. V. 22. N 2. P. 197-209. doi: 10.1007/s10043-015-0067-8
14. Gaikwad V, Lokhande S., Lane departure identification for advanced driver assistance // IEEE Transactions on Intelligent Transportation Systems. 2015. V. 16. N 2. P. 910-918. doi: 10.1109/TITS.2014.2347400
15. Viola P., Jones M.J. Robust real-time face detection // International Journal of Computer Vision. 2004. V. 57. N 2. P. 137-154. doi: 10.1023/B:VISI.0000013087.49260.fb
16.Freund Y., Schapire R. A short introduction to boosting // Journal of Japanese Society for Artificial Intelligence. 1999. V. 14. N 5. P. 771-780.
Лашков Игорь Борисович Смирнов Александр Викторович
Кашевник Алексей Михайлович
аспирант, Университет ИТМО, Санкт-Петербург, 197101, Российская Федерация, [email protected]
доктор технических наук, профессор, заведующий лабораторией, Санкт-Петербургский институт информатики и автоматизации РАН (СПИИРАН), 199178, Российская Федерация; заведующий МНЛ «Интеллектуальные технологии для социо-киберфизических систем», Университет ИТМО, Санкт-Петербург, 197101, Российская Федерация, [email protected]
кандидат технических наук, старший научный сотрудник, Санкт-Петербургский институт информатики и автоматизации РАН (СПИИРАН), 199178, Российская Федерация; доцент, «Петрозаводский государственный университет» (ПетрГУ), Петрозаводск, 185910, Российская Федерация, [email protected]
Igor B. Lashkov Alexander V. Smirnov
Alexey M. Kashevnik
postgraduate, ITMO University, Saint Petersburg, 197101, Russian Federation, [email protected]
D.Sc., Professor, Head of Laboratory, Saint Petersburg Institute for Informatics and Automation of the Russian Academy of Sciences (SPIIRAS), Saint Petersburg, 199178, Russian Federation; Head of Laboratory, ITMO University, Saint Petersburg, 197101, Russian Federation, [email protected]
PhD, Senior researcher, Saint Petersburg Institute for Informatics and Automation of the Russian Academy of Sciences (SPIIRAS), Saint Petersburg, 199178, Russian Federation; Associate professor, Petrozavodsk State University (PetrSU), Petrozavodsk, 185910, Russian Federation, [email protected]
