CC BY
89ISSN 2782-2001 Системы анализа и обработки данных том 83, № 3, 2021, с. 19-36
http://journals.nstu.ru/vestnik Analysis and data processing systems Vol. 83, No. 3, 2021, pp. 19-36
ИНФОРМАТИКА, ВЫЧИСЛИТЕЛЬНАЯ ТЕХНИКА И УПРАВЛЕНИЕ
INFORMATICS, COMPPUTER ENGINEERING AND CONTROL
УДК 004.89 Б01: 10.17212/2782-2001-2021-3-19-36
Анализ современных исследований в области детектирования утомления водителя в кабине транспортного средства
АО. БУЛЫГИНа, А.М. КАШЕВНИК4
199178, РФ, г. Санкт-Петербург, 4-я линия В. О., Санкт-Петербургский федеральный исследовательский центр Российской академии наук (СПб ФИЦ РАН)
а alexandr_bulygin@mail.ru ь alexey.kashevnik@iias.spb.su
В статье проведен анализ методов детектирования утомления водителей, которые используются в современной литературе. Существует огромное множество методов для оценки функционального состояния человека.
Функциональное состояние - это интегральный комплекс характеристик тех функций и качеств человека, которые прямо или косвенно обусловливают выполнение любой деятельности. От функционального состояния организма зависит физическое и психическое состояние человека, успешность его труда, обучения, творчества.
Оценка динамического поведения водителя в последние годы становится наиболее популярным направлением исследований. Динамическая оценка поведения водителя включает в себя продолжительный мониторинг, позволяющий определять функциональные состояния, в отличие от современных систем мониторинга водителя, которые оценивают такие состояния, как сонливость и ослабленное внимание на непродолжительном (1...10 с) интервале времени. Такие системы позволяют говорить о физиологическом мониторинге, но не нейрофизиологическом, позволяющем осуществлять мониторинг функционального состояния утомления.
Следовательно, имеет смысл отслеживать состояние утомления водителя, а также своевременно предупреждать его во избежание столкновений с другими транспортными средствами.
В статье выполнено исследование и проведен анализ способов получения соответствующих характеристик состояния человека, с помощью которых можно определять степень утомления. В результате изучения были выбраны наиболее часто встречающиеся методы определения функционального состояния водителя. Далее найденные источники были классифицированы по наиболее распространенным методам получения значимых
Статья получена 15 матра 2021 г. Представленные результаты исследований являются частью научного проекта № 19-29-06099 (2019-2021), финансируемого Российским фондом фундаментальных исследований. Оценка алгоритма была выполнена в рамках бюджетной темы № 0073-2019-0005 (2019-2021).
характеристик функционального состояния водителя. Выполнен сравнительный анализ, демонстрирующий возможности современных систем такого класса.
Ключевые слова: искусственный интеллект, компьютерное зрение, распознавание образов, распознавание лиц, нейронные сети, машинное обучение, глубокое обучение, функциональное состояние
ВВЕДЕНИЕ
Методы анализа утомления водителей в последние годы становятся наиболее популярным направлением исследований. В данном случае исследовались методы динамической оценки утомления водителя. Они включают в себя продолжительный мониторинг, позволяющий определять функциональные состояния.
Функциональное состояние - это интегральный комплекс характеристик тех функций и качеств человека, которые прямо или косвенно обусловливают выполнение любой деятельности. От функционального состояния организма зависит физическое и психическое состояние человека, успешность его труда, обучения, творчества.
Вождение в состоянии утомления является одной из основных причин дорожно-транспортных происшествий. Исследования показывают, что вероятность дорожно-транспортных происшествий, вызванных вождением в состоянии утомления, в пять раз выше, чем при вождении в нормальном состоянии. Ежегодные дорожно-транспортные происшествия, вызванные вождением в состоянии утомления, составляют около 20 % от общего количества аварий и более 40 % - от количества серьезных дорожно-транспортных происшествий [1].
Сонливость - свойство человека, при котором веки опущены ниже их обычного состояния, появляется зевота, глаза открываются медленнее и увеличивается частота моргания [2].
Засыпание - состояние сонливости, характеризующееся снижением уровня сознания, снижением активности мозга, зевотой, понижением чувствительности сенсорных систем, уменьшением частоты сердечных сокращений, снижением секреторной деятельности желез [3].
Сон - нормальное, обратимое, повторяющееся состояние пониженной чувствительности к внешней стимуляции, которое сопровождается сложными и предсказуемыми изменениями в физиологии. Эти изменения включают активность мозга, а также колебания уровня гормонов и расслабление мускулатуры [4].
Усталость - комплекс субъективных переживаний, сопутствующих развитию состояния утомления. Характеризуется слабостью, вялостью, бессилием, ощущением физиологического дискомфорта, нарушением психических процессов, потерей интереса к работе, преобладанием мотивации к прекращению деятельности, негативными эмоциональными реакциями. Усталость может возникать и при длительном выполнении однообразной деятельности. Однако возможна и парадоксальная усталость, не связанная с утомлением, как и отсутствие усталости у объективно утомленного человека [5].
Утомление - временное снижение работоспособности под влиянием длительного воздействия нагрузки. Возникает вследствие истощения внут-
ренних ресурсов индивида и рассогласования в работе всех систем организма. Утомление имеет разнообразные проявления на поведенческом (снижение производительности труда, уменьшение скорости и точности работы), физиологическом (затруднение выработки условных связей, повышение инерционности в динамике нервных процессов), психологическом (снижение чувствительности, нарушение внимания, памяти, интеллектуальных процессов, сдвиги в эмоционально-мотивационной сфере) уровнях. Сопровождается формированием комплекса субъективных переживаний усталости. Специфика проявлений усталости зависит от вида нагрузки, локализации ее воздействия и времени, необходимого для восстановления оптимального уровня работоспособности [6].
Для мониторинга функционального состояния водителя в кабине транспортного средства используются методы компьютерного зрения. Такие методы не являются интрузивными и не создают неудобств водителю во время управления транспортным средством, а также не требуют дополнительного специального оборудования.
Таким образом, отслеживание состояния утомления водителя является важной научно-технической задачей, решение которой позволит предупреждать водителя во избежание столкновений с другими транспортными средствами.
В рамках статьи была поставлена задача провести анализ научных статей о методах анализа утомления водителей.
В настоящей статье были рассмотрены и проанализированы методы распознавания функционального состояния утомления водителя на основе современных технологий видеоаналитики. Из рассмотренных источников были выбраны статьи, содержащие самые часто применяемые на практике методы определения функционального состояния утомления. В дальнейшем источники были систематизированы по способам получения от человека значимых характеристик, необходимых для определения его функционального состояния. На основе данной классификации была составлена табл. 3, наглядно показывающая основные методы, используемые в системах такого класса.
1. СОВРЕМЕННЫЕ ИССЛЕДОВАНИЯ В ОБЛАСТИ ДЕТЕКТИРОВАНИЯ УТОМЛЕНИЯ ВОДИТЕЛЯ
В данном разделе рассмотрены современные исследования, ориентированные на мониторинг водителя в кабине транспортного средства, а также на оценку психофизиологических параметров человека.
1.1. ОБЗОРНЫЕ ПУБЛИКАЦИИ ПО ТЕМАТИКЕ МОНИТОРИНГА ВОДИТЕЛЯ
Этот подраздел посвящен анализу обзорных статей по поведению водителя в кабине транспортного средства.
В статье [7] представлен обзор современных достижений в области обнаружения утомления водителя. Биологические сигналы можно разделить на сигналы, получаемые от сердца, мозга, глаз и кожи. Изменения биологических сигналов при электроэнцефалографии (ЭЭГ), электрокардиограмме (ЭКГ), электроокулографии (ЭОГ) и электромиограмме (ЭМГ) являются точ-
ными способами обнаружения утомления. ЭЭГ может быть получена с помощью плоских электродов, прикрепленных к коже головы. Этот метод имеет точность обнаружения утомления 89,7 % [7].
Датчики ЭМГ регистрируют электрический потенциал, генерируемый мышечными клетками через электроды. ЭМГ- это измерение электрического потенциала, создаваемого мышцами на поверхности кожи. Характеристики, полученные из сигнала временной и частотной области ЭМГ, могут быть использованы для прогнозирования мышечного утомления.
ЭОГ - это измерение разности потенциалов сетчатки между задней и передней частями глаза. ЭОГ измеряет движение глаза с помощью электродов, прикрепленных к левой и правой стороне глаза.
Оценить биологические сигналы можно с помощью неинтрузивных электродов для измерения ЭКГ через одежду, электродов для измерения ЭЭГ, прикрепленных к голове, и электродов для измерения ЭОГ, подвешенных к потолку автомобиля, как показано на рис. 1.
Рис. 1. Размещение электродов для получения ЭЭГ, ЭКГ и ЭОГ [7]
Fig. 1. Electrode placement for acquisition of EEG, ECG and EOG [7]
Биологические признаки являются прямой мерой утомления, однако их применение в обнаружении утомления водителя в реальном времени ограничено из-за интрузивного характера датчиков.
Особенности, проявляющиеся в лице водителя и в движениях головы, являются одними из наиболее очевидных симптомов утомления. Физические особенности включают открытость/закрытость глаз, частоту моргания, продолжительность закрытия глаз, процент времени, в течение которого глаза закрыты (PERCLOS), положение головы, направление взгляда, кивание головой. Системы для обнаружения утомления, основанные на оценке физических характеристик, можно в широком смысле разделить на методы слежения за глазами, ртом и лицом.
В статье [8] описаны методы слежения за основными факторами, влияющими на изменение поведения водителя. Физиологическое состояние - это
состояние тела или телесные функции водителя при вождении автомобиля, такие как стресс, утомление.
Физиологическое состояние можно определить или предсказать, наблюдая за положением тела и действиями водителя. Например, активность глаз, мимика, кивание головы, осанка рассматриваются как жизненно важные признаки восприятия и концентрации водителя. Как и в статье [7], рассматриваются способы получения биологических сигналов от человека, а также кожно-гальваническая реакция (КГР), дыхание и вариабельность сердечного ритма. Для получения этих показателей нужно прикрепить датчики и кабели к телу водителя, что в некоторой степени ограничивает его свободу действий. Несмотря на это, многие физиологические показатели могут быть собраны неинтрузивным образом с помощью современных технологий видеоаналитики.
С помощью этих показателей изучается бдительность водителя, они позволяют обнаруживать движения головы, выражение лица, голосовую активность. Методы обработки изображений для наблюдения за выражением лица водителя достигли довольно высокого уровня сложности, особенно это касается методов глубокого обучения.
В статье [9] автор предлагает классифицировать методы мониторинга функционального состояния утомления водителя на методы, работающие в реальном времени, и методы, работающие не в реальном времени. Методы реального времени, определяют утомление водителя в текущий момент времени, а методы, работающие не в реальном времени, используют некоторые инструменты для анализа обработки поведения водителя из выборок данных, собранных во время вождения.
К системам реального времени относятся системы, использующие алгоритмы компьютерного зрения и определяющие утомление водителя. Недостатком является вычислительная сложность. Системы на основе алгоритмов обработки изображений для определения лиц и глаз используются для определения степени утомление водителя. Они являются неинтрузивными и генерируют предупреждающие сигналы, имеют высокую вычислительную сложность. Искусственные нейронные сети определяют неустойчивое поведение и утомление водителя, имеют высокую точность определения, требуют большого времени обучения. Нечеткие системы определяют поведение и утомление водителя, имеют высокую надежность и точность, настраиваются индивидуально для конкретного водителя, имеют высокую вычислительную сложность. Системы, использующие фильтр Калмана, определяют невнимательность и утомление. К преимуществам относятся точность работы в ночное время, автоматическая инициализация и повторная инициализация, они также являются неинтрузивными. Системы, использующие скрытые марковские модели, определяют статус водителя (безопасный, рискованный, опасный) и утомление; показывают хорошие результаты в идеальных дорожных ситуациях и совместимы с предаварийными системами, основанными на расстоянии между транспортными средствами, такими как системы предупреждения о столкновении; имеют менее точное распознавание событий в сценариях работы на практике.
К методам не реального времени относятся специализированные системы диагностики водителя. Они определяют поведение водителя: умеренное, агрессивное. Записывают информацию и обеспечивает обратную связь с во-
дителем. Такие системы являются интрузивными, и необходимо последующее наблюдение за водителем для поддержания эффекта обратной связи. Системы, использующие методы обработки изображений и видео для определения отвлечения водителя: использование мобильного телефона, проезд на красный сигнал светофора.
В статье [10] представлены системы, работающие с биологической и физиологической информацией водителя. Как и в статье [7], авторы говорят об эффективности использования ЭЭГ, ЭКГ, ЧСС для определения утомления человека. Отличительной особенностью является использование данных о вариабельности сердечного ритма (ВСР).
Частота сердечных сокращений (ЧСС) в минуту снижается у лиц, переходящих из бодрствующего состояния в сонное. Вариабельность сердечного ритма (ВСР) - это изменение временного интервала между двумя последовательными ударами сердца. Как правило, во время умственной нагрузки ЧСС увеличивается, а ВСР уменьшается. Таким образом, ВСР уменьшается при наступлении утомления.
Частота дыхания - это количество выдохов и вдохов за одну минуту. Частота дыхания уменьшается с началом сонливости и до наступления сна [10].
Исследования показывают, что существует связь между амплитудой ЭМГ и мышечной усталостью, поскольку амплитуда сигналов ЭМГ постепенно уменьшается с усталостью. При увеличении мышечной усталости усиливается сонливость.
Электротермическая активность (ЭТА) обеспечивает измерение проводимости кожи, которая изменяется из-за секреции потовых желез. Во время сонливости активизируется деятельность парасимпатической нервной системы, которая уменьшает потоотделение и снижает проводимость кожи. Таким образом, при уменьшении потоотделения сонливость увеличивается.
Температура кожи поддерживается в определенном диапазоне системой терморегуляции человеческого организма. Температура поверхности кожи водителя изменяется в зависимости от уровня сонливости. Температура кожи лба значительно снижается при наступлении сонливости [10].
Для использования вышеперечисленных методов необходимы интрузивные датчики, которые могут доставлять неудобства водителю во время поездки.
1.2. АНАЛИЗ ПОВЕДЕНИЯ ВОДИТЕЛЯ В КАБИНЕ ТРАНСПОРТНОГО СРЕДСТВА
В этом подразделе рассматриваются статьи о методах определения положения головы, интервала времени, когда глаза закрыты (PERCLOS -Percentage of eye closure), скорости моргания век, направления взгляда, зевоты, частоты дыхания, температуры кожи. Указанные методы чаще всего используются для мониторинга поведения водителя.
Распознавание глаз нужно для наблюдения за поведением водителя, определения сонливости, невнимательности и утомления.
Отличительным параметром PERCLOS является время закрытия век более чем на 80 %. Если в течение одной минуты показатель PERCLOS наблюдается более 28 % времени, то фиксируется состояние дремоты [11].
В статье [11] под сонливостью автор понимает чувство «слипания глаз». Состояние сонливости характеризуется более продолжительным и медленным морганием глаз, может изменяться частота моргания, веки могут опускаться с небольшой амплитудой. Могут случаться состояния краткосрочных «микроснов». Это ситуации, при которых глаза закрыты 3...5 с или больше.
Интервал времени от 0,5 до 0,8 с считается безопасным при моргании водителя. Если водитель «клюет носом», то это также создает опасную ситуацию. Ему трудно удерживать голову в обычном положении.
Осуществляя поиск и слежение за лицом водителя, система выявляет опасные ситуации сонливости, ослабленного внимания и функционального состояния утомления.
На смартфон устанавливается мобильное приложение, которое задействует фронтальную камеру и сенсоры (GPS, акселерометр, гироскоп, магнитометр) для получения изображения и слежения за функциональным состоянием водителя.
В статье [12] представлена гибридная визуальная система для отслеживания состояний сонливости, невнимательности и утомления водителя на основе распознавания глаз.
Работа системы в условиях автомобиля и обработка изображений при дневных и ночных условиях освещенности достигается благодаря индивидуальной настройке двух камер, работающих в видимом и ближнем инфракрасном спектрах соответственно.
Оба варианта обработки организованы в виде каскада специализированных модулей, каждому из которых поступает на вход результат работы предыдущего модуля. Такие связи многих классификаторов характеризуются обычно более высокой точностью. Сначала к изображению применяется морфологический фильтр для удаления пятен и шума с радужной оболочки. На основе предложенной модели глаза выполняется его обнаружение. Сначала определяются зрачки, затем радужная оболочка и области глаз. Второй классификатор определяет открытость глаз на изображении. Данный классификатор основан на декомпозиции HOSVD-тензоров, поэтому он называется HOSVD-классификатором. Данному модулю предшествует евклидово преобразование, роль которого заключается в создании изображения, учитывающего взаимные отношения позиций пикселей. Классификатор HOSVD обучается с использованием изображений с глазами и изображений, на которых отсутствуют глаза. Оба пути обработки используют один и тот же тип классификатора HOSVD, обученного с разными наборами шаблонов. В зависимости от степени открытости глаз и частоты моргания система определяет степень утомления водителя.
В статье [13] разработан алгоритм мониторинга головы и глаз для определения сонливости и утомления водителя. Для распознавания лиц используется алгоритм Виолы-Джонса. Данный алгоритм позволяет обнаруживать объекты на изображениях в реальном времени. В стандартном алгоритме Виолы-Джонса используются прямоугольные признаки Хаара. Простейший прямоугольный признак Хаара можно определить как разность сумм пикселей двух смежных областей внутри прямоугольника, который может занимать различные положения и масштабы на изображении.
При оценке частоты моргания глаз учитываются все три параметра (спонтанность, рефлекторность, произвольность) и на их основе распознаются признаки, определяющие состояние сонливости водителя.
Метод JEER используется для определения области глаз, чтобы следить за частотой моргания. Процедура делится на 2 этапа. Сначала производится поиск глаз и учитывается, что кончик носа располагается между ними. Затем на изображении определяется лоб. Суммируя значения пикселей в областях, где расположены глаза, определяется, могут ли глаза находиться в областях, выбранных на предыдущем шаге. Если сумма значений пикселей в области каждого глаза одинакова, то считается, что алгоритм определил глаза верно.
В статье [14] нечеткая экспертная система классифицирует уровни утомления водителя на низкий, нормальный и высокий. Нечеткая экспертная система - это экспертная система, которая использует нечеткую логику вместо булевой логики. Алгоритм распознавания лиц для всех кадров является вычислительно сложным, поэтому при обнаружении лица в первом кадре далее используется алгоритм слежения за лицом.
Для распознавания лиц использовались признаки Хаара и алгоритм Виолы-Джонса. Алгоритм распознавания лиц был обучен на 3000 изображениях с лицами и на 300 000 изображений без лиц. В данной системе выделяют два типа признаков: признаки, получаемые из области глаз, и признаки, получаемые от головы в целом. К признакам, получаемым из области глаз, относятся значения PERCLOS, изменение расстояния между веками (ELDC) и скорость закрытия глаз (CLOSNO). Признаком, относящимся к области головы, является вращение головы (ROT). Вращение головы является признаком отвлечения внимания. Вращение головы оценивается на основе изменений изображения лица по отношению к шаблону фронтального лица. Голова и лицо водителя были получены из изображения с помощью сопоставления шаблонов и горизонтальной проекции изображения лица. Затем эти признаки (PERCLOS, ELDC, CLOSNO, ROT) поступают на вход нечеткой экспертной системы. Выходом нечеткой экспертной системы является уровень утомления водителя.
Этот метод был протестирован на пяти испытуемых в реальных условиях вождения. Определение усталости выполняется с использованием электроэнцефалограммы (ЭЭГ) как объективной оценки утомления. Метод отслеживания лица является неточным, очень сложным с точки зрения вычислений, и точность значительно снижается при низкой освещенности.
В статье [15] разработана система обнаружения утомления специально для водителей автобусов, использующих купольную камеру, уже установленную в автобусах, для мониторинга поведения за рулем.
Оценивается открытость глаз и применяется метод PERCLOS в качестве метода обнаружения утомления водителя. Детектор «голова-плечо» применяется для определения положения водителя за рулем и определения приблизительного положения головы. Голова и плечи определяются с помощью гистограммы направленных градиентов (HOG), а обнаружение водителя выполняется c помощью метода опорных векторов (SVM). Обнаружение лица и глаз выполняется детектором лица OpenCV и детектором глаз соответственно. Детектор лиц OpenCV надежен для поиска фронтальных лиц, так как он обучен на большом количестве примеров. Детектор глаз
ОрепСУ хорошо работает для определения местоположения глаз на изображениях фронтальных лиц даже с закрытыми глазами. Открытость глаз рассчитывается с использованием линейной и спектральной регрессии. Используется метод оценки открытости глаз, основанный на полном изображении глаза, чтобы не было необходимости обнаруживать характерные точки и кривые вокруг глаз. Для того чтобы точно определять утомление водителя на основе изображений глаз, открытость глаз измеряется непрерывно. Затем система нечеткой логики определяет утомление водителя на основе обнаруженных характеристик глаз. Авторы провели тестрование на 23 водителях в реальных условиях вождения. Эта система имеет ограниченные вычислительные ресурсы и работает с изображениями лиц и глаз, наблюдаемых под косым углом обзора. Поэтому обнаружение утомления работает для изображений с низким разрешением, и метод предназначен для купольной камеры, установленной в автобусах.
1.3. ОЦЕНКА ПСИХОФИЗИОЛОГИЧЕСКИХ ПАРАМЕТРОВ ЧЕЛОВЕКА
В статье [16] говорится о том, что, определяя выражение лица водителя, открытость глаз и рта, вычисляя частоту моргания и частоту зевания, можно определить состояние утомления водителя. Авторы рассматривают алгоритм определения утомления, основанный на анализе выражения лица. Модель положения глаз и рта обучается с помощью многоблочных локальных бинарных шаблонов МБ-ЬБР. Определяются положения глаз и рта на изображении лица водителя, и вычисляется РБЯСЬО8 и частота зевоты для описания утомления водителя.
Глаза и рот могут находиться в одном из трех состояний: закрытые, полуоткрытые и полностью открытые. Состояние утомления также делится на три уровня: нормальное, легкое утомление и сильное утомление.
Специальной базы данных об утомлении водителя не существует, поэтому экспериментальные данные в этой статье получены из 400 лабораторий, которые моделировали условия вождения (нормальное состояние, легкое утомление, сильное утомление).
Путем тестирования частоты моргания и зевания от нормального состояния до легкого утомления и сильного утомления при различных условиях освещения анализируются значения РБЯСЬО8, соответствующие различным состояниям утомления. Три порога состояния для РБЯСЬО8 глаз (Р) и РБЯСЬО8 рта (К) показаны в табл. 1.
Таблица 1
Table 1
PERCLOS-пороги для глаз и рта PERCLOS-thresholds for the eyes and mouth
Состояние Низкочастотное Промежуточное Высокочастотное
Глаза P < 13 % 13 % < P < 21 % P > 21 %
Рот K < 20 % 20 % < K < 30 % K > 30 %
Авторы исследования получили три состояния частоты моргания глаз и частоты зевания: низкочастотное, промежуточное, высокочастотное (табл. 2).
Таблица 2 Table 2
Таблица внешних признаков утомляемости Fatigue physical symptoms table
Ситуация Глаза Рот Результат
1 Низкая Низкая Нормальное состояние
2 Средняя Низкая Незначительное утомление
3 Высокая Низкая Сильное утомление
4 Низкая Средняя Нормальное состояние
5 Средняя Средняя Сильное утомление
6 Высокая Средняя Сильное утомление
7 Низкая Высокая Незначительное утомление
8 Средняя Высокая Сильное утомление
9 Высокая Высокая Сильное утомление
В статье [17] используются психофизиологические сигналы и показатели выполнения задач для оценки функционального состояния (ФС) утомления при различных уровнях умственной нагрузки. Три показателя, извлеченные из электрокардиограммы (ЭКГ) и электроэнцефалограммы (ЭЭГ), включая частоту сердечных сокращений (ЧСС), вариабельность сердечного ритма (ВСР) - отношение стандартного отклонения к среднему значению сегмента ЧСС, индексы нагрузки задания (ИНЗ1 и ИНЗ2), выбираются в качестве входных данных предлагаемой модели.
Частота сердечных сокращений (ЧСС) и вариабельность сердечного ритма (ВСР) являются эффективными показателями умственной нагрузки.
Для оценки ФС выбирается индекс нагрузки задачи (ИНЗ). В этом исследовании ЧСС, ВСР и ИНЗ выбраны в качестве входных данных для предлагаемой модели оценки ФС.
Эксперименты проводились на автоматизированной системе управления воздухом кабины (ЛиТОСЛМ8). ЛИТОСЛМ8 имитирует систему жизнеобеспечения космического корабля. Испытуемому необходимо управлять полуавтоматической системой, которая должна регулировать атмосферные условия кабины таким образом, чтобы поддерживать комфортное атмосферное давление.
Первоочередной задачей было управление некоторыми из пяти подсистем, чтобы поддерживать их соответствующие переменные в целевых диапазонах. Количество подсистем, которыми необходимо управлять вручную при каждом условии управления, составляет 1, 2, 3, 4, 5, 4, 3, 2 и 1 соответственно. Таким образом, в ходе эксперимента нагрузка, требуемая для выполнения задания, изменяется.
В конце каждого контрольного состояния производились измерения субъективного состояния тревожности, усилий и утомляемости с помощью экранных визуальных аналоговых шкал NASA Task Load Index (NASA-TLX). Данная аналоговая шкала позволяет оценить умственную нагрузку в течение длительного периода времени.
В статье [18] предлагается модель оценки функционального состояния утомления человека, которая обучается на сигналах ЭКГ, ЭЭГ, вариабельности сердечного ритма (ВСР), полученных с помощью функциональной спектроскопии в ближнем инфракрасном диапазоне (fNIRS).
fNIRS используется для функциональной нейровизуализации. Этот метод обследования доступнее, чем магнитно-резонансная томография (МРТ), и не имеет ограничений по области использования.
Было показано, что утомление можно оценить с помощью физиологической информации, полученной от мозга с помощью электроэнцефалограммы (ЭЭГ) и функциональной ближней инфракрасной спектроскопии (fNIRS). Другим показателем, который обычно называют маркером стресса, является вариабельность сердечного ритма (ВСР). Это мера изменений временных интервалов между ударами сердца, контролируемыми автономной нервной системой. Этот показатель использовался для оценки утомления как индивидуально, так и в сочетании с измерениями гальванической реакции кожи, температуры кожи, артериального давления и ЭЭГ.
В статье [19] предложена система мониторинга утомления и сонливости водителя, в которой встроенный датчик ЭКГ, прикрепленный к рулевому колесу, используется для измерения сигналов ЭКГ от водителя. Пара проводящих тканевых электродов обернута вокруг рулевого колеса автомобиля, и оба электрода подключены к встроенному датчику ЭКГ. Предлагаемая система состоит из трех частей: пары проводящих электродов, расположенных на рулевом колесе со встроенным датчиком ЭКГ, беспроводного сенсорного узла и сервера для обработки и мониторинга сигналов. Сигналы ЭКГ, измеренные проводящими электродами, передаются на базовую станцию, которая подключена к серверу.
Анализ изменения сердечного ритма во временной и частотной областях сигналов ЭКГ дает ценную информацию о состоянии водителя, включая состояние нормы, сонливости и утомления. Так, увеличение вариабельности сердечного ритма (ВСР) говорит о наступлении утомления. Одним из существующих неинтрузивных методов измерения ЭКГ-сигнала является измерение индуктивности на кресле водителя. ЭКГ-сигнал может быть измерен с помощью электродов на спинке сиденья водителя. Однако данный метод измерения ЭКГ очень чувствителен к толщине одежды водителя. Для того чтобы преодолеть данные ограничения, пары электродов из проводящей ткани располагают на рулевом колесе для измерения ЭКГ-сигналов.
Этот метод определения утомления не является навязчивым и не доставляет неудобств. Это является важным качеством для человека во время управления автомобилем.
В статье [20] оценивается утомление водителя на основе всплесков альфа-ритмов электроэнцефалографии (ЭЭГ). ЭЭГ была получена от участников эксперимента в монотонной среде вождения.
В ходе эксперимента испытуемый должен был проехать трассу на симу-ляторе кабины автомобиля в условиях дневного времени (task_0). Базовое время прохождения трассы было получено в нормальном функциональном состоянии. Во втором задании необходимо было сократить время прохождения трассы на 2 % (task_1). Требования третьего задания (task_2) были аналогичны требованиям task_1, но на трассе появлялись другие участники дорожного движения и светофоры, образовывались пробки. Четвертое (task _3) и пятое (task_4) задания были равны task_1 и task_2 соответственно, но в ночное время. При выполнении task_4 добавилось условие, что испытуемый должен был ехать очень осторожно, не превышая скорости 70 (км/ч). В дальнейшем характеристики утомления определялись по данным пиков альфа-ритмов ЭЭГ, определяемых как короткие вспышки в альфа-диапазоне.
Выполнение испытуемыми первых четырех заданий не вызывало заметных всплесков в альфа-ритме, и количество ошибок при вождении было минимальным. При выполнении пятого задания испытуемые начинали совершать гораздо больше ошибок, а в альфа-ритме появлялись всплески, что говорит о наступлении утомления.
На рис. 2 показан пример появления таких всплесков в альфа-ритме ЭЭГ (обведен овалом), возникающих во время монотонного вождения (task_4), в качестве сигнала утомления. Испытуемые после появления таких специфических показателей ЭЭГ съезжали с правильной траектории движения, совершали ошибки при вождении. Основная частота таких пиков ЭЭГ была отмечена у испытуемых над центрально-теменной областью головы.
f ■. - — /. J V*1 Wl
Рис. 2. Всплески альфа-ритма, возникающие при утомлении [20]
Fig. 2. Bursts of alpha rhythm that occur during fatigue [20]
Был сделан вывод, что всплески альфа-диапазона ЭЭГ увеличиваются с утомлением. Результаты показывают, как нейрофизиологические сигналы могут помочь в оценке утомления, а также психического и физического состояния водителя в различных условиях вождения и как они коррелируют с эффективностью вождения.
ЗАКЛЮЧЕНИЕ
К методам, обрабатывающим биологические сигналы, которые могут использоваться в лабораториях и автомобильных симуляторах, относятся такие методы, как электроэнцефалография (ЭЭГ), электрокардиограмма (ЭКГ), вариабельность сердечного ритма (ВСР), частота дыхания, электроокуло-графия (ЭОГ), электромиограмма (ЭМГ), кожно-гальваническая реакция (КГР), электротермическая активность (ЭТА), температура кожи (ТК), аналоговая шкала NASA-TLX, спектроскопия в ближнем инфракрасном диапазоне (fNIRS). Деятельность автономной нервной системы (АНС) изменяется из-за стресса или утомления. ВСР уменьшается при наступлении утомления. Частота дыхания начинает падать с началом сонливости и продолжает падать до наступления сна. Повышенная частота моргания является показателем сонливости. При увеличении мышечной усталости увеличивается сонливость. При уменьшении потоотделения сонливость увеличивается. Температура кожи лба значительно снижается при наступлении сонливости. Появление всплесков в альфа-ритме ЭЭГ свидетельствует о наступлении утомления.
В реальных условиях вождения обнаружение функционального состояния утомления может осуществляться на основе использования современных технологий компьютерного зрения для оценки физических характеристик. Физические особенности - это открытость/закрытость глаз, частота моргания, частота зевания, продолжительность закрытия глаз, процент времени, в течение которого глаза закрыты (PERCLOS), положение головы, направление взгляда, кивание головой, изменение расстояния между веками (ELDC), скорость закрытия глаз (CLOSNO), вращение головы (ROT).
Для определения утомления в автомобиле были разработаны системы, использующие такие методы, как многоблочные локальные бинарные шаблоны MB-LBP, признаки Хаара, алгоритм Виолы-Джонса, метод JEER, нечеткая логика, метод опорных векторов (SVM). В работе представлена таблица соответствия частоты моргания и зевания состоянию утомления со значениями: нормальное состояние, незначительное утомление и сильное утомление.
Сравнение методов анализа утомления водителей по анализируемым данным приведено в табл. 3. В результате сравнения возможностей данных методов оказалось, что более точными являются методы, оценивающие биологические сигналы и использующие интрузивные методы с прикрепляемыми к водителю датчиками. Однако неинтрузивные методы определения функционального состояния утомления на основе анализа изображений не стесняют движения водителя за рулем, при этом позволяя достичь требуемой точности.
Таблица 3 Table 3
Сравнение методов анализа утомления водителей по анализируемым данным Comparison of methods for analyzing driver fatigue using analyzed data
Проанализированные работы Слежение за глазами Определение зевоты Определение положения головы Частота сердечных сокращений Вариабельность сердечного ритма Электрическая активность мозга Частота дыхания Температура тела Электромиограмма (ЭМГ) Кожно-гальваническая реакция (КГР) Спектроскопия в ближнем инфракрасном диапазоне (fNIRS) Детектирование сонливости Детектирование утомления
[11] + + + - - - - - - - - + +
[12] + + + - - - - - - - + + +
[13] + + + - - - - - - - - + +
[14] + + + - - - - - - - - - +
[15] + + + - - - - - - - - + +
[16] + + + - - - - - - - - - +
[17] - - - + + + - - - - - + +
[18] - - - + + + - - - - - + +
[19] - - - + + - - - - - - + +
[20] - - - - - + - - - - - + +
Таким образом можно сделать вывод, что на сегодняшний день не существует системы, охватывающей весь спектр проанализированных параметров. Разработка подобных систем является в настоящее время актуальной и востребованной задачей.
СПИСОК ЛИТЕРАТУРЫ
1. PeruzziniM., ToniettiM., Iani C. Transdisciplinary design approach based on driver's workload monitoring // Journal of Industrial Information Integration. - 2019. - Vol. 15, N 2. - P. 91-102.
2. Wang F., Wua S., Zhanga W. Multiple nonlinear features fusion based driving fatigue detection // Biomedical Signal Processing and Control. - 2020. - Vol. 62, N 3. - P. 67-78.
3. Barot N. Optimal sleep habits in middle-aged adults // Reference Module in Neuroscience and Biobehavioral Psychology. - 2020. - Vol. 30, N 1. - P. 213-233.
4. Reynolds C., Coussens S. Sleep spindles in adolescence: a comparison across sleep restriction and sleep extension // Sleep Medicine. - 2018. - Vol. 50, N 1. - P. 166-174.
5. Li F., Chen C., Zheng P. An explorative context-aware machine learning approach to reducing human fatigue risk of traffic control operators // Safety Science. - 2018. - Vol. 125, N 1. -P. 378-391.
6. Robertson C., Marino F. Cerebral responses to exercise and the influence of heat stress in human fatigue // Journal of Thermal Biology. - 2017. - Vol. 63, N 1. - P. 10-15.
7. Sikander G., Anwar S. Driver fatigue detection systems: a review // IEEE Transactions on Intelligent Transportation Systems. - 2019. - Vol. 20, N 4. - P. 2339-2351.
8. Elamrani Z., Mousannif H., Moatassime H. The application of machine learning techniques for driving behavior analysis: a conceptual framework and a systematic literature review // Engineering Applications of Artificial Intelligence. - 2020. - Vol. 87, N 5. - P. 336-352.
9. Chhabra R., Verma S., Krishna C. A survey on driver behavior detection techniques for intelligent transportation systems // Proceedings of the 7th International Conference Confluence 2017 on Cloud Computing, Data Science and Engineering. - India, 2017. - P. 36-41.
10. Khan M., Lee S. A comprehensive survey of driving monitoring and assistance systems // 2020 IEEE Region 10 Symposium (TENSYMP). - Bangladesh, 2020. - P. 125-159.
11. Лашков И.Б. Анализ поведения водителя при управлении транспортным средством с использованием фронтальной камеры смартфона // Информационно-управляющие системы. -2017. - № 4. - С. 7-17.
12. CyganekB., Gruszczynski S. Hybrid computer vision system for drivers' eye recognition and fatigue monitoring // Neurocomputing. - 2014. - Vol. 126, N 3. - P. 78-94.
13. Meshram P., Auti N., AgrawalH. Monitoring driver head postures to control risks of accidents // Procedia Computer Science. - 2015. - Vol. 50. - P. 617-622.
14. SigariM., FathyM., SoryaniM. A driver face monitoring system for fatigue and distraction detection // International Journal of Vehicular Technology. - 2016. - Vol. 64, N 1. - P. 946-960.
15. MandalB., Li L., Wang G. Towards detection of bus driver fatigue based on robust visual analysis of eye state // IEEE Transactions on Intelligent Transportation Systems. - 2017. - Vol. 18, N 3. - P. 545-557.
16. Liu Z., Peng Y., Hu W. Driver fatigue detection based on deeply-learned facial expression representation // Journal of Visual Communication and Image Representation. - 2020. - Vol. 71, N 1. - P. 452-461.
17. Wang R., Zhang J., Zhang Y. Assessment of human operator functional state using a novel differential evolution optimization based adaptive fuzzy model // Biomedical Signal Processing and Control. - 2015. - Vol. 7, N 2. - P. 490-498.
18. Hakimi N., Jodeiri A., MirbagheriM. Proposing a convolutional neural network for stress assessment by means of derived heart rate from functional near infrared spectroscopy // Computers in Biology and Medicine. - 2020. - Vol. 121, N 1. - P. 618-629.
19. Jung S., Shin H., Chung W. Driver fatigue and drowsiness monitoring system with embedded electrocardiogram sensor on steering wheel // IET Intelligent Transport Systems. - 2016. -Vol. 8, N 1. - P. 43-50.
20. Borghini G. Assessment of mental fatigue during car driving by using high resolution eeg activity and neurophysiologic indices // Annual International Conference of the IEEE Engineering in Medicine and Biology Society. - San Diego, 2016. - P. 6442-6445.
Алексей Кашевник, старший научный сотрудник лаборатории автоматизированных интегрированных систем Санкт-Петербургского федерального исследовательского центра Российской академии наук (ФИЦ РАН) (2003) и доцент Международной лаборатории интеллектуальных технологий социально-киберфизических систем Университета ИТМО, Санкт-Петербург (с 2014 г.). Его научные интересы включают интеллектуальные транспортные системы, взаимодействие человека и компьютера, помощь водителю, системы мониторинга водителя, обнаружение отвлекающих факторов, обнаружение сонливости, искусственный интеллект, нейронные сети, компьютерное зрение. Опубликовал более 200 научных работ в рецензируемых международных журналах, трудах международных конференций и книгах. E-mail: alexey.kashevnik@iias.spb.su
Булыгин Александр Олегович, младший научный сотрудник, аспирант Санкт-Петербургского федерального исследовательского центра Российской академии наук (СПб ФИЦ РАН). Основное направление научных исследований - глубокое обучение, компьютерное зрение, распознавание образов. E-mail: alexandr_bulygin@mail.ru
Kashevnik Alexey М., senior researcher in the Computer-Aided Integrated Systems Laboratory at St. Petersburg Federal Research Center of the Russian Academy of Sciences (SPC RAS) (2003) and associate professor in the International Laboratory on Intelligent Technologies for Socio-Cyberphysical Systems, ITMO University, St. Petersburg (from 2014). His research interests include intelligent transportation systems, human-computer interaction, driver assistant, driver monitoring systems, distraction detection, drowsiness detection, artificial intelligence, neural networks, computer vision. He has published more than 200 research papers in peer-reviewed international journals, proceedings of international conferences, and books. Е-mail: alexey .kashevnik@iias.spb.su
Bulygin Alexandr O., junior researcher, postgraduate student, St. Petersburg Federal Research Center of the Russian Academy of Sciences (SPC RAS). His research interests are currently focused on deep learning, computer vision, pattern recognition. E-mail: alexandr_ bulygin@mail.ru
DOI: 10.17212/2782-2001-2021-3-19-36
Analysis of current research in the field of detecting driver fatigue in the vehicle cab
An. BULYGINa, A.М. KASHEVNIKb
St. Petersburg Federal Research Center of the Russian Academy of Sciences (SPC RAS), 4th line V.I., Saint Petersburg, 199178, Russian Federation
a alexandr_bulygin@mail.ru b alexey.kashevnik@iias.spb.su Abstract
The article analyzes the methods of detecting driver fatigue which are described in modern literature. There are a great variety of methods for assessing the functional state of a person.
A functional state is an integral set of characteristics of those functions and qualities of a person that directly or indirectly determine the performance of any activity. The physical and mental state of a person, the success of his work, training, creativity depends on the functional state of the organism.
The assessment of dynamic driver behavior has become an increasingly popular area of research in recent years. Dynamic assessment of driver behavior includes continuous monitoring that allows you to determine functional states, in contrast to modern driver monitoring systems, which assess conditions such as drowsiness and impaired attention for a short (1-10 s) time interval. Such systems allow us to talk about physiological, but not neurophysiological monitoring, which allows monitoring the functional state of fatigue.
Therefore, it makes sense to monitor the driver's state of fatigue of, as well as to warn them in a timely manner to avoid collisions with other vehicles.
In the article, a study was carried out and an analysis of the ways to obtain the appropriate characteristics from a person, with the help of which it is possible to determine his functional state of fatigue. As a result of the analysis of the sources, the most common methods for determining the functional state of the driver were selected. Further, the sources found were classified according to the most common methods for obtaining significant characteristics of the
Received 15 March 2021.
The presented research results are part of the scientific project No. 19-29-06099 (2019-2021), funded by the Russian Foundation for Basic Research. The evaluation of the algorithm was carried out within the framework of the budget theme No. 0073-2019-0005 (2019-2021).
functional state of the driver. As a result, a comparative analysis was made, demonstrating the capabilities of modern systems of this class.
Keywords: artificial intelligence, computer vision, pattern recognition, face recognition, neural networks, machine learning, deep learning, functional state
REFERENCES
1. Peruzzini M., Tonietti M., Iani C. Transdisciplinary design approach based on driver's workload monitoring. Journal of Industrial Information Integration, 2019, vol. 15, no. 2, pp. 91-102.
2. Wang F., Wua S., Zhanga W. Multiple nonlinear features fusion based driving fatigue detection. Biomedical Signal Processing and Control, 2020, vol. 62, no. 3, pp. 67-78.
3. Barot N. Optimal sleep habits in middle-aged adults. Reference Module in Neuroscience and Biobehavioral Psychology, 2020, vol. 30, no. 1, pp. 213-233.
4. Reynolds C., Coussens S. Sleep spindles in adolescence: a comparison across sleep restriction and sleep extension. Sleep Medicine, 2018, vol. 50, no. 1, pp. 166-174.
5. Li F., Chen C., Zheng P. An explorative context-aware machine learning approach to reducing human fatigue risk of traffic control operators. Safety Science, 2018, vol. 125, no. 1, pp. 378-391.
6. Robertson C., Marino F. Cerebral responses to exercise and the influence of heat stress in human fatigue. Journal of Thermal Biology, 2017, vol. 63, no. 1, pp. 10-15.
7. Sikander G., Anwar S. Driver fatigue detection systems: a review. IEEE Transactions on Intelligent Transportation Systems, 2019, vol. 20, no. 4, pp. 2339-2351.
8. Elamrani Z., Mousannif H., Moatassime H. The application of machine learning techniques for driving behavior analysis: a conceptual framework and a systematic literature review. Engineering Applications of Artificial Intelligence, 2020, vol. 87, no. 5, pp. 336-352.
9. Chhabra R., Verma S., Krishna C. A survey on driver behavior detection techniques for intelligent transportation systems. Proceedings of the 7th International Conference Confluence 2017 on Cloud Computing, Data Science and Engineering, India, 2017, pp. 36-41.
10. Khan M., Lee S. A comprehensive survey of driving monitoring and assistance systems. 2020 IEEE Region 10 Symposium (TENSYMP), Bangladesh, 2020, pp. 125-159.
11. Lashkov I.B. Analiz povedeniya voditelya pri upravlenii transportnym sredstvom s ispol'zovaniem frontal'noi kamery smartfona [Driver's behavior analysis with smartphone front camera]. Informatsionno-upravlyayushchie sistemy = Information and Control Systems, 2017, no. 4, pp. 7-17.
12. Cyganek B., Gruszczynski S. Hybrid computer vision system for drivers' eye recognition and fatigue monitoring. Neurocomputing, 2014, vol. 126, no. 3, pp. 78-94.
13. Meshram P., Auti N., Agrawal H. Monitoring driver head postures to control risks of accidents. Procedia Computer Science, 2015, vol. 50, pp. 617-622.
14. Sigari M., Fathy M., Soryani M. A driver face monitoring system for fatigue and distraction detection. International Journal of Vehicular Technology, 2016, vol. 64, no. 1, pp. 946-960.
15. Mandal B., Li L., Wang G. Towards detection of bus driver fatigue based on robust visual analysis of eye state. IEEE Transactions on Intelligent Transportation Systems, 2017, vol. 18, no. 3, pp. 545-557.
16. Liu Z., Peng Y., Hu W. Driver fatigue detection based on deeply-learned facial expression representation. Journal of Visual Communication and Image Representation, 2020, vol. 71, no. 1, pp. 452-461.
17. Wang R., Zhang J., Zhang Y. Assessment of human operator functional state using a novel differential evolution optimization based adaptive fuzzy model. Biomedical Signal Processing and Control, 2015, vol. 7, no. 2, pp. 490-498.
18. Hakimi N., Jodeiri A., Mirbagheri M. Proposing a convolutional neural network for stress assessment by means of derived heart rate from functional near infrared spectroscopy. Computers in Biology and Medicine, 2020, vol. 121, no. 1, pp. 618-629.
19. Jung S., Shin H., Chung W. Driver fatigue and drowsiness monitoring system with embedded electrocardiogram sensor on steering wheel. IET Intelligent Transport Systems, 2016, vol. 8, no. 1, pp. 43-50.
20. Borghini G. Assessment of mental fatigue during car driving by using high resolution eeg activity and neurophysiology indices. Annual International Conference of the IEEE Engineering in Medicine and Biology Society, San Diego, 2016, pp. 6442-6445.
Для цитирования:
Булыгин А.О., КашевникА.М. Анализ современных исследований в области детектирования утомления водителя в кабине транспортного средства // Системы анализа и обработки данных. - 2021. - № 3 (83). - С. 19-36. - DOI: 10.17212/2782-2001-2021-3-19-36.
For citation:
BulyginА.О., KashevnikА.М. Analiz sovremennykh issledovanii v oblasti detektirovaniya utomleniya voditelya v kabine transportnogo sredstva [Analysis of current research in the field of detecting driver fatigue in the vehicle cab]. Sistemy analiza i obrabotki dannykh = Analysis and Data Processing Systems, 2021, no. 3 (83), pp. 19-36. DOI: 10.17212/2782-2001-2021-3-19-36.
ISSN2782-2001, http://journals.nstu.ru/vestnik Analysis and data processing systems Vol. 83, No 3, 2021, pp. 19-36
