CC BY
28
МАТЕМАТИЧЕСКОЕ И ПРОГРАММНОЕ ОБЕСПЕЧЕНИЕ ВЫЧИСЛИТЕЛЬНЫХ МАШИН, КОМПЛЕКСОВ И КОМПЬЮТЕРНЫХ СЕТЕЙ
УДК 004.93' 12
DOI: 10.24412/2071-6168-2021-10-640-646
РАСПОЗНАВАНИЕ ОПАСНОГО СОСТОЯНИЯ ВОДИТЕЛЯ НА ОСНОВЕ ФАКТОРНОЙ МОДЕЛИ ХАРАКТЕРИСТИК ЛИЦА ЧЕЛОВЕКА
Фам Туан Ань, Н.А. Жукова, Е.Л. Евневич
В данной работе представлены метод и алгоритмы распознавания вышеперечисленных опасных состояний водителя (сонливости, усталости, ослабленного внимания), разработанные на основе опубликованной авторами ранее факторной модели контура и основных элементов человеческого лица. Предложенные алгоритмы распознавания состояний водителя с применением факторной модели позволяют создавать мобильные приложения, которые своевременно смогут предупредить водителя о его неадекватном состоянии и потенциальной опасности.
Ключевые слова: безопасность водителя, факторная модель лица, распознавание состояния водителя, мобильные приложения.
Небезопасное поведение водителя за рулем обусловлено рядом провоцирующих или отвлекающих его воздействий: недосыпание, длинная дорога, музыка, пейзаж, СМС, телефонные звонки, разговоры пассажиров и т.п. Состояние сонливости, усталости, ослабленного внимания водителя может привести к дорожно-транспортным происшествиям разной степени тяжести вплоть до трагических исходов. Отслеживание и распознавание опасных состояний водителя со своевременным предупреждением его об этом позволяет избежать дорожных происшествий, а также способствует выработке правильного стиля вождения.
Проблема обеспечения безопасности вождения автомобиля остается актуальной для водителей любого класса профессионализма. Все три «элемента» транспортной системы - дорога, транспортное средство (ТС) и водитель - были и являются предметом исследований и выработки мер по повышению безопасности.
Один из основных недостатков исследований, проводимых в области обеспечения безопасности вождения автомобиля, состоит в том, что три «участника», которыми являются дорога, ТС и водитель, обычно рассматриваются отдельно. Такой точечный подход к проблемам обеспечения безопасности может быть оправдан в отношении дороги и ТС благодаря их «механическим» характеристикам, однако, для обеспечения безопасности водителя такой подход неприменим.
Условия надежности поведения водителя могут быть разделены на внутренние и внешние:
внутренние условия: обучение, опыт, мотивация, психофизиологическое состояние;
внешние условия: качество постановки задачи, средства ее выполнения, условия;
реализации, предоставление и качество информации, различные ограничения.
Таким образом, исследователи и производители ТС сходятся во мнении, что дальнейшее развитие ТС не может рассматриваться исключительно с технической точки зрения, необходимы инновации в части взаимодействия водителя и транспортного средства.
Число аварий по вине водителя, уснувшего за рулем ТС, которые привели к большому числу фатальных исходов и травм среди населения постоянно растет по всему миру. Неосторожное вождение, как и вождение в состоянии опьянения (алкогольного, наркотического или иного)
одинаково опасны, о чем говорит статистика смертельных исходов и травм, полученных во время вождения. Независимо от того, засыпает ли водитель за рулем ТС или замедляется скорость его реакции, результатом могут стать смертельно опасные последствия.
Таким образом, безопасность на дороге зависит не только от технического состояния ТС, от состояния дорог и соблюдения правил дорожного движения, но также от опыта водителя, от его мастерства, от его психофизиологического состояния, от его концентрации на дорожной обстановке и соблюдения им мер безопасности.
Во избежание аварийных ситуаций на дороге или смягчения их последствий проводится много исследований, предполагающих использование машинного зрения, разрабатываются и встраиваются в автомобили новейшие системы содействия водителю [1]-[4].
Для сбора информации о внутреннем состоянии водителя используется видеокамера, например, фронтальная камера смартфона (ФКС), которая следит за его головой и лицом. Обработка данных видеокамеры обеспечивает те необходимые параметры, по которым можно определять и анализировать психофизиологические особенности состояния водителя. Далее в зависимости от распознанного состояния водителя подаются предупреждающие сигналы для привлечения его внимания и принятия им своевременного решения по предотвращению опасной ситуации.
В данной работе для вычисления характеристик головы и лица предлагается применять разработанную авторами ранее факторную модель, опубликованную в [5]. На основе этой модели разработаны алгоритмы распознавания некоторых опасных состояний водителя.
Краткое описание факторной модели. В соответствии с разработанной авторами факторной моделью найденные объекты лица, за исключением носа, аппроксимируются эллипсами: контур лица, лоб, глаза, рот; в то время как нос аппроксимируется многоугольником [5].
/М /2
Факторная модель лица М(/) =
/з
(п=15) определена набором различных соотно-
\Гп/
шений /( линейных размеров эллипсов и многоугольника, представляющих элементы человеческого лица, например, соотношения длины контура лица к его ширине, соотношения /2 ширины лба к его высоте, соотношений расстояний от центров эллипсов глаз до центра тяжести многоугольника, представляющего нос, соотношений расстояния между центрами эллипсов лба и рта и др. Изучение динамики изменения этих пропорций дает представление о мимике лица водителя и, как следствие, о его состояниях.
Алгоритмы распознавания опасных состояний водителя на основе факторной модели. Получение исходной информации основано на использовании фронтальной камеры смартфона (ФКС), которая захватывает лицо и голову водителя. По полученным данным выполняется построение факторной модели. Далее применяется алгоритм обнаружения и распознавания опасных состояний водителя, который на основе построенной ФМ принимает решение о наличии или отсутствии того или иного опасного состояния на данном промежутке времени. Большее разрешение входного изображения с ФКС требует значительного времени для обработки и анализа кадров, что влияет на скорость и точность работы систем обеспечения безопасного вождения. Экспериментально было установлено, что разрешение 300x300 пикселей является достаточным для получения данных, необходимых для определения состояния водителей.
На каждом кадре оцениваются характеристики лица водителя с целью выявления возможности возникновения опасной ситуации в тот или иной момент времени.
Поиск и локализация состояний объектов лица водителя (открытость и закрытость глаз; угол поворота и наклона головы, зевота и т.д.) осуществляется с использованием факторов, определенных в модели.
Для определения положения головы водителя по отношению к плоскости ФКС вычисляются углы Эйлера, позволяющие описать поворот объекта в трехмерном евклидовом пространстве. Для этого используется функция OpenCV, реализующая алгоритм оптимизации Левен-берга-Марквардта и позволяющая находить преобразование между системами координат калибруемого объекта и ФКС.
Вычисленный набор лицевых точек водителя позволяет определить положение его головы, угол наклона вперед/назад и поворота влево/вправо, за счет представления 2D координат и антропометрических координат характеристик модели головы человека в трехмерной системе координат:
и Г/х 0 Гц Гц Ъз к
5 V = 0 /у Су Гц Г22 Г23 t2
1 0 0 1 Гз! Г32 Г33 ¡3
где // - длины фокуса ФКС (пиксели), ех,Су - как правило, координаты центра изображения (пиксели), - координаты в трехмерной системе координат, (ы,у) - координаты точек про-
екции (пиксели).
Распознанные параметры и факторы лица позволяют выявлять опасные состояния (усталости, сонливости, ослабленного внимания), оказывающие влияние на безопасность при управлении ТС.
Рассмотрим алгоритмы распознавания опасных состояний в поведении водителя, наблюдаемых внутри кабины ТС, на основе обработки изображений с ФКС с помощью факторной модели.
Алгоритм определения зевоты и усталости. Увеличение времени моргания характеризует степень усталости водителя. Другим индикатором определения состояний усталости и сонливости является зевота. Очевидно, зевота влияет на параметры глазных эллипсов, эллипса рта, что находит отражение в значениях соответствующих факторов /3/4, /7-/15. При зевоте рот открывается шире, его высота увеличивается, а глаза стремятся закрыться. Если глаза закрыты, то ширина и высота их эллипсов уменьшаются.
Для достоверного распознавания и учета особенностей людей [1] нормальное состояние открытости глаз и рта каждого водителя определяется заранее, затем рассчитывается факторная модель. Рассчитанная таким образом факторная модель является эталонной. Эталонная модель является входным параметром алгоритма, в котором модель используется для сравнения с факторной моделью, построенной по данным, полученным с ФКС.
Считается, что у водителя присутствуют признаки усталости, если при управлении ТС он более 2 раз зевает в течение 10 минут. На рис. 1 представлен алгоритм распознавания зевоты и усталости.
Рис. 1. Алгоритм распознавания зевоты и усталости
642
Алгоритм определения состояния сонливости и засыпания. Очевидно, открытие и закрытие глаз меняют параметры глазных эллипсов (Ele и Ere) и лобного эллипса Efh, а также соответствующие факторы (/2-/12). Если глаза закрыты, то ширина и высота их эллипсов уменьшаются, а лобный эллипс, наоборот, увеличивается. При открытии глаз - все ровно наоборот.
Сонливость и засыпание определяются частотой и продолжительностью открытия и закрытия глаз (частотой моргания глаз). Безопасный для водителя интервал, в течение которого допускается моргание глаз, равен от 0.5 сек. до 0.8 сек. Если наблюдается закрытие глаз более 25% времени в течение одной минуты, то считается, что человек находится в состоянии сонливости.
Моргания глаз может стать более продолжительным и более медленным, пока глаза не начнут закрываться на время краткосрочных снов, то есть состояний сна, которые длятся в течение приблизительно от трех до пяти секунд или дольше, или до продолжительного сна. На рис. 2 представлен алгоритм распознавания сонливости и засыпания.
Рис.2. Алгоритм распознавания состояния сонливости и засыпания
Алгоритм определения ослабленного внимания. Считается, что у водителя присутствуют признаки ослабленного внимания, если при управлении ТС глаза закрываются дольше чем на 0.5 сек. - 0.8 сек., либо угол поворота головы > 15° по направлению движения ТС, либо голова не повернута по направлению движения ТС > 2с.
В данном алгоритме анализируются все эллипсы и многоугольник носа, а также соответствующие факторы /1-/15. На рис. 3 представлен алгоритм распознавания ослабленного внимания.
Определение состояния ослабленного внимания в данном случае основано на определении положения головы водителя. Голова водителя ТС должна быть направлена прямо по направлению движения ТС. Если голова водителя не смотрит по направлению движения ТС более 2 сек. или же она не направлена в сторону поворота ТС, то считаются выявленными признаки ослабленного внимания. Также признаки считаются выявленными, если при повороте ТС угол поворота головы водителя составляет более 15° по направлению движения ТС или наоборот отсутствует.
Рис. 3. Алгоритм распознавания ослабленного внимания
Заключение. В статье представлены алгоритмы распознавания опасных состояний водителя ТС по изображениям, получаемым с фронтальной камеры смартфона. Предложенные алгоритмы позволяют распознавать состояния: зевоты, усталости, сонливости, клевания носом, засыпания и ослабленного внимания водителя ТС. Непрерывное наблюдение за физическим состоянием водителя при помощи ФКС и обработка получаемых данных с применением рассмотренных алгоритмов позволяют своевременно выявлять отклонения в поведение водителя в кабине ТС. Эти алгоритмы также позволяют разрабатывать мобильные приложения, которые своевременно смогут предупредить водителя о его неадекватном состоянии и вызываемой этим состоянием опасной дорожно-транспортной ситуации.
Исследование выполнено в рамках бюджетной темы № 0060-2019-0011.
Список литературы
1. Chuk T., Crookes K., Hayward W.G., Chan A.B., Hsiao J.H. Hidden Markov model analysis reveals the advantage of analytic eye movement patterns in face recognition across cultures. Cognition, 2017. P. 102-117.D0I: 10.1016/j.cognition.2017.08.003.
2. Galarza E.E. et al. Real time driver drowsiness detection based on driver's face image behavior using a system of human computer interaction implemented in a smartphone // Proc. of International Conference on Information Theoretic Security. Springer, Cham, 2018. P. 563-572.
3. Wu J. Robust Facial Landmark Detection for Intelligent Vehicle System / J. Wu, M. Trivedi. San Diego, USA, 2005.
4. Zuo F. et al. Fast human face detection using successive face detectors with incremental detection capability //Image and Video Communications and Processing 2003. International Society for Optics and Photonics, 2003. V. 5022. P. 831-841. doi.org/10.1117/12.476451.
5. Ань Ф.Т., Жукова Н.А., Евневич Е.Л. Факторная модель обнаружения и распознавания контура и основных элементов человеческого лица // Научно-технический вестник информационных технологий, механики и оптики. 2021. Т. 21. №. 4. С. 482-489.
Фам Туан Ань, аспирант, ptanh@cit.udn.vn, Россия, Санкт-Петербург, Университет
ИТМО,
Жукова Наталия Александровна, канд. техн. наук, ведущий научный сотрудник, nazhukova@mail.ru, Россия, Санкт-Петербург, СПб Федеральный исследовательский центр РАН,
Евневич Елена Людвиговна, канд. физ.-мат. наук, старший научный сотрудник, eva@iias.spb.su, Россия, Санкт-Петербург, СПб Федеральный исследовательский центр РАН
RECOGNITION OF THE DANGEROUS STATE OF THE DRIVER BASED ON THE FACIAL
FACTOR MODEL
Pham Tuan Anh, Zhukova Nataly, Evnevich Elena
The paper presents a method and algorithms of recognition ofa driver's dangerous conditions on the basis of the previously developed authors' factor model of contour and main elements of the human face. Proposed algorithms for detection and recognition of the above mentioned dangerous conditions of the driver (drowsiness, fatigue, poor attention) forms a basis for development of fast and accurate mobile applications that can warn the driver of his inadequate condition and potential traffic incidents.
Key words: drivers safety, factor face model, drivers state recognition, mobile applications.
Pham Tuan Anh, postgraduate, ptanh@,cit.udn.vn, Russia, Saint Petersburg, ITMO University,
Natalia Alexandrovna, candidate of technical sciences, leading researcher, nazhu-kova@mail.ru, Russia, Saint Petersburg, St. Petersburg Federal Research Center of the Russian Academy of Sciences,
Evnevich Elena Ludvigovna, candidate of physical and mathematical sciences, senior researcher, eva@iias.spb.su, Russia, St. Petersburg, St. Petersburg Federal Research Center RAS
