Научная статья на тему 'СИСТЕМА ИДЕНТИФИКАЦИИ ВОДИТЕЛЯ ТРАНСПОРТНОГО СРЕДСТВА НА ОСНОВЕ БИОМЕТРИЧЕСКИХ ДАННЫХ'

СИСТЕМА ИДЕНТИФИКАЦИИ ВОДИТЕЛЯ ТРАНСПОРТНОГО СРЕДСТВА НА ОСНОВЕ БИОМЕТРИЧЕСКИХ ДАННЫХ Текст научной статьи по специальности «Компьютерные и информационные науки»

CC BY
252
44
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
АВАРИЙНОСТЬ / АВТОМОБИЛИ / УЧЕТ РАБОЧЕГО ВРЕМЕНИ / ВОДИТЕЛЬ / РАСПОЗНАВАНИЕ ЛИЦА / КОМПЬЮТЕРНОЕ ЗРЕНИЕ / ACCIDENT RATE / AUTOMOBILES / TIME TRACKING / DRIVER / FACE RECOGNITION / COMPUTER VISION

Аннотация научной статьи по компьютерным и информационным наукам, автор научной работы — Козин Евгений Сергеевич, Базанов Артём Владимирович

В статье рассматриваются проблемы, связанные с контролем соблюдения режимов труда и отдыха водителями такси, которые, вместе с увеличением числа сервисов такси, приводят к увеличению количества дорожно-транспортных происшествий (ДТП). Наиболее частой причиной этих ДТП эксперты называют значительную переработку, приводящую к усталости водителей. Контролировать режим работы водителей в текущих условиях достаточно сложно. Одним из эффективных способов решения проблемы, по мнению авторов, является программно-аппаратный комплекс, работающий на основе алгоритмов компьютерного зрения, способный идентифицировать личность водителя за счет распознавания его лица, отправлять информацию заинтересованным лицам и интегрироваться в системы управления автомобилем. Цель исследования - снижение показателей аварийности легковых автомобилей-такси и каршеринга путем внедрения системы распознавания лиц в транспортные средства. Научная новизна работы заключается в использовании новых методов компьютерного зрения при решении задачи снижения аварийности автомобильного транспорта. Система работает следующим образом: с помощью видеокамеры во время пользования автомобилем система периодически фиксирует и распознает изображение лица водителя. При отрицательном результате оператор получает уведомление о несоответствии. В статье приводится обзор функционала прототипа предлагаемой системы, созданной авторами. Прототип системы состоит из пяти условных модулей: модуль непосредственно распознавания лица; модуль сохранения информации в лог-файл и взаимодействия приложения с веб-браузером; модуль отправки сигнала в последовательный порт для взаимодействия с аппаратной (механической) частью проекта с использованием программируемого микроконтроллера; модуль, связанный с работой микроконтроллера и периферийных исполнительных устройств; модуль-оболочка мультиплатформенного приложения. Модули системы написаны на языке Python и основаны на библиотеке компьютерного зрения OpenCV. Система имеет возможность отправки статистической информации об идентификации водителя в сеть. Также имеется возможность взаимодействовать с аппаратными и механическими компонентами автомобиля, например, с центральным замком. Такой продукт будет востребован компаниями, предоставляющими услуги такси, каршеринга, а также собственниками и пользователями корпоративных парков техники в различных отраслях, например, в нефтегазовой.

i Надоели баннеры? Вы всегда можете отключить рекламу.

Похожие темы научных работ по компьютерным и информационным наукам , автор научной работы — Козин Евгений Сергеевич, Базанов Артём Владимирович

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

VEHICLE DRIVER IDENTIFICATION SYSTEM BASED ON BIOMETRIC DATA

The article discusses the problems associated with monitoring the observance of work and rest regimes by taxi drivers, which, together with an increase in the number of taxi services, lead to an increase in the number of road traffic accidents. The most common cause of these accidents, experts call significant excess of working time, leading to fatigue of drivers. It is quite difficult to control work and rest regimes of drivers in the current conditions. One of the effective ways to solve the problem, according to the authors, is a hardware- software complex that works on the basis of computer vision algorithms, which can identify the driver’s identity byrecognizing his face, send information to supervisor and integrate into car control systems. The main goal of this article is to reduce the accident rate of taxis and car-sharing vehicles by introducing a face recognition system in them. The scientific novelty of the work lies in the use of new methods of computer vision in solving the problem of reducing the accident rate of automobile transport. The system works as follows: using a video camera while using a car, the system periodically captures and recognizes the image of the driver’s face. If the result is negative, the supervisor receives a notification of non-compliance. The article provides an overview of the functionality of the prototype of the proposed system created by the authors. The system prototype consists of five conditional modules: a face recognition module; module for storing information in a log file and application interaction with a web browser; a module for sending a signal to the serial port for interaction with the hardware (mechanical) part of the project using a programmable microcontroller; a module associated with the operation of the microcontroller and peripheral actuators; multi-platform application wrapper module. System modules are written in Python and are based on the OpenCV computer vision library. The system has the ability to send statistical information about driver identification to the network. It is also possible to interact with the hardware and mechanical components of the car, for example, with a central lock. System modules are written in Python and are based on the OpenCV computer vision library. Such a product will be in demand by companies providing taxi services, car sharing, as well as owners and users of corporate vehicle parks in various industries, for example, in the oil and gas industry.

Текст научной работы на тему «СИСТЕМА ИДЕНТИФИКАЦИИ ВОДИТЕЛЯ ТРАНСПОРТНОГО СРЕДСТВА НА ОСНОВЕ БИОМЕТРИЧЕСКИХ ДАННЫХ»

Интеллект. Инновации. Инвестиции /Intellect. Innovations. Investments • № 4, 2020

УДК 656.131 DOI: 10.25198/2077-7175-2020-4-133

СИСТЕМА ИДЕНТИФИКАЦИИ ВОДИТЕЛЯ ТРАНСПОРТНОГО СРЕДСТВА НА ОСНОВЕ БИОМЕТРИЧЕСКИХ ДАННЫХ

Е. С. Козин1, А. В. Базанов2

Тюменский индустриальный университет, Тюмень, Россия 'e-mail: kozines@tyuiu.ru 2e-mail: bazanovav@tyuiu.ru

Аннотация. В статье рассматриваются проблемы, связанные с контролем соблюдения режимов труда и отдыха водителями такси, которые, вместе с увеличением числа сервисов такси, приводят к увеличению количества дорожно-транспортных происшествий (ДТП). Наиболее частой причиной этих ДТП эксперты называют значительную переработку, приводящую к усталости водителей. Контролировать режим работы водителей в текущих условиях достаточно сложно. Одним из эффективных способов решения проблемы, по мнению авторов, является программно-аппаратный комплекс, работающий на основе алгоритмов компьютерного зрения, способный идентифицировать личность водителя за счет распознавания его лица, отправлять информацию заинтересованным лицам и интегрироваться в системы управления автомобилем. Цель исследования - снижение показателей аварийности легковых автомобилей-такси и каршеринга путем внедрения системы распознавания лиц в транспортные средства. Научная новизна работы заключается в использовании новых методов компьютерного зрения при решении задачи снижения аварийности автомобильного транспорта. Система работает следующим образом: с помощью видеокамеры во время пользования автомобилем система периодически фиксирует и распознает изображение лица водителя. При отрицательном результате оператор получает уведомление о несоответствии. В статье приводится обзор функционала прототипа предлагаемой системы, созданной авторами. Прототип системы состоит из пяти условных модулей: модуль непосредственно распознавания лица; модуль сохранения информации в лог-файл и взаимодействия приложения с веб-браузером; модуль отправки сигнала в последовательный порт для взаимодействия с аппаратной (механической) частью проекта с использованием программируемого микроконтроллера; модуль, связанный с работой микроконтроллера и периферийных исполнительных устройств; модуль-оболочка мультиплатформенного приложения. Модули системы написаны на языке Python и основаны на библиотеке компьютерного зрения OpenCV Система имеет возможность отправки статистической информации об идентификации водителя в сеть. Также имеется возможность взаимодействовать с аппаратными и механическими компонентами автомобиля, например, с центральным замком. Такой продукт будет востребован компаниями, предоставляющими услуги такси, каршеринга, а также собственниками и пользователями корпоративных парков техники в различных отраслях, например, в нефтегазовой.

Ключевые слова: аварийность, автомобили, учет рабочего времени, водитель, распознавание лица, компьютерное зрение.

Для цитирования: Козин Е. С., Базанов А. В. Система идентификации водителя транспортного средства на основе биометрических данных // Интеллект. Инновации. Инвестиции. - 2020. - № 4. - С. 133-142. DOI: 10.25198/2077-7175-2020-4-133.

VEHICLE DRIVER IDENTIFICATION SYSTEM BASED ON BIOMETRIC DATA

E. S. Kozin1, A. V. Bazanov2

Tyumen Industrial University, Tyumen, Russia •e-mail: kozines@tyuiu.ru 2e-mail: bazanovav@tyuiu.ru

Abstract. The article discusses the problems associated with monitoring the observance of work and rest regimes by taxi drivers, which, together with an increase in the number of taxi services, lead to an increase in the number of road traffic accidents. The most common cause of these accidents, experts call significant excess of working time, leading to fatigue of drivers. It is quite difficult to control work and rest regimes of drivers in the current conditions. One of the effective ways to solve the problem, according to the authors, is a hardwaresoftware complex that works on the basis of computer vision algorithms, which can identify the driver's identity by

recognizing his face, send information to supervisor and integrate into car control systems. The main goal of this article is to reduce the accident rate of taxis and car-sharing vehicles by introducing a face recognition system in them. The scientific novelty of the work lies in the use of new methods of computer vision in solving the problem of reducing the accident rate of automobile transport. The system works as follows: using a video camera while using a car, the system periodically captures and recognizes the image of the driver's face. If the result is negative, the supervisor receives a notification of non-compliance. The article provides an overview of the functionality of the prototype of the proposed system created by the authors. The system prototype consists of five conditional modules: a face recognition module; module for storing information in a log file and application interaction with a web browser; a module for sending a signal to the serial port for interaction with the hardware (mechanical) part of the project using a programmable microcontroller; a module associated with the operation of the microcontroller and peripheral actuators; multi-platform application wrapper module. System modules are written in Python and are based on the OpenCV computer vision library. The system has the ability to send statistical information about driver identification to the network. It is also possible to interact with the hardware and mechanical components of the car, for example, with a central lock. System modules are written in Python and are based on the OpenCV computer vision library. Such a product will be in demand by companies providing taxi services, car sharing, as well as owners and users of corporate vehicle parks in various industries, for example, in the oil and gas industry.

Key words: accident rate, automobiles, time tracking, driver, face recognition, computer vision.

Cite as: Kozin, E.S., Bazanov, A.V. (2020) [Vehicle driver identification system based on biometric data]. Intellekt. Innovatsii. Investitsii [Intellect. Innovations. Investments]. Vol. 4, pp. 133-142. DOI: 10.25198/20777175-2020-4-133.

Введение

Регулирование труда водителей такси в Российской Федерации происходит в рамках действующего законодательства: Федерального Закона №2 69-ФЗ от 21.04.2011 г., Трудового кодекса РФ т 30.12.2001 № 197-ФЗ, Приказа Министерства транспорта России от 20.08.2004 года № 15 и ряда других нормативных документов.

При этом время управления автомобилем не может превышать 9 часов, а суммарная продолжительность управления автомобилем за неделю не может превышать 56 часов и за две недели подряд -90 часов.

Деятельность по перевозке пассажиров и багажа легковым такси осуществляется на основании разрешений. В Тюменской области реестр выданных, переоформленных, приостановленных и отозванных (аннулированных) разрешений опубликован на официальном сайте администрации. Согласно имеющейся там информации, всего выдано 11475 разрешений, которые выдаются на отдельное транспортное средство. Некоторые из них уже недействительны.

Согласно информации геоинформационных сервисов в Тюмени работают 7 официальных таксопарков. Остальные автомобили такси относятся к частным перевозчикам.

В настоящее время существует несколько вари-

антов начать работу в такси: устроившись в официальный таксопарк, подключившись к одному из онлайн-сервисов такси (например, Яндекс-такси, Максим, Uber и т. п.) через специальную фирму-партнера, оформив ИП или ООО. Вместе с этим, многие работают в такси, не имея разрешений, о чем в интернете и в публикациях присутствует довольно большое количество информации. Достаточно полный обзор вопросов технологии и организации деятельности легковых такси, а также связанных с этим проблем представлен в публикации экспертов газеты «Авторевю»1.

На основании вышеуказанного, можно заключить, что в работе служб такси имеется много нюансов, и даже при наличии законодательной базы в настоящее время есть много полулегальных путей обхода законодательства. Об этом говорят и эксперты [2, 4]. Так, в статье, анализирующей дорожно-транспортные происшествия с участием автомобилей-такси, говорится следующее: «.. .30% работающих в такси людей никто не проверяет.»2.

При этом во многих публикациях приводится статистика увеличения количества дорожно-транспортных происшествий с автомобилями такси, а также анализируются их причины [3, 5]. Например, в государственном отчете3 или в публикациях издания Коммерсант4 указывают на то, что «За десять месяцев 2019 года число ДТП с уча-

1 Ветров Ю. Газета «Авторевю»: Агрегаторное состояние такси в России: опасны на любой скорости? [Электронный ресурс]. -Режим доступа: https://autoreview.ru/articles/sektor-obzora/agregatnoe-sostoyanie-taxi (дата обращения 29.05.2020).

2 Буранов И. Газета «Коммерсантъ»: Вам шашечки или въехать [Электронный ресурс]. - Режим доступа: https://www.kommersant. 1^/^/4179622 (дата обращения 20.04.2020).

3 Аналитический центр при Правительстве РФ. Аналитический материал по состоянию таксомоторной отрасли в России с точки зрения безопасности дорожного движения [Электронный ресурс]. - Режим доступа: https://ac.gov.ru/archive/files/content/19540/taksi-avariinost-final-2311-pdf.pdf (дата обращения 20.04.2020).

стием такси выросло на 60%» или в г. Москве «... за десять месяцев аварийность с такси выросла на 70%, превысив 1,3 тыс. ДТП», то есть около 1700 ДТП за 2019 год. Статья Российской газеты от 2018 года5 также посвящена резкому росту аварийности среди такси.

В одной из указанных публикаций эксперт называет основную причину ДТП - нарушение режима труда и отдыха, переработка, что приводит к усталости и потере внимательности.

Суть исследуемой проблемы

То есть в настоящее время существует проблема повышенной аварийности автомобилей такси, вызванной нарушениями режимов труда и отдыха водителями.

По официальным данным выданных разрешений для автомобилей такси в г. Москва около 48 тысяч. Следовательно, показатель аварийности такси в г. Москва равен 1700/48000 = 0,035 ДТП на 1 автомобиль в год. Если использовать данное значения для аналогичного расчета количества дорожно-транспортных происшествий с автомобилями такси в городе Тюмени, то можно получить годовое количество ДТП, равное 100 автомобилей. Даже если принять, что по статистике РСА средняя выплата на первое полугодие 2019 года составляла в 66 тыс. рублей6, то это приводит к потерям собственников транспортных средств в 6,6 млн руб. в год. В условиях достаточно высокой конкуренции на рынке это довольно значительные суммы средств, которые следует минимизировать.

Кроме того, компании каршеринга сталкиваются с продажей аккаунтов пользователей и невозможностью постоянной идентификации человека, пользующегося автомобилем, что приводит к административным и уголовным правонарушениям (преднамеренное нарушение ПДД, угон, мошенничество и т. д.). По оценкам некоторых экспертов (Е. Розкин, Автовзгляд.ру) до 20% аккаунтов кар-шеринга могут быть фальшивыми.

Помимо собственников транспортных средств, среди основных заинтересованных лиц можно выделить органы государственной власти, заинтересованные в соблюдении трудового законодательства и снижении количества дорожно-транспортных происшествий. Кроме этого, компании такси и кар-шеринга несут значительные репутационные ри-

ски, связанные с недоверием пользователей услуги к «непроверенным» водителям.

Предлагаемое решение

Авторами предлагается решить указанные проблемы с помощью приложения, осуществляющего контроль доступа в автомобиль путем бесконтактного распознавания лица водителя, занесенного в базу допуска, и автоматизации процесса учета рабочего времени с помощью непрерывного контроля за водителем в режиме реального времени с использованием средств компьютерного зрения.

Таким образом, цель исследования: снижение показателей аварийности легковых автомобилей-такси и каршеринга путем внедрения системы распознавания лиц в транспортные средства.

Научная новизна работы заключается в использовании методов компьютерного зрения для решения задачи снижения аварийности автомобилей-такси и каршеринга.

Тематика исследования соответствует п. 6 и п. 15 области исследований специальности 05.22.10 «Эксплуатация автомобильного транспорта», а именно «организация безопасности перевозок и движения, обоснование и разработка требований и рекомендаций по методам подбора, подготовки, контроля состояния и режимам труда и отдыха водителей»; «развитие новых информационных технологий при перевозках, технической эксплуатации и сервиса».

Здесь нужно отметить, что, как правило, такси уже используют приложения по поиску заказа от крупных агрегаторов, однако в одной из последних редакций готовящегося законопроекта о такси7 «... таксопаркам предлагается дать право разрабатывать собственные программы, которые позволят автоматизировать контроль за соблюдением водителем режима труда и отдыха. Причём, должен быть предусмотрен обмен данными между приложениями разных агрегаторов такси. Это позволит избежать случаев, когда таксист сдал «смену» в одной службе такси, а дальше без отдыха начал новую «смену» в другом агрегаторе. Ведь не секрет, что большинство таксистов зарегистрированы одновременно в нескольких службах такси».

Предлагаемая система может соответствовать требованиям, указанным в законопроекте, и служить альтернативой или дополнением существующих мобильных приложений.

4 Буранов И. Газета «Коммерсантъ»: Вам шашечки или въехать [Электронный ресурс]. - Режим доступа: https://www.kommersant. тМос/4179622 (дата обращения 20.04.2020).

5 Баршев В. «Российская газета»: Резкий рост аварийности зафиксирован среди такси [Электронный ресурс]. - Режим доступа: https://rg.ru/2018/07/29/rezkij-rost-avarijnosti-zafiksirovan-sredi-taksi.html (дата обращения 20.04.2020).

6 Гришина Т. Газета «Коммерсантъ»: ОСАГО не приживается в ремонтном боксе [Электронный ресурс]. - Режим доступа: https://www.kommersant.m/doc/3976183?from=main_7 (дата обращения 20.04.2020).

Автосправочная.сот: Закон о такси 2020: 10 важных изменений [Электронный ресурс]. - Режим доступа: https:// avtospravochnaya.com/pdd/14209-zakon-o-taksi-2020-10-vazhnykh-izmenenij (дата обращения 20.04.2020).

Анализ ранее выполненных исследований и разработок

Был проведен анализ научных исследований на

Из проведенного анализа научных исследований можно заключить, что тема распознавания лиц достаточно хорошо изучена в отечественном и мировом научном сообществе. Помимо психофизических особенностей распознавания лиц [1], разработано большое количество алгоритмов, подходов и математических моделей, повышающих эффективность распознавания [6, 8, 9]. Среди наиболее часто используемых методов можно выделить каскады Хаара (haar cascades), гистограммы градиентов (HOG and SVM) и более сложные методы, основанные на нейронных сетях, например, библиотека Face Recognition [10-15].

При этом в отечественной научной литературе лишь небольшое количество исследований переведено в практические приложения по распознаванию лиц. Еще меньше исследований направлено на решение проблем с идентификацией водителей автомобильного транспорта через алгоритмы компьютерного зрения.

Среди мировых продуктов на рассматриваемую тематику можно выделить следующие аналоги: Nauto - комплекс систем помощи водителю, избегающих столкновения в случае отвлечения водителя; Visage sdk - системы с использованием искусственного интеллекта, которые могут отслеживать, анализировать и распознавать лица в режиме реального времени; Exeros technologies - система контроля усталости водителя. Среди Российских производителей можно отметить компанию Vision Labs, предлагающую такие программные продукты, как Luna Sdk - систему распознавания и анализа лиц, и Luna Platform - систему управления биометрическими данными. Компания Iris Devices занимается идентификацией личности человека и диагностикой его состояния по радужной оболочке глаз и лицу. Компания Axxonsoft предлагает программный продукт «Интеллект» - коробочное решение по распознаванию лиц.

В настоящее время используется несколько способов контроля доступа к автомобилю: магнитная

данную тематику. Результаты поисковых запросов в системе РИНЦ по различным ключевым фразам приведены в таблице 1.

карта, RFID-метка, передача ключей зажигания. Каждый из этих способов имеет ряд недостатков, связанных с утерей ключа или его передачей третьим лицам. Также учет рабочего времени производится, как правило, на основе заполнения бумажных путевых листов. В сервисах такси существует ограничение работы мобильного приложения после достижения предельного количества часов работы.

Результаты исследования

Предлагаемая система FaceDrive решает проблемы контроля доступа в автомобиль путем бесконтактного распознавания лица водителя, занесенного в базу допуска, с помощью видеокамеры, а также автоматизирует процесс учета рабочего времени с помощью непрерывного контроля за водителем в режиме реального времени и отправки информации через терминал системы мониторинга транспорта диспетчеру. Также возможна реализация системы с помощью мобильного приложения.

Описание структуры прототипа системы (рисунок 1) и его функционала приведено ниже.

Проект состоит из пяти условных модулей/блоков: модуль непосредственно распознавания лица, добавленного в базу изображений, основанный на библиотеке face_recognition (1); модуль сохранения информации в лог-файл и взаимодействия приложения с веб-браузером, основанный на фреймворке flask (2); модуль отправки сигнала в последовательный порт для взаимодействия с аппаратной (механической) частью проекта на Arduino, основанный на библиотеке pyserial (3); модуль, связанный с работой микроконтроллера Arduino и сенсорного экрана Nextion, который в прототипе имитирует любое механическое устройство, подключаемое к микроконтроллеру (4); модуль-оболочка мульти-платформенного приложения, основанный на фреймворке kivy (5).

Все модули программы, за исключением кода для микроконтроллера Arduino, написаны на язы-

Таблица 1. Количество найденных публикаций по тематике исследований на сайте РИНЦ

№ Ключевая фраза, по которой производился поиск публикаций Количество найденных публикаций (из 33778592)

1. Учет рабочего времени водителя 28

2. Распознавание лица водителя 7

3. Распознавание водителя 143

4. Распознавание лица 1780

5. Приложение распознавание лиц 74

6. Мобильное приложение распознавание лиц 14

ке Python и загружаются из оболочки мультиплат-форменного приложения, реализованного с помощью фреймворка Kivy. Особенностью данного фреймворка является возможность работы как на персональных компьютерах, так и на мобильных устройствах, что является преимуществом при интеграции данного проекта в мобильные приложе-

ния сервисов такси. Главный экран приложения на настоящий момент имеет 2 активных зоны: внесение нового водителя в систему и его проверка с помощью распознавания лица - кнопка «Добавить водителя в Drivers list»; база водителей с указанием даты и времени входа в систему - кнопка «Drivers list» (рисунок 2).

Базы данных

Web-интерфейс

Сенсорный дисплей Nextion и индикация

Электропривод и

исполнительные

устройства

Рисунок 1. Общая схема модулей прототипа проекта и используемых программных средств

О DriverFaceRec - 1=1 —^ О DriverfaceRec - D 0 О DriverFaceRec - п ЕВ

Список водителей <Назад в главное меню <Назад в главное меню

| Иванов Иван Иванович Иванов И. И. 25.04.20

Добавить водителя

Последний добавленный

водитель:

Иванов Иван Иванович

Добавить водителя

в список

Рисунок 2. Приложение FaceDrive: слева - главное окно программы; по центру - меню добавления водителя в систему; справа - список водителей, заходивших в систему

В качестве основы для приложения использовались материалы8. При нажатии на кнопку «Добавить водителя в Drivers list» вызывается модуль 1 распознавания лиц.

Изображения пользователей, которым разрешен доступ, загружаются в отдельную директорию. При этом на повышение вероятности распознавания будет влиять количество и качество

3 Habr.com: Приложение на python kivy для разнообразия рациона питания [Электронный ресурс]. com/ru/post/426269/ (дата обращения 20.04.20).

- Режим доступа: https://habr.

изображений одного человека. При запуске приложения система активирует либо встроенную камеру, либо внешнюю и детектирует наличие лица в кадре, вписывая его в прямоугольник. Затем сравнивает изображение с теми, которые находятся в базе. Для снижения возможностей обмана систе-

мы здесь можно реализовать различные проверки, например, на моргание или изменение мимики на лице и т.п. При совпадении программа указывает внесенное в базу имя распознанного человека, изменяя его с Unknown на имя, связанное с этой фотографией (рисунок 3).

Number Number Number Number Number Number Number Number Number

l-lmLaJr

iy K.

4

cale(frame, scale_factor, 5)

x+w, y+h), (0,255,0), 2)

J3C

K.', (x, у), font, 2, (255,255,255), 2, cv2.L . format (len (faces)))

Рисунок 3. Программа распознала лицо человека, внесенное в базу пользователей, и вывела на экран его имя

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

В случае успешного распознавания программа посылает значение (любой заранее определенный символ) в тот последовательный порт, к которому подключен микроконтроллер Arduino. Программа микроконтроллера ожидает значение из последовательного порта. Если возвращаемое python значение совпадает с заложенным в программу микроконтроллера, то последний активирует любое под-

ключенное к нему устройство. В случае прототипа, это сенсорный экран Nextion, который отображает на дисплее иконку замка соответствующего цвета и значения: если лицо не распознано системой, то на экране высвечивается закрытый замок на красном фоне, в противном случае — символ открытого замка (рисунок 4).

Рисунок 4. Иконка «Закрыто» на сенсорном дисплее Nextion, подключенном к микроконтроллеру Arduino (слева) и «Открыто», когда происходит распознавание лица (справа)

Помимо экрана с графической информацией, к микроконтроллеру можно подключить любую периферию: электродвигатели, датчики, например, центральный замок автомобиля.

Когда доступ в салон автомобиля разрешен, алгоритм работы системы переходит в режим мони-

торинга водителя для исключения передачи права управления другому лицу. Для этого программа делает автоматическую фотографию водителя с периодичностью один раз в минуту. Если программа не зафиксировала лицо на изображении, то она делает по одной фотографии каждые 10 секунд в течение

минуты. Если и на этих изображениях нет идентифицированного водителя, то программа отправляет сообщение оператору.

Одновременно с запуском приложения активируется соединение с браузером по URL 127.0.0.1

(или с соответствующим сервером), куда в случае успешной идентификации человека приходит информация о том, кто был идентифицирован и в какое время (рисунок 5).

© © 127,0,0,1:5000

127,0,0,1:5000/

<- ^ е й>

О Чаете посещаемые Начальная страница

Evgeniy К. 06.03.20 11:49

© <t

Файл log.txt — - Блокнот

Правка Формат Вид Справка

Face detected. YesiFri Mar 6 11 42:43 2020 A

Face detected. Yes!Fri Mar 6 11 42:43 2020

Face detected. Yes'Fri Mar 6 11 42:43 2020

Face detected. Yes'Fri Mar- Ё 11 Л2:ДЗ 2020

Face detected. YeslFri Mar 6 11 42:43 2020

Face detected. YeslFr-i Mar 6 11 42:43 2020

Face detected. YeslFfi Mar 6 11 42:44 2020

Face detected. YeslFri Mar 6 11 42:44 2020

Рисунок 5. Взаимодействие программы с Web-браузером и лог-файл с информацией о факте и времени детектирования лиц программой

Работа приложения основана на фреймворке flask. Возможно взаимодействие не с локальным компьютером, а с веб-сервером. Здесь можно реализовать любой функционал по отслеживанию продолжительности нахождения перед камерой, количества потерь слежения за объектом и т. п. Такая же информация сохраняется в логе на компьютере, на котором запущена программа. В дальнейшем воз-

можна отправка информации в любую базу данных, например, MySQL.

Прототип системы был апробирован на автомобиле Ford Focus 3, который оснастили ноутбуком с установленным программным обеспечением, видеокамерой и индикатором распознавания лица водителя (рисунок 6).

апробация на автомобиле Рисунок 6. Апробация прототипа системы на автомобиле Ford Focus 3

Вероятность идентификации водителя посредством предлагаемой системы достаточно высока и составляет 85-90%. Целью последующих этапов работы над системой является повышение точности алгоритмов идентификации личности и повышение уровня технологической готовности проекта по шкале TRL (Technology readiness level) до 9.

Заключение

Таким образом, технология компьютерного зрения была использована для решения проблемы контроля за соблюдением режимов труда и отдыха водителей такси и каршеринга, что, наряду с другими регулирующими мерами, может привести к снижению аварийности этих служб. Предлагаемая система может быть использована как платформа для установки других интеллектуальных

модулей: системы контроля за состоянием водителя, систем безопасности и помощи водителю, а также для проведения научных исследований по влиянию психофизиологических особенностей состояния водителя на параметры управления автомобилем и на показатели его технической эксплуатации, что подчеркивает научную новизну настоящей работы.

Использование предлагаемой системы позволит снизить потери компаний такси от дорожно-транспортных происшествий вследствие ужесточения контроля за режимом труда и отдыха водителей. Система также может быть полезна собственникам корпоративного парка транспортных средств для повышения эффективности учета рабочего времени водителей и контроля за соблюдением их трудовых функций.

Литература

1. Барабанщиков В. А. Восприятие индивидуально-психологических особенностей человека по изображению целого и частично открытого лица // Экспериментальная психология. - 2008. - № 1. - С. 62-83.

2. Блудян Н. О. Оценка влияния качества нормативно-правового регулирования на обеспечение безопасности таксомоторных перевозок // Вестник Московского Автомобильно-Дорожного Государственного Технического Университета (МАДИ). - 2016. - № 4(47). - С. 117-123.

3. Горбатенко Д. С. Безопасность эксплуатации автомобильного транспорта, используемого в режиме легкового такси // Научно-технический вестник Поволжья. - 2020. - № 2. - С. 13-15.

4. Зайцева Л. В., Митрясова А. С. Труд водителей такси на основе интернет-платформ: отдельные вопросы правового регулирования // Вестник Томского Государственного Университета. - 2018. - № 435. -С. 239-245.

5. Мишина Ю. В. Некоторые вопросы административно-правового регулирования деятельности легковых такси // Сибирское юридическое обозрение. - 2020. - № 1. - С. 116-122.

6. Петрук В., Самородов А. В., Спиридонов И. Н. Применение локальных бинарных шаблонов к решению задачи распознавания лиц // Вестник московского государственного технического университета им. Н.Э. Баумана. Серия приборостроение. - 2011. - № 5. - С. 58-63.

7. Федосеева М. А., Лашин Д. А., Новиков И. А. Контроль психоэмоционального состояния водителя с использованием системы распознавания лиц // Роль опорного вуза в развитии транспортно-энергетиче-ского комплекса Саратовской области (Саратов, 16-17 мая 2018 г.). - Саратов, 2018. - С. 135-137.

8. Хегай Ю. А., Рындина К. С., Бобровский Г. В. Организация труда работников автомобильного транспорта // Теория и практика общественного развития. - 2014. - № 18. - С. 66-71.

9. Цуканов М. А., Ульянова О. П. Компьютерное зрение как основа автоматизации учета рабочего времени на производстве // Современные проблемы горно-металлургического комплекса. Наука и производство: тезис. докл. Всерос. конф. (Старый Оскол, 03-05 дек. 2014 г.). - Старый Оскол, 2015. - С. 360-365.

10. Amos B., Ludwiczuk B. Openface: A general-purpose face recognition library with mobile applications // CMU-CS-16-118. - 2016. - pp. 1-18.

11. Bradski G. R., Pisarevsky V Intel's Computer Vision Library: applications in calibration, stereo segmentation, tracking, gesture, face and object recognition [Электронный ресурс] // Proceedings IEEE Conference on Computer Vision and Pattern Recognition(Hilton Head Island, SC, USA, 13-15 June 2000). - Режим доступа: https://ieeexplore.ieee.org/document/854964 (дата обращения: 20.04.2020).

12. Dadi H. S, Pillutla G. K. M. Improved face recognition rate using HOG features and SVM classifier // IOSR Journal of Electronics and Communication Engineering (IOSR-JECE). - 2016. - № 11. - pp. 34-44.

13. Manuel Günther M., Wallace R., Marcel S. An Open Source Framework for standardized comparisons of face recognition algorithms // European Conference on Computer Vision. - 2012. - № 7585. - pp. 547-556.

14. Qiang Ji, Xiaojie Yang. Real-time eye, gaze, and face pose tracking for monitoring driver vigilance // Real-Time Imaging. - 2002. - № 8. - pp. 357-377.

15. Soo S. Object detection using Haar-cascade Classifier. Semantic Scholar [Электронный ресурс]. - Режим доступа: https://www.semanticscholar.org/paper/Object-detection-using-Haar-cascade-Classifier-Soo/0f1e8 66c3acb8a10f96b432e86f8a61 be5eb6799#paper-header (дата обращения: 20.04.2020).

References

1. Barabanshchikov, V A. (2008) [Perception of the individual psychological characteristics of a person in the image of a whole and partially open face]. Eksperimental'nayapsihologiya [Experimental psychology]. Vol. 1, pp. 62-83. (In Russ.).

2. Bludyan, N.O. (2016) [Assessment of the impact of regulatory quality on the safety of taxi services]. Vestnik Moskovskogo Avtomobil'no-Dorozhnogo Gosudarstvennogo Tekhnicheskogo Universiteta (MADI) [Bulletin of the Moscow Automobile and Road State Technical University (MADI)]. Vol. 4(47), pp. 117-123. (In Russ.).

3. Gorbatenko, D. S. (2020) [Safe operation of automobile transport used in passenger taxi mode]. Nauchno-tekhnicheskij vestnik Povolzh'ya [Scientific and Technical Bulletin of the Volga Region]. Vol.2, pp. 13-15. (In Russ.).

4. Zajceva, L.V., Mitryasova, A. S. (2018) [The work of taxi drivers based on Internet platforms: certain issues of legal regulation]. Vestnik Tomskogo Gosudarstvennogo Universiteta [Bulletin of Tomsk State University]. Vol. 435. pp. 239-245. (In Russ.).

5. Mishina, Yu. V. (2020) [Some issues of administrative regulation of passenger taxis]. Sibirskoe yuridicheskoe obozrenie [Siberian legal review]. Vol. 1, pp. 116-122. (In Russ.).

6. Petruk, V., Samorodov, A. V., Spiridonov, I. N. (2011) [Application of local binary patterns to solving the face recognition problem]. Vestnik moskovskogo gosudarstvennogo tekhnicheskogo universiteta im. N. E. Baumana. Seriya priborostroenie [Bulletin of Moscow State Technical University. N. E. Bauman. Instrumentation Series]. Vol. 5, pp. 58-63. (In Russ.).

7. Fedoseeva, M. A., Lashin, D. A., Novikov, I. A. (2018) [Monitoring the psycho-emotional state of the driver using a face recognition system]. Rol' opornogo vuza v razvitii transportno-energeticheskogo kompleksa saratovskoj oblasti [The role of the reference university in the development of the transport and energy complex of the Saratov region (Saratov, 16-17 May, 2018.)], pp. 135-137. (In Russ.).

8. Hegaj, Yu.A., Ryndina, K. S., Bobrovskij, G. V. (2014) [Labor Organization of Road Transport Workers]. Teoriya ipraktika obshchestvennogo razvitiya [Theory and practice of social development]. Vol. 18, pp. 66-71. (In Russ.).

9. Cukanov, M. A., Ul'yanova, O. P. (2014) [Computer vision as a basis for automation of accounting for working time in production]. Sovremennyeproblemygorno-metallurgicheskogo kompleksa. Nauka iproizvodstvo: tezis. dokl. Vseros. konf. [Modern problems of the mining and metallurgical complex. Science and production: thesis of the report of the All-Russian Conference]. Staryj Oskol, Russia, pp. 360-365. (In Russ.).

10. Amos, B., Ludwiczuk, B. (2016) Openface: A general-purpose face recognition library with mobile applications. CMU-CS-16-118, pp. 1-18. (In Eng.).

11. Bradski, G. R., Pisarevsky, V. (2000) Intel's Computer Vision Library: applications in calibration, stereo segmentation, tracking, gesture, face and object recognition. Proceedings IEEE Conference on Computer Vision and Pattern Recognition - Hilton Head Island, SC, USA. Available at: https://ieeexplore.ieee.org/document/854964 (accessed 20.04.2020) (In Eng.).

12. Dadi, H. S, Pillutla, G. K. M. (2016) Improved face recognition rate using HOG features and SVM classifier. IOSR Journal of Electronics and Communication Engineering (IOSR-JECE). Vol. 11, pp 34-44. (In Eng.).

13. Manuel Günther, M., Wallace, R., Marcel, S. (2012) An Open Source Framework for Standardized Comparisons of Face Recognition Algorithms. European Conference on Computer Vision. Vol. 7585, pp. 547-556. (In Eng.).

14. Qiang, Ji, Xiaojie, Yang. (2002) Real-Time Eye, Gaze, and Face Pose Tracking for Monitoring Driver Vigilance. Real-Time Imaging. Vol. 8, pp. 357-377. (In Eng.).

15. Soo, S. (2014) Object detection using Haar-cascade Classifier. Semantic Scholar. Available at: https:// www.semanticscholar.org/paper/Object-detection-using-Haar-cascade-Classifier-Soo/0f1e866c3acb8a10f96b432 e86f8a61 be5eb6799#paper-header (accessed 20.04.2020) (In Eng.).

Информация об авторах:

Евгений Сергеевич Козин, кандидат технических наук, доцент, доцент кафедры сервиса автомобилей и технологических машин, Тюменский индустриальный университет, Тюмень, Россия

Researcher ID: D-8474-2019

e-mail: kozines@tyuiu.ru

Артём Владимирович Базанов, кандидат технических наук, доцент, доцент кафедры сервиса автомобилей и технологических машин, Тюменский индустриальный университет, Тюмень, Россия

Researcher ID: AAD-2630-2020

e-mail: bazanovav@tyuiu.ru

Статья поступила в редакцию: 12.05.2020; принята в печать: 17.06.2020. Авторы прочитали и одобрили окончательный вариант рукописи.

Information about the authors:

Evgeny Sergeevich Kozin, PhD in Technical Sciences, Associate Professor, Department of Automobile and Technological Machines Service, Transport Institute, Tyumen Industrial University, Tyumen, Russia Researcher ID: D-8474-2019 e-mail: kozines@tyuiu.ru

Artyom Vladimirovich Bazanov, PhD in Technical Sciences, Associate Professor, Department of Automobile and Technological Machines Service, Transport Institute, Tyumen Industrial University, Tyumen, Russia Researcher ID: AAD-2630-2020 e-mail: bazanovav@tyuiu.ru

The paper was submitted: 12.05.2020. Accepted for publication: 17.06.2020. The authors have read and approved the final manuscript.

i Надоели баннеры? Вы всегда можете отключить рекламу.