CC BY
0
УДК 004.891.3
РАЗРАБОТКА И ИССЛЕДОВАНИЕ АЛГОРИТМОВ ВЫЯВЛЕНИЯ СОНЛИВОСТИ ВОДИТЕЛЯ
© 2024 Р.Е. Копейкин, И.М. Вавилов
Московский государственный технический университет имени Н.Э. Баумана (национальный исследовательский университет), г. Москва, Россия
Статья поступила в редакцию 21.02.2024
В статье рассматриваются возможные реализации алгоритмов системы помощи водителю для определения его физического состояния за рулем в процессе движения, их оценка и сравнение. Предложенные алгоритмы основаны на использовании средств компьютерного зрения и рассматривают разные возможные физические критерии усталости человека.
Ключевые слова: система помощи водителю, компьютерное зрение, нейронные сети, машинное обучение, обнаружение образов, классификация. DOI: 10.37313/1990-5378-2024-26-2-144-151 EDN: UCLLUG
ВВЕДЕНИЕ
Дорожно-транспортные происшествия всегда будут оставаться одной из серьезнейших проблем на дорогах, независимо от страны, национальности и используемого транспортного средства. Тысячи людей ежегодно погибают или получают серьезные ранения по причине сильной усталости или полного засыпания водителя за рулем. В соответствии с отчетом национального управления безопасности дорожного движения США, более 91 000 зарегистрированных полицией аварий в 2017 г. были связаны с засыпанием водителей за рулем транспортного средства. Наибольший риск засыпания водителя автомобиля наблюдается в дальних поездках, особенно в темное время суток, либо при длительных монотонных дорожных условиях.
Установлено, что усталость водителя приводит к возникновению немалого количества дорожно-транспортных происшествий. В отсутствие какого-либо предупреждения и контроля усталость водителя повышает вероятность столкновения во много раз, чем при вождении в нормальном состоянии. Таким образом, даже простое звуковое уведомление засыпающего водителя, позволит ему своевременно принять решение о прекращении движения в текущем состоянии и повысит безопасность дорожного движения.
Для уменьшения вероятности происшествия данного инцидента многие автомобильные производители и частные компании начали разработку систем помощи владельцам автотранспортных средств, также включающую в себя мониторинг усталости водителя. В данной работе предложен ряд различных алгоритмов
Копейкин Роман Евгеньевич, доцент кафедры СМ5. E-mail: rkopeykin@bmstu.ru
Вавилов Илья Максимович, студент кафедры СМ5. E-mail: vavilovim@student.bmstu.ru
определения сонливости человека, основывающихся на мониторинге лица водителя с использованием методов обработки изображений для получения соответствующих физических индикаторов сонливости.
ВАРИАНТЫ РЕАЛИЗАЦИИ
Оценка состояния сонливости водителя является довольно неоднозначной задачей, без каких-либо явных критериев и показателей. Все выводы о засыпании водителя строятся на человеческом опыте и представлении о спящем человеке, то есть на выработанных шаблонах и логических выводах. Из этого следует два возможных подхода оценки усталости: первый - выбор наиболее информативного и достоверного критерия и точное его отслеживание посредством сложных алгоритмов на основании математических зависимостей; второй - использование всего объема доступных статистических данных для обучения искусственной нейронной сети на выявление шаблонов входных данных. В данной статье рассмотрены оба подхода оценки сонливости водителя и разработаны соответствующие алгоритмы.
Варианты предложенных алгоритмов структурно довольно схожи, главное различие предложенных алгоритмов заключается в методе анализа областей глаз человека. Пошагово все алгоритмы состоят из следующих этапов:
1. Выделение области лица человека в кадре
2. Выделение области интереса в виде участков глаз
3. Проверка зон интереса на соответствие выбранному физическому критерию усталости или общая оценка входных данных на соответствие одному из заранее выявленных шаблонов
4. Принятие решения о степени усталости
ВЫДЕЛЕНИЕ ЛИЦА И ОБЛАСТИ ИНТЕРЕСА В КАДРЕ
Для нахождения контура лица во всех последующих примерах будет использоваться довольно известный алгоритм Виолы-Джонса. Данный метод состоит из двух этапов: алгоритм обучения и алгоритм распознавания, то есть имеется заранее обученный классификатор на оценку передаваемых признаков или объектов, и процедура определения соответствующих признаков. Так как этот метод весьма распространен в задачах распознавания образов, существует большое множество уже обученных классификаторов на определение того или иного объекта или части тела, поэтому в представленных алгоритмах будет использоваться уже готовый классификатор человеческого лица расположенного фронтально по отношению к камере.
Используется метод следующим образом, для начала в основную программу необходимо загрузить необходимый классификатор в формате .хт1. После чего с помощью созданного объекта класса обрабатывать каждый входящий кадр видеопотока, получая при этом массив распознанных объектов и признанных классификатором как искомые объекты. Получаемый массив объектов представляет из себя координаты прямоугольника, в данном случае в котором заключены лица людей попавших в кадр, которые удобно обрабатывать в дальнейшем.
Дальнейшая область интереса алгоритма и способ ее выделения зависит от конкретного критерия определения усталости и может представлять из себя довольно разные области кадра, в данном случае областью интереса в обоих алгоритмах будут выступать области обоих глаз, однако в одном из случаев для их нахождения можно воспользоваться геометрическим и пропорциональным расположением глаз относительно всего человеческого лица, в другом случае еще раз воспользоваться алгоритмом Виолы-Джонса, но с классификатором обученным уже на поиск границ левого и правого глаза.
ОПРЕДЕЛЕНИЕ УСТАЛОСТИ ЧЕЛОВЕКА ПО ЛОКАЛИЗАЦИИ ЦЕНТРА ЗРАЧКА ГЛАЗА
Наиболее надежным и информативным физическим критерием усталости человека является положение зрачка глаза, позволяющий определить не только сонливость, но еще и потерю внимания человека в случает направления зрачка по сторонам от необходимого направления. Существует немалое количество методов локализации центра зрачка глаза человека, основанных как на измерении параметров составных элементов глаза, или информационной и пространственной структуре лица, так и на ста-
тистической модели глаз на основе обучения, однако для системы мониторинга усталости водителя необходимо подобрать метод способный надежно работать в широком спектре возможных условий съемки, а также обладающий достаточной скоростью и точностью работы.
Для выбора наиболее подходящего алгоритма необходимо рассмотреть результаты работы всех рассматриваемых алгоритмов на одном и том же наборе входных изображений, в этом лучше всего может помочь база данных ВюГО, так как это наиболее сложный набор изображений для локализации центра глаза. База данных состоит из 1521 изображения уровня серого 23 различных объектов, снятых в разных местах и в разное время суток, что приводит к переменным условиям освещения, сравнимым с уличными сценами. В дополнение к изменению освещения меняется положение предметов, а также их поза. Более того, некоторые испытуемые носят очки, а некоторые имеют завитые волосы ближе к центру глаз. На некоторых изображениях глаза закрыты, а голова повернута в сторону от камеры или сильно закрыта тенями. На нескольких изображениях глаза даже полностью скрыты сильными отражениями на очках. Из-за этих условий база данных ВюГО считается одной из самых сложных баз данных, отражающих реалистичные условия. Качество изображения и размер изображения (286x384) примерно соответствует качеству веб-камеры низкого разрешения. Центры левого и правого глаза аннотированы и предоставлены вместе с изображениями. Набор изображений базы данных ВюГО полностью соответствует необходимым условиям для проверки работоспособности систем мониторинга сонливости водителя, поэтому эта база данных является довольно показательной, затрагивающей большинство возможных сценариев работы для систем помощи водителю.
В качестве меры точности алгоритмов локализации центра зрачка глаза обычно принято использовать оценку нормализованной ошибки, которая указывает на ошибку, полученную наихудшей из обеих оценок глаз. Эта мера определяется как:
^ _ _ тах(||С; - С;||,||СУ - Сг||) ^
1|С; - Сг\\ ^(х;-хг)2 + (уг-уг)2 '
где , йг- максимум расстояний между истинными центрами глаз С1 ,СГ и предполагаемыми положениями Сг ,Сг ; хг,уг и хг,уг - координаты центров левого и правого глаза соответственно.
Если нормализованное значение ошибки меньше или равно 0.025, предполагаемый центр глаза является положением, ближайшим к фактическому центру глаза. Если нормализованное значение ошибки меньше или равно 0.05, предполагаемое положение центра гла-
О О
CD 4
Рис. 1. Иллюстрация критерия нормализованной ошибки [12]
за находится в пределах фактического зрачка. Нормализованное значение ошибки указывает на расположение в границах радужной оболочки, если оно меньше или равно 0.10, и, наконец, на расстоянии между центром глаза и уголком глаза, если оно меньше или равно 0.25. Таким образом, подход, который следует использовать для отслеживания взгляда, должен не только обеспечивать высокую точность при е < 0.25, но и должен давать хорошие результаты при е < 0.05. Ошибка чуть меньше или равная 0.25 будет указывать только на то, что расчетный центр может находиться внутри глаза, но эту оценку нельзя использовать для точного отслеживания взгляда.
Качественные результаты сравнения последних наиболее известных алгоритмов локализации центра зрачка глаз показаны в Таблице 1. В случае, если точность для e для некоторых алгоритмов не указана, это стоит рассматривать как то, что данный алгоритм не может быть корректно использован при выбранной e, либо нет каких-либо сведений о полученных результатах
для выбранной нормализованной ошибки от авторов алгоритма.
Сравнивая полученные результаты можно сделать вывод, что наибольшую точность имеют алгоритмы: Cristinacce et al., 2004 для значений e < 0.1 и e < 0.15; Turkan et al., 2007 для e < 0.2 и e < 0.25; Valenti and Gevers, 2008 для e < 0.05. Однако, можно так же заметить, что для других значений нормализованной ошибки, эти алгоритмы уже дают заметные просадки в точности на фоне остальных алгоритмов. Другими словами они являются лучшими в узком спектре условий, в то время как для других уже имеют значительные просадки. Такого рода алгоритмы не могут быть использованы для системы мониторинга водителя, так как уже было сказано что необходим максимально широкий спектр условий, в которых алгоритм будет работать максимально точно и стабильно. Примером такого метода с широким спектром рабочих условий является алгоритм Fabian and Barth, 2011. Можно заметить, что этот метод работает в среднем только на 2% хуже, чем лучший метод для каж-
Таблица 1. Значение нормализованной ошибки для наиболее известных алгоритмов локализации центра зрачка глаз [12]
Метод e « 0.05 e « 0.1 e « 0.15 e « 0.2 e « 0.25
Asadifard and Shanbezadeh, 2010 [2] 47.0% 86.0% 89.0% 93.0% 96.0%
Asteriadis et al., 2006 [3] 44.0% 81.7% 92.6% 96.0% 97.4%
Campadelli et al., 2006 [4] 62.0% 85.2% 87.6% 91.6% 96.1%
Cristinacce et al., 2004 [5] 57.0% 96.0% 96.5% 97.0% 97.1%
Hamouz et al., 2005 [6] 58.6% 75.0% 80.8% 87.6% 91.0%
Jesorsky et al., 2001 [7] 38.0% 78.8% 84.7% 87.2% 91.8%
Kroon et al., 2008 [8] 65.0% 87.0% - - 98.8%
Niu et al., 2006 [9] 75.0% 93.0% 95.8% 96.4% 97.0%
Turkan et al., 2007 [10] 18.6% 73.7% 94.2% 98.7% 99.6%
Valenti and Gevers, 2008 [11] 84.1% 90.9% 93.8% 97.0% 98.5%
Fabian and Barth, 2011 [12] 82.5% 93.4% 95.2% 96.4% 98.0%
дого e. Следовательно, метод Fabian and Barth, 2011 можно считать одним из лучших методов точной локализации центра глаза для системы помощи водителю. Кроме того, этот метод имеет значительно меньшую вычислительную сложность по сравнению с другими методами, поскольку не требует ни кластеризации, ни классификатора. Сравнивая методы, которые также не используют какую-либо схему обучения, метод Fabian and Barth, 2011 обеспечивает наилучшую точность (82,5% для e < 0,05). Для расположения радужной оболочки (e < 0,10) метод достигает второй лучшей точности (93,4%); только метод Cristinacce et al., 2004 дает значительное улучшение (96,0%) — однако это улучшение подразумевает, опять же, более высокую вычислительную сложность по сравнению с выбранным методом, который основан исключительно на скалярных произведениях. Для более
высоких нормализованных ошибок, например. e < 0.15, e < 0.20 или e < 0.25, алгоритм работает сравнимо с другими методами.
Выбранный метод точной локализации центра глаза с помощью градиентов (Fabian and Barth, 2011), основанный на признаках, может эффективно и точно определять, и отслеживать центры глаз на изображениях и видео с низким разрешением. Алгоритм следует многоступенчатой схеме, которая обычно используется для локализации центра глаза на основе признаков: сначала применяется детектор лиц; на основе местоположения лица выделяются грубые области глаз, которые затем используются для точной оценки центра каждого глаза.
Алгоритм получает простую целевую функцию, которая состоит только из скалярных произведений. Максимум этой функции соответствует месту пересечения большинства век-
Таблица 2. Ранг значений нормализованной ошибки для наиболее известных алгоритмов локализации центра зрачка глаз [12]
Метод e « 0.05 e « 0.1 e « 0.15 e « 0.2 e « 0.25 Ранг
Asadifard and Shanbezadeh, 2010 [2] 8 6 7 5 9 7
Asteriadis et al., 2006 [3] 9 8 6 4 5 6.4
Campadelli et al., 2006 [4] 5 7 8 6 8 6.4
Cristinacce et al., 2004 [5] 7 1 1 2 6 3.4
Hamouz et al., 2005 [6] 6 10 10 7 11 8.8
Jesorsky et al., 2001 [7] 10 9 9 8 10 11
Kroon et al., 2008 [8] 4 5 - - 2 3.6
Niu et al., 2006 [9] 3 3 2 3 7 3.6
Turkan et al., 2007 [10] 11 11 4 1 1 5.6
Valenti and Gevers, 2008 [11] 1 4 5 2 3 3
Fabian and Barth, 2011 [12] 2 2 3 3 4 2.8
Рис. 2. Искусственный пример с темным кругом на светлом фоне, похожим на радужную оболочку и склеру [12]
торов градиента и, следовательно, центру глаза. Геометрически центр круглого объекта можно обнаружить, анализируя векторное поле градиентов изображения, которое ранее использовалось для локализации центра глаза. Пусть c — возможный центр, а gi — вектор градиента в положении xi. Тогда нормированный вектор смещения di должен иметь ту же ориентацию (кроме знака), что и градиент gi.
Алгоритм использует векторное поле градиентов (изображения), вычисляя скалярные произведения между нормализованными векторами смещения (отнесенными к фиксированному центру) и векторами градиента gi. Оптимальный центр ^ круглого объекта на изображении с позициями пикселей xi, i е {1,...,^:
argmaxji^Cdf^)2! [i2]
dj = ■
X: — С
X: - CI
, = 1 [12]
Векторы смещения di масштабируются к единице длины, чтобы получить одинаковый вес для всех позиций пикселей. Чтобы повысить устойчивость к линейным изменениям освещения и контраста, векторы градиента также должны быть масштабированы до единичной длины. Чтобы получить градиенты изображения, вычисляются частные производные, но другие методы вычисления градиентов изображения значимо не изменят поведение целевой функции.
9i
V
dxi dyi
) [12]
Поскольку зрачок обычно темнее по сравнению со склерой и кожей, применяется вес и/с для каждого возможного центра c таким образом, чтобы темные центры были более вероятными, чем светлые. Интеграция этого в целевую функцию приводит к:
1 Ы
argmaх-^ы^д^2 [12]
где и?с= I*(cx, cy) — значение серого в точке cy) сглаженного и инвертированного входного изображения I*. Изображения должны быть сглажены фильтром Гаусса, чтобы избежать проблем, возникающих из-за ярких выбросов, таких как отражения от очков. Значения новой целевой функции достаточно нечувствительны к изменению параметров фильтра нижних частот. Предлагаемое суммирование взвешенных квадратов точечных произведений дает точные результаты, если изображение содержит глаз. Однако при применении многоступенчатой схемы шероховатые области глаз иногда содержат и другие структуры, такие как волосы, брови или очки. В частности, волосы и сильные отражения в очках показывают значительные
градиенты изображения, которые не имеют той же ориентации, что и градиенты изображения зрачка и радужной оболочки, следовательно, оценка глазных центров может быть неправильной. Поэтому алгоритм предлагает шаг постобработки для преодоления этих проблем. Он применяет порог к целевой функции, основанный на максимальном значении, и удаляет все оставшиеся значения, которые связаны с одной из границ изображения. Затем определяет максимум оставшихся значений и использует его положение в качестве центральной оценки. Значение этого порога не оказывает существенного влияния на оценки центра, и составляет 90% от общего максимума.
На основании метода точной локализации центра глаза с помощью градиентов (Fabian and Barth, 2011) реализован собственный алгоритм системы помощи водителю, состоящий из следующих шагов:
1. Захват изображения из видеопотока и перевод его в оттенки серого.
2. Поиск на изображении лиц человека, методом Виолы-Джонсона.
3. Выделение на найденных лицах областей левого и правого глаза.
4. Локализация центров зрачков глаз с помощью градиентов.
5. Определение геометрических центров областей левого и правого глаза.
6. Расчёт расстояния между геометрическим и фактическим центром для каждого глаза.
7. Увеличение или уменьшение счетчика в зависимости от найденного расстояния.
8. В зависимости от значения счетчика включение звукового сигнала и переход к началу цикла.
ОПРЕДЕЛЕНИЕ УСТАЛОСТИ ЧЕЛОВЕКА С ПОМОЩЬЮ СВЕРТОЧНОЙ НЕЙРОННОЙ СЕТИ
Как было сказано ранее, на сегодняшний день мы обладаем огромным количеством статистических данных и примеров, благодаря которым можно не ограничиваться каким-либо конкретным критерием, а рассматривать картину в целом и находить искомые закономерности с помощью обучения искусственных нейронных сетей. Нейронные сети специализирующейся на обработке изображений и видео называются сверточными. Такие сети подходят для улавливания локального контекста, когда поток информации в пространстве не прерывается, т.е. ее носители находятся в непосредственной близости друг от друга. Зачастую сверточные нейронные сети используются для решения двух задач: распознавания и классификации изображений.
Используемая в данном алгоритме нейронная сеть взята из общедоступной библиотеки Keras и обучена на 7000 изображений глаз человека с разной степенью освещенности и разными объектами на лице, по типу волос и очков. Все входные данные были вручную промаркированы как, "Открыты" или "Закрыты" для реализации модели обучения с учителем. Такая модель обучения выбрана из-за ограниченности выходного результата, классификатор получая на вход изображение глаз человека выдает лишь два возможных результата, закрыты глаза на изображении или открыты, а так же из-за сравнительно небольшого объема данных необходимых для обучения.
Нейронная сеть в данном случае обучена для классификации областей глаз человека на их степень закрытости и имеет следующую структуру:
1. Сверточный слой; 32 узла, размер ядра 3х3
2. Сверточный слой; 32 узла, размер ядра 3х3
3. Сверточный слой; 64 узла, размер ядра 3х3
4. Полностью связанный слой; 128 узлов
В качестве функции активации для сверточ-ных слоев была выбрана функция Relu, так как она может быть реализована с помощью простого, не затратного по ресурсам, порогового преобразования матрицы активаций в нуле, отсекает ненужные детали в канале при отрицательном выходе, а так же приводит к прореживанию весов. Данная функция выражается формулой: /(s) = max(0, s).
Для выходного слоя была выбрана функция Softmax. Это функция, превращающая наборы чисел в вероятности, причем сумма которых равна единице. Функция выводит в качестве результата вектор, представляющий распределения вероятностей списка потенциальных результатов. Именно такой результат и необходим в выходном слое сверточной нейронной сети для предоставления вероятности закрытия глаз на входном изображении.
На основании получившегося классификатора так же был предложен алгоритм системы помощи водителю, включающий в себя следующие шаги:
1) Захват изображения с камеры и обнаружение на нем лиц методом Виолы-Джонса.
2) Обнаружение области интереса в виде глаз на ранее обнаруженных лицах, так же методом Виолы-Джонса.
3) Форматирование области интереса до заданного для нейронной сети размера входного изображения.
4) Передача области интереса на вход классификатора и определение закрытости глаз на изображении.
5) Подсчет количества кадров на котором человек в поле зрения камеры посчитался сонливым.
6) Принятие решения о включении сигнальной тревоги для предупреждения аварийной ситуации.
СРАВНЕНИЕ ПРЕДЛОЖЕННЫХ ВАРИАНТОВ АЛГОРИТМОВ СИСТЕМ ПОМОЩИ ВОДИТЕЛЮ
В целях сравнения были оценены две ранее описанные системы оценки физического состояния водителя: первая - на основе локализации центра глаза с помощью градиентов (Fabian and Barth, 2011) и дальнейшего слежения за направление взгляда; вторая - на основе обученной модели сверточной нейронной сети.
В качестве меры сравнения были выбраны следующие статистические критерии обнаружения:
• Вероятность правильного обнаружения -вероятность, выраженная в процентах, что решение о степени закрытости глаз на изображении окажется полностью верным.
• Вероятность ложной тревоги - вероятность, выраженная в процентах, что система примет решение о полном закрытии глаз человека на изображении при их действительно нормальном открытом состоянии.
Для вычисления выбранных статистических критериев обе системы были проверены на заранее подготовленной базе примеров лиц людей, при разных условиях съемки, освещения и различных усложняющих факторах. В качестве основы данной базы была выбрана база данных BioID. Так как база данных BioID состоит из лиц с открытыми глазами, для полноты оценивания итоговая база данных была дополнена еще 1500 изображе-
Рис. 3. Пример входных обучающих данных
ниями лиц с полностью закрытыми глазами при таких же условиях съемки и композиции. Такой набор изображений в полной мере позволят рассчитать выбранные статистические критерии по следующим формулам для каждой системы:
РПо = ^^ * Ю0%;
Рлт —
3021 плт 1521
* 100%,
где ппо и плт - количество правильно оцененных изображений и количество изображений неправильно оцененных как «закрыто» при их действительно «открыто» состоянии для каждой системы.
Сравнение проводилось следующим образом: на вход каждой системы поочередно подавались все изображения из подготовленной базы данных и записывался результат работы проверяемой системы, после чего все результаты сравнивались с эталонными оценками изображений, выполненных в ручную.
Результат проведенной оценки:
• Для системы на основании локализации центра зрачка глаза человека:
Рпо = 97,45 % , Рлт = 0,63 %.
• Для системы на основании сверточной нейронной сети:
РП0 = 94,67 % , Рлт = 2,02 %.
ЗАКЛЮЧЕНИЕ
В данной работе были реализованы возможные варианты алгоритмов определения сонливости человека для системы помощи водителю, а так же оценены и сравнены по критериям правильного обнаружения и ложной тревоги предложенные варианты алгоритмов. Разработанные алгоритмы выполнены с использованием средств компьютерного зрения и библиотеки OpenCV языков программирования C++ и Python. Все методы в режиме реального времени непрерывно обрабатывают входящий видеопоток данных, определяют наличие человека в кадре и степень его усталости по разным физическим критериям, после чего принимают попытку восстановления концентрации человека в случае критической ситуации по средствам зу-кового уведомления. Проведенное оценивание показало, что оба алгоритма обладают хорошей точностью и надежностью результата, а так же благодаря большому объему проверенных изображений можно утверждать, что оба алгоритма способны работать в широком спектре возможных условий съемки. Сравнение же в свою оцередь показало, что система на основе локализации центра зрачка глаза человека является более точной и надежной, по сравнению с системой на основе сверточной нейронной сети.
СПИСОК ЛИТЕРАТУРЫ
1. Гонсалес Р. Цифровая обработка изображений / Р. Гонсалес, Р. Вудс - 3-е изд., испр. и доп. - Москва: Техносфера, 2012. - 1104 с.
2. Asadifard, M. and Shanbezadeh, J. (2010). Automatic adaptive center of pupil detection using face detection and cdf analysis. In Proceedings of the IMECS, volume I, pages 130-133, Hong Kong. Newswood Limited.
3. Asteriadis, S., Asteriadis, S., Nikolaidis, N., Hajdu, A., and Pitas, I. (2006). An eye detection algorithm using pixel to edge information. In Proceedings of the 2nd ISCCSP, Marrakech, Morocco. EURASIP.
4. Campadelli, P., Lanzarotti, R., and Lipori, G. (2006). Precise eye localization through a general-to-specific model definition. In Proceedings of the 17th BMVC, volume I, pages 187-196, Edingburgh, England.
5. Cristinacce, D., Cootes, T., and Scott, I. (2004). A multistage approach to facial feature detection. In Proceedings of the 15th BMVC, pages 277-286, England.
6. Hamouz, M., Kittler, J., Kamarainen, J., Paalanen, P., Kalviainen, H., and Matas, J. (2005). Feature-based affine-invariant localization of faces. IEEE Transactions on PAMI, 27(9):1490.
7. Jesorsky, O., Kirchberg, K., and Frischholz, R. (2001). Robust face detection using the Hausdorff distance. In Proceedings of the 3rd AVBPA, LNCS, pages 90-95, Halmstad, Sweden. Springer
8. Kroon, B., Hanjalic, A., and Maas, S. (2008). Eye localization for face matching: is it always useful and under what conditions? In Proceedings of the 2008 CIVR, pages 379-388, Ontario, Canada. ACM.
9. Niu, Z., Shan, S., Yan, S., Chen, X., and Gao, W. (2006). 2d cascaded adaboost for eye localization. In Proceedings of the 18th IEEE ICPR, volume 2, pages 1216- 1219, Hong Kong. IEEE.
10. Turkan, M., Pardas, M., and Cetin, A.E. (2007). Human eye localization using edge projections. In Proceedings of the 2nd VISAPP, pages 410-415. INSTICC.
11. Valenti, R. and Gevers, T. (2008). Accurate eye center location and tracking using isophote curvature. In Proceedings of the CVPR, pages 1-8, Alaska. IEEE.
12. Fabian Timm and Erhardt Barth (2011). Accurate eye centre localisation by means of gradients. VISAPP 2011 - International Conference on Computer Vision Theory and Applications.
THE DEVELOPMENT AND RESEARCH OF ALGORITHMS FOR DRIVER'S DROWSINESS DETECTION
© 2024 R.E. Kopeykin, I.M. Vavilov
Bauman Moscow State Technical University (National Research University), Moscow, Russia
The article discusses possible implementations of driver assistance system algorithms for determining his physical condition behind the wheel while driving, their evaluation and comparison. The proposed algorithms are based on the use of computer vision tools and consider various possible physical criteria for human fatigue.
Keywords: Driver assistance system, computer vision, neural networks, machine learning, pattern
detection, classification.
DOI: 10.37313/1990-5378-2024-26-2-144-151
EDN: UCLLUG
REFERENCES
1. Gonsales R. Cifrovaya obrabotka izobrazhenij / R. Gonsales; R. Vuds - 3-e izd., ispr. i dop. - Moskva: Tekhnosfera, 2012. - 1104 s.
2. Asadifard, M. and Shanbezadeh, J. (2010). Automatic adaptive center of pupil detection using face detection and cdf analysis. In Proceedings of the IMECS, volume I, pages 130-133, Hong Kong. Newswood Limited.
3. Asteriadis, S., Asteriadis, S., Nikolaidis, N., Hajdu, A., and Pitas, I. (2006). An eye detection algorithm using pixel to edge information. In Proceedings of the 2nd ISCCSP, Marrakech, Morocco. EURASIP.
4. Campadelli, P., Lanzarotti, R., and Lipori, G. (2006). Precise eye localization through a general-to-specific model definition. In Proceedings of the 17th BMVC, volume I, pages 187-196, Edingburgh, England.
5. Cristinacce, D., Cootes, T., and Scott, I. (2004). A multistage approach to facial feature detection. In Proceedings of the 15th BMVC, pages 277-286, England.
6. Hamouz, M., Kittler, J., Kamarainen, J., Paalanen, P., Kalviainen, H., and Matas, J. (2005). Feature-
based affine-invariant localization of faces. IEEE Transactions on PAMI, 27(9):1490.
7. Jesorsky, O., Kirchberg, K., and Frischholz, R. (2001). Robust face detection using the Hausdorff distance. In Proceedings of the 3rd AVBPA, LNCS, pages 90-95, Halmstad, Sweden. Springer
8. Kroon, B., Hanjalic, A., and Maas, S. (2008). Eye localization for face matching: is it always useful and under what conditions? In Proceedings of the 2008 CIVR, pages 379-388, Ontario, Canada. ACM.
9. Niu, Z., Shan, S., Yan, S., Chen, X., and Gao, W. (2006). 2d cascaded adaboost for eye localization. In Proceedings of the 18th IEEE ICPR, volume 2, pages 1216- 1219, Hong Kong. IEEE.
10. Turkan, M., Pardas, M., and Cetin, A.E. (2007). Human eye localization using edge projections. In Proceedings of the 2nd VISAPP, pages 410-415. INSTICC.
11. Valenti, R. and Gevers, T. (2008). Accurate eye center location and tracking using isophote curvature. In Proceedings of the CVPR, pages 1-8, Alaska. IEEE.
12. Fabian Timm and Erhardt Barth (2011). Accurate eye centre localisation by means of gradients. VISAPP 2011 - International Conference on Computer Vision Theory and Applications.
Roman Kopeykin, Associate Professor of the SM5 Department. E-mail: rkopeykin@bmstu.ru Ilya Vavilov, Student of the SM5 Department. E-mail: vavilovim@student.bmstu.ru
