CC BY
44
Разработка модели машинного обучения для оценки состояния глаз
водителя
Н.А. Андриянов, Е.А. Орлов Финансовый университет при Правительстве Российской Федерации
Аннотация: В настоящее время особое внимание уделяется системам искусственного интеллекта на транспорте. Одним из актуальных направлений является разработка автономных автомобилей. Однако существует и промежуточный подход, когда управление является не полностью автоматическим и автоматизированным. В таких системах человеку отводится важная роль, однако система, анализируя данные из окружающей среды, позволяет формировать разного рода рекомендации. Более того, такие системы позволяют работать на предупреждение в некоторых ситуациях. В частности, некоторые системы мониторинга водителей позволяют обнаруживать факт курения за рулем, отвода глаз от дороги. В данной работе особое внимание уделяется системе анализа состояния глаз водителя. В первую очередь, результаты такого анализа могут быть использованы для определения факта засыпания. Однако, анализируя частоту морганий, можно прогнозировать сон. Тем не менее, для построения такой системы необходимы вычислительные мощности. В данной работе быстродействие достигается за счет применения каскадов Хаара и метода Виолы-Джонса в обнаружении глаз. Обнаруженные на видео глаза представляют собой изображения гораздо меньшего размера по сравнению с целым кадром видеопоследовательности, за счет чего достигается высокая производительность при их обработке сверточной сетью на следующем этапе. Структурно система состоит из двух нейронных сетей, параллельно работающих для левого и правого глаза. Полученные значения полноты достигают порядка 90%. Ключевые слова: компьютерное зрение, искусственный интеллект, система безопасности, детектор лиц, глубокое обучение, пропуск цели, доля верных распознаваний, мониторинг водителей, распознавание глаз, метод Виолы-Джонса, каскады Хаара, оптимизация.
Введение
Среди трендов в глубоком обучении сегодня выделяют области, относящиеся к обработке естественного языка, обучение с подкреплением и компьютерное зрение. При этом нельзя переоценить важность последней сферы. Действительно, человек получает около 70% информации об окружающем мире с помощью глаз. Интересно, что системы компьютерного зрения способны выполнять анализ изображений и видео человека в ряде прикладных задач: от медицины до развлечений. К таким задачам относятся обнаружение, распознавание, генерация контента. В частности, широкое распространение получила задача распознавания лиц [1], заключающаяся в
сопоставлении моментальной фотографии идентифицируемого с некими изображениями из базы. Задача распознавания множества людей требует значительных мощностей и глубоких моделей. Однако в ряде случаев требуется только определение лица на изображении или его отдельных частей. Это значительно упрощает задачу. Более того, задача обнаружения глаз на изображении является актуальной как для систем прокторинга (отведение глаз во время экзамена), для профессиональных фотографов (удаление эффектов), так и для систем мониторинга водителя. Статистика [2] говорит о том, что человеческий фактор стал причиной подавляющего большинства дорожно-транспортных происшествий, а 20% аварий и вовсе связаны с тем, что водитель заснул.
В то же время популярные сегодня алгоритмы распознавания образов [3-5] на базе сверточных сетей обеспечивают высокие характеристики распознавания и обнаружения. Существующие алгоритмы обнаружения [6, 7] позволяют строить эффективные сети, обеспечивающие высокие значения метрик обнаружения [8, 9]. Таким образом, совмещение простых алгоритмов машинного обучения на фазе первичной обработки и предобученных, т.е. с применением трансферного обучения, глубоких бинарных моделей в перспективе позволяет создать эффективный и производительный алгоритм, анализирующий видеопоследовательность с установленной в салоне автомобиля камеры и определяющий состояние усталости и сонливости. По результатам работы такой сети будет возможно формирование противодействующего сну воздействия, например, формирование громкого аудиосигнала. Далее рассмотрим существующие системы мониторинга водителей, методы и базы для обучения, а также результаты разработки и оценки алгоритма на базе метода Виолы-Джонса и сверточных нейронных сетей.
Системы автоматического мониторинга водителей
Аварии, связанные с засыпанием водителя, занимают большую долю в общем числе аварий в мире, поэтому исследователей и разработчиков довольно давно интересует вопрос предотвращения таких ситуаций. В частности, разными автомобильными компаниями был создан целый спектр решений: от определения закономерностей при поведении водителя до установки систем медицинских датчиков с целью анализа активности мозга и других биологических функций человека во время вождения. Многие из существующих алгоритмов базируются на статистических методах и классическом машинном обучении. Однако во всем многообразии методов анализа состояния водителя, можно выделить три большие группы.
Первый подход основан на анализе поведения транспортного средства. Большой вклад в развитие данного направления внесли Макдональд и его коллеги [10]. Авторами был представлен контекстный и временной алгоритм, анализирующий угол поворота руля, скорость транспортного средства и положение педали газа. Снимаемые показатели подаются на вход байесовской сети, выходом которой является бинарное состояние: поведение водителя похоже на поведение в состоянии сонливости, либо нет. Предложенный подход обеспечил меньшее число ложных срабатываний по сравнению с методами PERCLOS [11], прогнозирующими сонливость по движению век. В результате проведенного исследования авторы приходят к выводу, что важное значение имеет контекст анализируемой ситуации. В связи с этим требуется буфер памяти. В частности, предложено использовать данные за последние 10 секунд, что позволяет с большей точностью понимать, сигнализирует ли текущее поведение водителя о риске его ухода с полосы движения в связи с засыпанием.
Второй подход является сложно реализуемым, поскольку он связан с анализом показателей жизненно важных функций водителя. Такие сигналы
получают непосредственно из мозговых волн и показаний электроэнцефалограмм (ЭЭГ). Вей и соавторы [12] предложили использовать интерфейсы ЭЭГ без волос. Они более удобные для установки и гораздо менее навязчивы по сравнению с современными медицинскими лабораторными интерфейсами ЭЭГ. При этом, влияние на работу таких систем было незначительным. Недостатком предложенного в [12] метода является то, что сама ЭЭГ неспособна определить все стадии сонливости. В связи с этим, в [13] Картшем и коллегами предложено дополнительное использование инерциальных измерительных устройств. При этом с точностью 95% определяются 5 классов сонливости. Таких высоких показателей удалось добиться за счет комплексирования данных ИИУ и ЭЭГ. Но недостатком ЭЭГ оставалось требование по питанию измерительного устройства. В [13] также была реализована параллельная платформа сверхнизкого энергопотребления. Срок автономной работы устройств составил 46 часов. Однако такие системы создают дополнительный дискомфорт для водителя. Татено и соавторы [14] предлагают более простую систему, не требующую анализа данных ЭЭГ. Она основана на мониторинге сердечного ритма водителя, по которому также возможно выделение фактов сонливости. Однако данный подход вызывает вопросы у скептиков, поскольку в целом сердечные ритмы могут быть достаточно разнообразны.
Третий и, возможно, самый перспективный подход базируется на применении систем компьютерного зрения. Прорывные открытия в области глубокого обучения позволили исследователям получить высокоточные модели обнаружения и распознавания. Приложения на базе компьютерного зрения широко распространены в медицине [15] и сельскохозяйственных науках [16]. Визуальный анализ видеозаписей лица человека за рулем показал, что происходят заметные изменения при накоплении усталости водителя. Работа [17] предлагает по изображениям с камеры анализировать
угол кривизны века. По мнению авторов, используя данный признак, можно с достаточной уверенностью формировать прогнозы о засыпании человека. Недостатком предложенного подхода является плохая работа алгоритма в условиях слабой освещенности. Однако именно в ночное время и происходит больше всего засыпаний за рулем. Рассмотренные ранее методы ориентированы на достаточно сильные вычислительные устройства. Но в условиях мобильности движения Шейкилом и соавторами [18] предложена специализированная под мобильные устройства архитектура MobileNet-SSD, обученная под задачу выявления сонливости. В [18] показано, что при объеме обучающих данных 350 изображений модель обеспечивает среднюю точность 84%. Преимуществом стала возможность развернуть такую систему на Android-устройствах, однако столь невысокая точность не позволяет массово эксплуатировать данное решение. В работе [19] было лишь добавлено больше признаков, значительно усложняющих модель. Помимо глаз водителей, система анализирует рот, положение головы. Однако это незначительно повышает эффективность модели.
В результате проведенного обзора следует отметить, что наиболее перспективным является подход с применением глубокого обучения и компьютерного зрения. В нем возникает две основных задачи: повышение метрик качества моделей и оптимизация моделей. В данной статье оптимизация достигается за счет работы на первом этапе детектора Виолы-Джонса. В связи с этим, основное внимание уделяется качественным метрикам работы алгоритма на втором этапе при использовании сверточных сетей.
Методы и датасеты для распознавания лиц и глаз
Для получения хорошей модели требуются хорошие данные. В поставленной задаче такими данными будут изображения глаз, открытых и закрытых. Качественного решения по детекции глаз можно добиться, если
М Инженерный вестник Дона, №5 (2022) ivdon.ru/ru/magazine/arcliive/n5y2022/7633
взять принципы работы системы идентификации лиц. На рис. 1 представлена
общая структура такой системы [20].
Рис. 1. - Общий процесс распознавания лиц на изображении
Именно на первом этапе предобработка связана с выделением лица на изображении. Обычно для этого используются метод Виолы-Джонса, метод HOG (гистограмма ориентированных градиентов) и метод главных компонент.
Существует множество методов, позволяющих выполнить извлечение признаков на втором этапе. Как правило, здесь не используются модели глубокого обучения для обеспечения высокой скорости обработки. Чаще всего это поиск ключевых точек или построение собственного лица (по аналогии с собственными векторами матрицы). Более подробно с различными методами второго этапа можно в работе [20].
Наконец, последний этап обработки связан с запуском признаков (а не целого исходного изображения) на модель машинного обучения. На выходе получаем лейбл класса. По большому счету нужно всего лишь найти ближайший вектор признаков из имеющейся базы. Если разница меньше некоторого порога, то именно такой класс и присваивается анализируемому лицу. В противном случае фиксируется обнаружение неизвестного человека.
Рассмотрим 3 группы методов идентификации лиц более подробно [21]. К первой группе относятся методы так называемого структурного подхода. Система (лицо) разбивается на множество элементов (глаза, нос, уши и т.п.), и для этих элементов строятся описательные конструкции.
Вторая группа методов характеризуется холистическим подходом. В рамках такого подхода весь объект (лицо) рассматривается, как единое целое. Основная задача здесь спроецировать имеющийся объект в пространство меньшей размерности, поэтому в данной группе методов часто применяются модели из факторного анализа.
Наконец, существует и смешанный подход, который использует идеи первой и второй группы методов. Как правило, применение гибридного подхода усложняет систему, но позволяет повысить точность распознавания. Особенно следует отметить систему CNN-LSTM-ELM [22], обеспечивающую не только идентификацию лиц, но и распознавание активности человека.
Для обучения моделей идентификации лиц или состояния глаз необходимы базы данных с лицами. Существует множество таких датасетов,
как с лицами (рис. 2), так и с глазами (рис. 3).
I БЕ1*ЕТ I АИ
СЖЬ I Уа1е IРНРГО
Рис. 2. - Базы изображений лиц
\1RLEyos FacialImages Dataset А Еуе
Dataset В Еуе НРСЮ EyeOpenDetection
Рис. 3. - Базы изображений глаз Используя только часть данных из представленных датасетов, возможно получить адекватные детекторы лиц и глаз. Однако для большего
М Инженерный вестник Дона, №5 (2022) ivdon.ru/ru/magazine/arcliive/n5y2022/7633
упрощения модели и, как следствие, повышения производительности, в нашем пайплайне этап обнаружения глаз будет заменен этапом выделения прямоугольных областей из обнаруженного методом Виолы-Джонса лица. Это целесообразно, поскольку в подавляющем большинстве случаев наблюдаются одни и те же пропорции.
Обучение нейронной сети по готовым датасетам
Смена формулировки задачи распознавания лиц на задачу распознавания состояния глаз позволяет перерисовать схему,
представленную на рис. 1, в виде схемы, представленной на рис. 4.
Рис. 4. - Общий процесс распознавания состояния глаз Важно отметить, что в схеме имеется две предобученных модели: одна распознает состояния левого глаза, другая - состояния правого глаза.
Следует отметить, что обучение таких нейронных сетей происходило независимо друг от друга. Такой подход позволил эффективно использовать функцию активации сигмоид при задаче бинарной классификации, поскольку один глаз может иметь только 2 состояния. Объем каждой обучающей выборки составил 4 000 глаз, разделенных в равной пропорции на открытые и закрытые глаза. Для получения образцов использовались как известные базы лиц и глаз, так и обработка изображений с видеокамеры с использованием метода Виолы-Джонса и каскадов Хаара. Еще 2000
изображений (по 500 на каждый вариант: левый открытый, левый закрытый, правый открытый, правый закрытый) составили тестовую выборку. Все изображения были приведены к размеру 28x28 и представлены в градациях серого. Это позволило значительно повысить не только скорость обучения, но и инференса [23].
Для обучения «левой» и «правой» моделей использовались 2 архитектуры сверточных нейронных сетей. Первая обучалась с нуля, включала в себя 5 слоев свертки с 128, 64, 32, 16 и 8 ядрами. Вторая сеть обучалась на базе трансферного обучения сети VGG-19 [24], что позволило значительно ускорить процесс обучения.
На рис. 5 и 6 показаны кривые обучения относительно метрики доли верных распознаваний (accuracy). Рис. 5 соответствует левому глазу, рис. 6 -правому. Сплошная линия отражает работу 5-слойной сети, а штриховая -сети архитектуры VGG.
1 5 10 15 20 25 30 35 40 45 50 Epochs
Рис. 5. - Кривые обучения (левый глаз)
--VGG-19
1 5 10 15 20 25 30 35 40 45 50
Epochs
Рис. 6. - Кривые обучения (правый глаз) Глядя на представленные графики, можно сделать вывод, что применение трансферного обучения в задаче распознавания состояния глаз
обеспечивает гораздо большую эффективность и более быструю сходимость по сравнению с обучением с нуля.
Отметим, что для тестовой выборки происходит незначительное снижение доли верных распознаваний. Результаты оценки метрики Accuracy на тестовых данных представлены в таблице №1.
Таблица № 1
Доля правильных распознаваний
Сеть Глаз Доля верных распознаваний
VGG-19 Левый 0,906
VGG-19 Правый 0,911
5 Layer CNN Левый 0,792
5 Layer CNN Правый 0,811
Рассмотрим более подробно метрику полноты. Это связано с тем, что требуется оценить, насколько полно модель обнаруживает состояния закрытости. Данная метрика называется, как правило, recall, и может быть вычислена по формуле (1).
TP
recall =- , (1)
TP + FN
где TP - количество правильно распознанных изображений закрытых глаз, а FN - количество изображений с закрытыми глазами, распознанных как изображения с открытыми глазами.
Таблица №2 показывает оценку вероятности ошибки первого рода (пропуск закрытого состояния глаз), как разницу между 1 и полнотой. Анализ результатов таблицы №2 позволяет сделать вывод о том, что примерно в 2-2,5 раза удается уменьшить ошибку первого рода (относительно закрытых глаз) в случае применения трансферного обучения.
Таблица № 2
Вероятность ошибки первого рода
Сеть Глаз Вероятность ошибки
VGG-19 Левый 0,093
VGG-19 Правый 0,089
5 Layer CNN Левый 0,225
5 Layer CNN Правый 0,211
Кроме того, представленные результаты показывают, что вероятность ошибки для каждого глаза остается порядка 9%. В связи с этим требуется усложнение модели.
Обработка видео и примеры
Проект был реализован на языке Python. Для тестирования предложенного алгоритма к ноутбуку была подключена веб-камера Bluesonic. Съемка велась в дневных условиях. Работа модели VGG-19 в различных условиях представлена на рис. 7-9.
Рис. 7. - Распознавание состояния «оба глаза открыты»
• ЕуеБ - □ х
Рис. 9. - Распознавание состояния «Оба глаза закрыты»
Отметим, что для оценки эффективности обработки видео, было сделано 200 снимков во время анализа. Дальше применительно к этим снимкам были распознаны состояния для каждого глаза. В результате экспертного анализа полученных кадров получены верные метки. Результаты по доле верных распознаваний оказались такими, как представлено в таблице №3.
Таблица № 3
Эффективность модели при обработке видео
Сеть Глаз Accuracy rate
VGG-19 Левый 0,877
VGG-19 Правый 0,869
5 Layer CNN Левый 0,704
5 Layer CNN Правый 0,733
Представленные в таблице №3 результаты подтверждают большую устойчивость модели VGG-19. При этом алгоритм на базе обученной с нуля сети работает быстрее.
Заключение
Был проведен обзор существующих методов мониторинга состояния водителей. Особое внимание уделено методам компьютерного зрения. На базе системы идентификации лиц предложен метод обнаружения глаз на изображении. На втором этапе предложено использовать сверточные нейронные сети. Проведенное исследование показало, что трансферное обучение с помощью сети VGG-19 превосходит по метрикам доли верных распознаваний и полноты сеть, обученную с нуля. Однако результаты оценки ошибки первого рода при анализе закрытости глаз требуют дальнейшего улучшения, поскольку составляют порядка 9%. Для этого могут быть использованы более сложные модели. Кроме того, алгоритм в состоянии выполнять работу в режиме реального времени.
Благодарности
Работа выполнена при поддержке гранта РФФИ, Проект №19-29-09048.
Литература
1. Визильтер Ю.В., Горбацевич В.С., Моисеенко А.С. Одноэтапный детектор лиц и особых точек на цифровых изображениях // Компьютерная оптика. 2020. Т. 44, № 4. С. 589-595. DOI: 10.18287/2412-6179-CO-674.
2. Камберова Н. 20% всех ДТП связаны с засыпанием за рулем // Казань. 2017. URL: kazan-journal.ru/news/staraya-lenta-novostey/20-vseh-dtp-svyazanyi-s-zasyipaniem-za-rulem. (Дата обращения: 10.03.2022).
3. Andriyanov N., Andriyanov D. Pattern Recognition on Radar Images Using Augmentation // Proceedings of 2020 Ural Symposium on Biomedical Engineering, Radioelectronics and Information Technology, USBEREIT 2020, Institute of Electrical and Electronics Engineers Inc., 2020. P. 289-291. DOI: 10.1109/USBEREIT48449.2020.9117669.
4. Wang Sh., Yin Sh., Hao L., Liang G. Multi-task face analyses through adversarial learning // Pattern Recognition. 2021. vol. 114, P. 107837. DOI: 10.1016/j.patcog.2021.107837.
5. Choy Ch., Lee J., Ranftl R., Park J., Koltun V. High-Dimensional Convolutional Networks for Geometric Pattern Recognition // Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2020. P. 11227-11236.
6. Андриянов Н.А., Дементьев В.Е., Ташлинский А.Г. Обнаружение объектов на изображении: от критериев Байеса и Неймана-Пирсона к детекторам на базе нейронных сетей EfficientDet // Компьютерная оптика. 2022. Т. 46, № 1. С. 139-159. DOI: 10.18287/2412-6179-CO-922.
7. Andriyanov N.A., Vasil'ev K. K., Dement'ev V.E. Investigation of filtering and objects detection algorithms for a multizone image sequence // International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences - ISPRS Archives. 2019. vol. 42. P. 7-10. DOI: 10.5194/isprs-archives-XLII-2-W12-7-2019.
8. Beal J., Kim E., Tzeng E., Park D.H., Zhai A., Kislyuk D. Toward Transformer-Based Object Detection // arXiv preprint. 2020. URL: arxiv.org/abs/2012.09958. (Дата обращения 22.03.2022).
9. Yu H., Huang Y., Pi L., Zhang Ch., Li X., Wang L. End-to-end video text detection with online tracking // Pattern Recognition. 2021. vol. 113. P. 107791. DOI: 10.1016/j.patcog.2020.107791.
10. McDonald A.D., Lee J.D., Schwarz C., and Brown T.L. A contextual and temporal algorithm for driver drowsiness detection // Accident Analysis & Prevention, 2018. vol. 113, P. 25-37.
11. Jabber R. PERCLOS: A Valid Psychophysiological Measure of Alertness As Assessed by Psychomotor Vigilance // IEEE International Conference on Informatics. 1998. P. 102-112.
12. Wei C.S., Wang Y.T., Lin C.T., and Jung T.P. Toward Drowsiness Detection Using Non-hair-Bearing EEG-Based Brain-Computer Interfaces // IEEE Transactions on Neural Systems and Rehabilitation Engineering. 2018. P. 97-114.
13. Kartsch V.J., Benatti S., Schiavone P.D., Rossi D., and Benini L. A sensor fusion approach for drowsiness detection in wearable ultra-low-power systems // Information Fusion. 2018. vol. 43, P. 66-76.
14. Tateno S., Guan X., Cao R., and Qu Z. Development of Drowsiness Detection System Based on Respiration Changes Using Heart Rate Monitoring // 57th Annual Conference of the Society of Instrument and Control Engineers of Japan SICE 2018. 2018. P. 1664-1669.
15. Широканев А.С., Андриянов Н.А., Ильясова Н.Ю. Разработка векторного алгоритма по технологии CUDA для трехмерного моделирования процесса лазерной коагуляции сетчатки // Компьютерная оптика. 2021. Т. 45, № 3. С. 427-437. DOI: 10.18287/2412-6179-CO-828.
16. Рахматуллин И.А. Нейросети, глубокое обучение, машинное зрение в сельском хозяйстве. Краткий обзор для 2021 года // Препринт. 2021. URL:
preprints.ru/article/509, DOI: 10.24108/preprints-3112205. (Дата обращения 23.03.2022).
17. Khan M.T., Anwar H., Ullah F., Rehman A.U., Ullah R., Iqbal A., Lee B.H., and Kwak K.S. Smart Real-Time Video Surveillance Platform for Drowsiness Detection Based on Eyelid Closure // Wireless Communications and Mobile Computing. 2019. vol. 2019, P. 1-9.
18. Shakeel M.F., Bajwa N.A., Anwaar A.M., Sohail A., Khan A., and Rashid R. Detecting Driver Drowsiness in Real Time Through Deep Learning Based Object Detection // IEEE Conference on IoT. 2019. P. 283-296.
19. Celona L., Mammana L., Bianco S., and Schettini R. A multi-task CNN framework for driver face monitoring // IEEE International Conference on Consumer Electronics - Berlin, ICCE-Berlin. 2018. vol. 9. P. 1-4.
20. Коломиец В. Анализ существующих подходов к распознаванию лиц // Хабр. 2014. URL: habr.com/ru/company/synesis/blog/238129. (Дата обращения 20.03.2022).
21. Кузнецов В. Выделение и распознавание лиц // Техническое зрение. 2020. №5. С. 20-32.
22. Sun J., Fu Y., Li S., He J., Xu C., Tan L. Sequential human activity recognition based on deep convolutional network and extreme learning machine using wearable sensors // Journal of Sensors. 2018. vol. 9. P. 76-85.
23. Andriyanov N.A. Analysis of the Acceleration of Neural Networks Inference on Intel Processors Based on OpenVINO Toolkit // 2020 Systems of Signal Synchronization, Generating and Processing in Telecommunications (SYNCHROINFO). 2020. P. 1-5. DOI: 10.1109/SYNCHROINFO49631.2020.9166067.
24. Koonce B. VGG Network // Convolutional Neural Networks with Swift for Tensorflow. 2021. P. 35-50. DOI: 10.1007/978-1-4842-6168-2 4.
М Инженерный вестник Дона, №5 (2022) ivdon.ru/ru/magazine/arcliive/n5y2022/7633
References
1. Vizilter Yu.V., Gorbacevich V.S., Moiseenko A.S. Computer Optics. 2020. v. 44, № 4. pp. 589-595. DOI: 10.18287/2412-6179-CO-674.
2. Kamberova N. 20% vsekh DTP svyazany s zasypaniem za rulem [20% of all accidents are caused by falling asleep at the wheel]. Kazan. 2017. URL: kazan-journal.ru/news/staraya-lenta-novostey/20-vseh-dtp-svyazanyi-s-zasyipaniem-za-rulem (accessed 10/03/2022).
3. Andriyanov N., Andriyanov D. Proceedings of 2020 Ural Symposium on Biomedical Engineering, Radioelectronics and Information Technology, USBEREIT 2020, Institute of Electrical and Electronics Engineers Inc., 2020. P. 289-291. DOI: 10.1109/USBEREIT48449.2020.9117669.
4. Wang Sh., Yin Sh., Hao L., Liang G. Pattern Recognition. 2021. vol. 114, P. 107837. DOI: 10.1016/j.patcog.2021.107837.
5. Choy Ch., Lee J., Ranftl R., Park J., Koltun V. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2020. pp. 11227-11236.
6. Andriyanov N.A., Dementiev V.E., Tashlinskiy A.G. Computer Optics. 2022. v. 46, № 1. pp. 139-159. DOI: 10.18287/2412-6179-CO-922.
7. Andriyanov N.A., Vasil'ev K. K., Dement'ev V.E. ISPRS Archives. 2019. vol. 42. pp. 7-10. DOI: 10.5194/isprs-archives-XLII-2-W12-7-2019.
8. Beal J., Kim E., Tzeng E., Park D.H., Zhai A., Kislyuk D. arXiv preprint.
2020. URL: arxiv.org/abs/2012.09958. (Accessed 22/03/2022).
9. Yu H., Huang Y., Pi L., Zhang Ch., Li X., Wang L. Pattern Recognition.
2021. vol. 113. P. 107791. DOI: 10.1016/j.patcog.2020.107791.
10. McDonald A.D., Lee J.D., Schwarz C., and Brown T.L. Accident Analysis & Prevention, 2018. vol. 113, pp. 25-37.
11. Jabber R. IEEE International Conference on Informatics. 1998. pp. 102-112.
12. Wei C.S., Wang Y.T., Lin C.T., and Jung T.P. IEEE Transactions on Neural Systems and Rehabilitation Engineering. 2018. pp. 97-114.
13. Kartsch V.J., Benatti S., Schiavone P.D., Rossi D., Benini L. Information Fusion. 2018. vol. 43, pp. 66-76.
14. Tateno S., Guan X., Cao R., and Qu Z. 57th Annual Conference of the Society of Instrument and Control Engineers of Japan SICE 2018. 2018. pp. 16641669.
15. Shirokanev A.S., Andriyanov N.A., Ilyasova N.Yu. Computer Optics. 2021. v. 45, № 3. pp. 427-437. DOI: 10.18287/2412-6179-C0-828.
16. Rakhmatullin I.A. Nejroseti, glubokoe obuchenie, mashinnoe zrenie v sel'skom hozyajstve. Kratkij obzor dlya 2021 goda [Neural networks, deep learning, machine vision in agriculture. A brief overview for 2021]. Preprint. 2021. URL: preprints.ru/article/509 (accessed 23/03/2022). DOI: 10.24108/preprints-3112205.
17. Khan M.T., Anwar H., Ullah F., Rehman A.U., Ullah R., Iqbal A., Lee B.H., and Kwak K.S. Wireless Communications and Mobile Computing. 2019. vol. 2019, pp. 1-9.
18. Shakeel M.F., Bajwa N.A., Anwaar A.M., Sohail A., Khan A., and Rashid R. IEEE Conference on IoT. 2019. pp. 283-296.
19. Celona L., Mammana L., Bianco S., and Schettini R. IEEE International Conference on Consumer Electronics - Berlin, ICCE-Berlin. 2018. vol. 9. pp. 1-4.
20. Kolomiec V. Analiz sushchestvuyushchih podhodov k raspoznavaniyu lic [Analysis of existing approaches to face recognition]. Habr. 2014. URL: habr.com/ru/company/synesis/blog/238129. (Accessed 20/03/2022).
21. Kuznetsov V. Tekhnicheskoe zrenie. 2020. №5. pp. 20-32.
22. Sun J., Fu Y., Li S., He J., Xu C., Tan L. Journal of Sensors. 2018. vol. 9. pp. 76-85.
23. Andriyanov N.A. 2020 Systems of Signal Synchronization, Generating and Processing in Telecommunications (SYNCHROINFO). 2020. P. 15. DOI: 10.1109/SYNCHROINFO49631.2020.9166067.
24. Koonce B. Convolutional Neural Networks with Swift for Tensorflow. 2021. pp. 35-50. DOI: 10.1007/978-1-4842-6168-2_4.
