CC BY
58
УДК 004.891
DOI: 10.24412/2071-6168-2023-2-77-82
СИСТЕМА РАСПОЗНАВАНИЯ ДЕВИАНТНОГО ПОВЕДЕНИЯ В ВИДЕОПОТОКЕ С ИСПОЛЬЗОВАНИЕМ НЕЙРОННЫХ СЕТЕЙ И ДРУГИХ МЕТОДОВ МАШИННОГО
ОБУЧЕНИЯ
А.В. Козловский, В.И. Волощук, Я.Э. Мельник
Рассмотрены существующие проблемы, связанные с безопасностью торговых точек. Поставлена задача по реализации системы распознавания девиантного поведения с целью предотвращения краж в торговых точках. Исследованы существующие подходы выявления девиантного поведения с психологической, биологической и социологической точек зрения. Реализована методика выявления девиа-нтного поведения с использования методов машинного обучения. Предложен алгоритм покадрового анализа видеоданных, основанный на разработанной методике. Разработана архитектура главной нейронной сети, реализующая классификационный принцип и проведена оценка её эффективности. Разработаны детекторы, отвечающие за распознавание человека в потоке и определения его позы, основываясь на свёрточных нейронных сетях. Изучена возможность использования распознавания и идентификации лиц с цель обезличенного сбора данных.
Ключевые слова: интеллектуальная система, нейронная сеть, анализ видеоданных, девиант-ное поведение, распознавание, торговые точки.
Введение. Вопрос безопасности с каждым годом становится всё более насущным для различного рода предприятий и других социальных объектов, в том числе и торговых точек. Для их защиты используются устоявшиеся, знакомые многим, методы: сотрудники охраны, патрулирующие территорию, камеры видеонаблюдения, охватывающие большинство важных объектов, и датчики на выходе из торговых точек, сигнализирующие при определённых условиях.
К сожалению, во всех из вышеперечисленных способов есть ряд проблем, которые оставляют возможность злоумышленникам совершить задуманное. Последствием подобного исхода являются убытки у крупных владельцев торговых сетей.
Ещё одним неблагоприятным исходом может быть возможность нарушения безопасности посетителей и покупателей, которые также подвержены высокому риску при возможных девиантных действиях других посетителей, что, в свою очередь, повлечёт за собой ещё большие убытки и проблемы. Стоит также учитывать, что в роли злоумышленника может оказаться не только посетитель, но и сотрудник, у которого есть ещё больше возможностей для совершения преступления.
Таким образом, ставится вопрос о максимальном повышении эффективности защитных мер при наименьших тратах со стороны владельцев торговых точек. Такого соотношения можно достичь благодаря использованию уже принятых мер защиты в большинстве торговых точек, при этом делая возможным сведение человеческого фактора к минимально возможному. Предлагаемое решение предполагает использование камер видеонаблюдения, установленных в большинстве торговых точек в рамках реализации системы распознавания девиантного поведения в видеопотоке с использованием нейронных сетей и других методов машинного обучения.
Исследование существующих подходов распознавания девиантного поведения. В ходе исследования было рассмотрено множество подходов к выявлению девиантного поведения с психологической, биологической и социологической [1] точек зрения, исходя из чего были сделаны выводы касательно природы девиаций и способов их выявления.
В первую очередь, девиантное поведение может относительно с высокой точностью интерпретироваться в рамках психологии [2]. На это влияют жесты, мимика, тон голоса, движения, походка и т. д. Подобные элементы отлично подходят для предполагаемой системы за счёт того, что большинство методик психологического анализа можно выразить с помощью интеллектуальных методов анализа данных, в частности с помощью алгоритма машинного обучения. Ввиду того, что эти признаки можно распознать гораздо быстрее, чем в остальных рассматриваемых подходах, вопрос об использовании психологии в построении методики выявления девиантности [3] стоит довольно остро.
Дополнительно выявлению может помочь анализ с социальной [4] точки зрения. Э. Дюркгейм [5] (французский социолог и философ, основатель французской социологической школы и предшественник структурно-функционального анализа) в своей работе о причинах возникновения девиантного поведения упоминал теорию о том, что зачастую именно социум создаёт девиантное общество, которое, в свою очередь, создаёт девиантную личность. Однако данный подход довольно сложно интерпретировать к выявлению в алгоритме машинного обучения [6] Поэтому, исходя из рамок задачи, достаточно ограничиться набором сигнализирующих признаков, таких, как одежда посетителя, степень закрытости лица и тела, анализ связей между входящими в торговую точку посетителями и общий уровень настроения в данный момент в торговой точке.
Подобного рода подход может отлично послужить для подкрепления оценки вероятности наличия у конкретного посетителя девиантного поведения.
Биологический подход говорит о биометрических параметрах каждого человека: рост, вес, пол, возраст, состояние лица. Они дадут возможность оценить уровень физических возможностей человека в первые секунды его посещения магазина.
Таким образом, можно говорить о том, что различного рода аспекты из психологии, биологии и социологии применимы в методах машинного обучения и можно выделить как минимум 10 признаков для достаточно точной оценки девиантности.
Создание методики выявления девиантного поведения. После рассмотрения возможных признаков в теории девиаций необходимо выработать формализованную методику выявления девиантного поведения.
В первую очередь отобраны признаки, наиболее эффективные с точки зрения точности распознавания и наименее затратные по вычислительным ресурсам. В ходе исследования были отобраны 9 индивидуальных признаков и один, связанный с состоянием торговой точки независимо от её посетителей. Последний, по сути, является метрикой, выраженной в процентном соотношением людей с высоким уровнем настроения к низкому в конкретный момент времени.
Индивидуальные признаки можно разделить на:
1. постоянно анализируемые;
2. анализируемые с определённым интервалом, циклически повторяющиеся.
Первые необходимы для первичной, предварительной оценки уровня девиантного поведения у того или иного человека. К ним относятся:
1. скорость передвижения по торговой точке;
2. соответствие набору шаблонов поз, свойственных для девиантов.
Во второй категории находятся признаки, для которых необязательно обновлять данные каждый кадр, но которые активируют цикл с определённым условием. Например, чтобы распознать рост и вес у человека необходимо сначала распознать его в нескольких проекциях покадрово для более точной оценки, а далее, с интервалом в минуту, перепроверять данные.
Естественно, в случае покадрового анализа от начала до конца можно было бы получить более точные данные, однако количество признаков, которые система может анализировать за определённый промежуток времени весьма ограничено, поэтому при решении задачи в приоритете должно стоять быстродействие.
Признаки второй категории можно разделить согласно подходу к распознаванию:
1. психологические - настроение, мимика;
2. социальные - открытость одежды, открытость лица, общее время нахождения в торговой
точке;
3. биологические - рост, вес, пол, возраст.
Данный список является необходимым минимумом, необходимый для реализации распознавания девиантного поведения.
Впоследствии остаётся возможным добавить до трёх дополнительных признаков:
1. количество посещённых субъектов торговой точки;
2. наличие посещения сразу субъектов торговой точки;
3. время, проведённое у каждого субъекта отдельно.
Помимо всего прочего, исходные признаки можно разделить на те, которые анализируются в первую очередь и, соответственно, во вторую.
Первичные являются наиболее актуальными для конкретного кадра, а вторичные уже идут как дополнение в случае наличия возможности для их распознавания. К первичным признакам всегда будет относиться общий уровень настроения в торговой точке. Индивидуальные же, в свою очередь, будут сортироваться в зависимости от значений в базы данных.
Такой подход снизит размер исходной выборки, необходимой для работы детекторов, более чем на 20% за счёт того, что часть объектов можно пропускать в рамках одного кадра.
Однако для полноценного анализа одних детекторов будет недостаточно. Для результирующей оценки девиантности будет использована классификационная модель, которая будет рассматривать данные уже исключительно из базы данных.
Рассматривая вышеуказанные данные, был реализован алгоритм обработки каждого кадра, поступающего в систему, блок-схема которого отображена на рис. 1.
Разработка главной архитектуры нейронной сети. Исходя из построенного алгоритма можно сделать вывод о том, что в системе будет использоваться несколько нейронных сетей. Опираясь на тот факт, что система будет работать с инстансами - объектами пользователей, поостроенными на анализе свойств человека, включая их биометрические данные, выявляя посетителя и сравнивая с базой данных, то можно считать, что основополагающей нейронной сетью в данном случае будет являться классификатор, который делает оценку по данным из базы данных.
Перед тем, как обрабатывать сгенерированные данные были рассмотрены различные модели машинного обучения. После предобработки информации каждая модель обучалась на одной и той же выборке с учётом того, что ошибка подбиралась с ориентацией на бинарную классификацию. Результаты точности предсказания отображены в таблице.
Результат тестирования классификационных моделей
№ модели Название модели Точность
1 Логистический регрессор 87%
2 Дерево решений 85%
3 Дерево случайных решений 88%
4 Нейронная сеть 93%
Рис. 1. Блок-схема алгоритма обработки одного кадра
79
Разработка детектора, выделяющего объект в видеопотоке. В рамках разработанной архитектуры и общего алгоритма были проанализированы существующие решения задачи распознавания человека на изображении. В первую очередь, поскольку анализ идёт с точки зрения анализа изображения, то речь идёт непосредственно о свёрточных [7] нейронных сетях. На данный момент существует две архитектуры распознавания объектов, построенных на свёрточных слоях:
1. You only look once (YOLO) - это передовая сеть для распознавания объектов, разработанная Джозефом Редмоном. Главное, что отличает ее от других популярных архитектур - это скорость. Модели семейства YOLO действительно быстрые, намного быстрее R-CNN и других. Это одна из немногих моделей, которая позволяет реализовать распознавание видеопотока в реальном времени.
2. Single shot detector (SSD) - метод, который появился относительно позже. В данном случае используется лишь одна свёрточная нейронная сеть для предсказания положения областей, без последующей классификации. Подобный подход в рамках единой структуры из тысячи прогнозов позволил SSD [8] стать гораздо точнее по отношению к современным моделям распознавания.
Рис. 2. Результат работы детектора на тестовом видео из открытого источника
Таким образом, предпочтение было отдано использованию метода SSD, также за счёт его высокой универсальности в рамках нескольких выборок. При проверке на многолюдных кадрах, разработанная модель детектора дала нам возможность анализа до 30 объектов на изображении в зависимости от исходного разрешения. Пример работы детектора отображён на рис. 2.
Исследование возможности идентификации лица объекта. Рассматривая тему распознавания лица в видеопотоке, в первую очередь, подразумевается возможность его идентификации. Однако в данном конкретном случае идентификация имеет несколько иной характер. Поскольку решение не предполагает никаких баз данных с именами и личными данными другого характера, то идентификация становится обезличенной и необходимой лишь в ограниченном спектре задач. Изначально, при входе покупателя в зону распознавания, система выявляет лицо исключительно с целью создания инстанса, на который будет потом ориентироваться при анализе признаков. Другими словами, сначала создаётся запись в базе данных, в которую записывается распознанное лицо и присваивается идентификационный номер, привязанный к конкретной торговой точке. В дальнейшем, для дополнительного анализа биологических факторов при распознавании лица будет создан отдельный детектор, призванный выявлять не только возраст и пол [9], но и настроение посетителя в данный момент.
Реализация алгоритма, анализирующего положение частей тела объекта. За последние несколько лет анализ признаков для определения девиантности стал довольно узкоспециализированной темой, результатом чего стал отдельный раздел машинного обучения - pose estimation. В рассматриваемом случае основная цель нейросети - выявить ключевые точки человеческого тела, рассчитать координаты на исходном изображении и визуализировать в виде скелета. В данном случае на быстродействие напрямую влияет количество распознаваемых точек [10]. Непризнанным стандартом является 17 точек:
1. по 3 на каждую руку и ногу, чтобы минимально отобразить положение конечностей;
2. 5 на лицо, чтобы отобразить размер головы, положение глаз и носа.
Для предлагаемого решения этого количества будет недостаточно. Поэтому для каждой конечности добавим по три точки для расчёта лодыжек и кистей рук.
После распознавания всех необходимых точек человеческого тела будет производиться сравнение с шаблоном каждого набора движений покупателя. Однако при записи паттернов поведения с одной перспективы, а при анализе их с другой, эти паттерны будут восприниматься по-разному. Именно поэтому необходим расчёт перспективы перед основной работы системы, чтобы понимать, как расположен человек относительно камеры. Данный расчёт необходимо будет проводить при инициализации данного решения в конкретной торговой точке. Результат работы обученного детектора отображён на рис. 3.
Рис. 3. Результат работы детектора на тестовом видео из открытого источника
Вывод. В рамках реализации предлагаемого решения были найдены аналоги и проанализированы их концепции, с точки зрения 3 основных подходов распознавания девиантности.
В ходе данного исследования были выделены паттерны поведения, на основе которых оказались выявлены 10 основных признаков девиантного поведения. Исходя из этого, был построен алгоритм анализа каждого кадра с учётом приоритета всех признаков, который создаёт инстанс объекта и далее циклически анализирует в зависимости от данных в базе данных. Данная методика позволила сэкономить более 20 % исходной выборки за счёт снижения количества распознаваемых объектов, используемых при анализе в сравнении с аналогами.
Были рассмотрены 4 возможных классификатора, исходя из чего было решено использовать нейронную сеть для оценки результата работы детекторов. Итоговая точность составила 93%, что выше, чем у стандартных методов.
Был проанализирован вопрос распознавания нескольких объектов в видеопотоке, в качестве основной модели выбрана SSD, в результате чего была достигнута возможность распознавания до 30 объектов одновременно при использовании камеры с разрешением не менее Full HD.
Была исследована возможность распознавания минимально необходимых точек лица посетителей, в первую очередь, для идентификации в базе данных, а также для отслеживания возраста, настроения и пола каждого человека и всей торговой точки в целом, что увеличило точность выявления девиации в 2-2,5 раза.
Были выделены минимально необходимые точки для детекции частей тела. Эти параметры позволили снизить загруженность видеопотока и достичь частоты полного цикла распознавания от 24 кадров в секунду, что соответствует минимально необходимой частоте для человеческого глаза.
Таким образом, результатом данных исследований и разработки собственной методики стала система распознавания девиантного поведения в видеопотоке с использованием нейронных сетей и других методов машинного обучения, которая позволит повысить безопасность как для владельцев, так и для посетителей торговых точек.
Исследование выполнено при поддержке «ФОНД-М», грантовая программа «УМНИК», проект №>17440ГУ/2022 от 25.04.2022.
Список литературы
1. 1. Кошарная Г.Б., Мордишева Л.Н. Основные подходы к изучению девиантного поведения // Известия высших учебных заведений. Поволжский регион. Общественные науки, 2010.
2. Завалихина Р.С. Девиантное поведение как психологический феномен // Сибирский педагогический журнал, 2004.
3. Акимов А.А., Мустафина С.А. Обзор современных методов искусственного интеллекта по распознаванию девиантного поведения индивида // Вестник Технологического университета. 2020. Т. 23. № 8. С. 69-79.
4. Апинян Г. В. О понятиях «девиация», «девиантность», «девиантное поведение» // Известия Российского государственного педагогического университета им. А.И. Герцена, 2009 г.
5. Дюркгейм Э. Социология. Ее предмет, метод и назначение / Пер. с фр., составление, послесловие и примечания А. Б. Гофмана. М.: Канон, 1995. 352 с.
6. Леонов Н.Н. О методике применения машинного обучения в анализе социологических данных // Социологический альманах, 2019.
7. Сикорский О.С. Обзор свёрточных нейронных сетей для задачи классификации изображений // Новые информационные технологии в автоматизированных системах, 2017.
8. Чуйков Р.Ю., Юдин Д.А. Обнаружение транспортных средств на изображениях загородных шоссе на основе метода Single shot multibox Detector // Научный результат. Информационные технологии 2017.
9. Харчевникова А.С. Сверточные нейронные сети в задаче распознавания пола и возраста по видеоизображению // Сборник трудов IV международной конференции и молодежной школы «Информационные технологии и нанотехнологии» (ИТНТ-2018). Самара: Новая техника, 2018. С. 916-924.
10. Сергеев Н.С., Чеховский Д.В. Распознавание частей человеческого тела глубокими нейронными сетями // Известия Тульского государственного университета. Технические науки, 2021. С. 130 -134.
Козловский Александр Вячеславович, аспирант, kozlovskiy@sfedu.ru, Россия, Таганрог, Институт компьютерных технологий и информационной безопасности ЮФУ,
Волощук Вадим Игоревич, студент, vvoloshchuk@sfedu.ru, Россия, Таганрог, Россия, Таганрог, Институт компьютерных технологий и информационной безопасности ЮФУ,
Мельник Ярослав Эдуардович, студент, iamelnik@sfedu.ru, Россия, Таганрог, Россия, Таганрог, Институт компьютерных технологий и информационной безопасности ЮФУ
A SYSTEM FOR RECOGNIZING DEVIANT BEHAVIOR IN A VIDEO STREAM USING NEURAL NETWORKS
AND OTHER MACHINE LEARNING METHODS
A.V. Kozlovsky, V.I. Voloshchuk, Ya.E. Melnik
Existing problems related to the security of retail outlets are considered. The task to implement a system of recognition of deviant behavior in order to prevent theft in retail outlets. Existing approaches to detecting deviant behavior from psychological, biological and sociological points of view were investigated. A methodology for detecting deviant behavior using machine learning methods has been implemented. An algorithm for frame-by-frame analysis of video data based on the developed method was proposed. Graph model is chosen as a basis for semantic transformation of text. The architecture of the main neural network realizing the classification principle is developed and its efficiency is evaluated. The detectors that are responsible for human recognition in the flow and determination of a person's pose, based on convolutional neural networks, have been developed. The possibility of using face recognition and identification with the purpose of impersonal data collection has been studied.
Key words: intelligent system, neural network, video data analysis, deviant behavior, recognition, trading points.
Kozlovsky Alexander Vyacheslavovich, postgraduate, kozlovskiy@sfedu.ru, Russia, Taganrog, Institute of Computer Technologies and Information Security of the Southern Federal University,
Voloshchuk Vadim Igorevich, student, vvoloshchuk@sfedu.ru, Russia, Taganrog, Institute of Computer Technologies and Information Security of the Southern Federal University,
Melnik Yaroslav Eduardovich, student, iamelnik@sfedu.ru, Russia, Taganrog, Institute of Computer Technologies and Information Security of the Southern Federal University
