CC BY
11
22. Zemkoho A. A Basic Time Series Forecasting Course with Python, Oper. Res. Forum, 2023, 4:2.
23. Plevris V., Solorzano G., Bakas N., Ben Seghier M. Investigation of performance metrics in regression analysis and machine learning-based prediction models, Proccedings of the 8th European Congress on Computational Methods in Applied Sciences and Engineering Oslo, Norway, 2022.
24. Pandas - Python Data Analysis Library. Available at: https://pandas.pydata.org.
25. CowpertwaitP.S.P., Metcalfe A. V. Introductory Time Series with R. Springer, London, 2009.
26. Introduction - statmodels. Available at: https://www.statsmodels.org/stable/index.html/.
27. Pmdarima: ARIMA estimators for Python. Available at: https://alkaline-ml.com.
28. Hyndman R.J., Athanasopoulos G. Forecasting: Principles and Practice, Otexts, Monash University, Australia, 2021.
29. Prophet | Forecasting at scale. Available at: https://facebook.github.io/prophet/.
30. XGBoost. Available at: https://xgboost.ai/about.
31. Python API Reference - xgboost documentation. Available at: xgboost.readthedocs.io.
Статью рекомендовала к опубликованию к.ф-м.н. Н.М. Твердохлеб.
Альчаков Василий Викторович - Севастопольский государственный университет; e-mail: alchakov@mail.ru; г. Севастополь, Россия; тел.: +79787489941; к.т.н.; доцент кафедры «Информатика и управление в технических системах».
Крамарь Вадим Александрович - e-mail: kramarv@mail.ru; тел.: +79787927340; д.т.н.; профессор кафедры «Информатика и управление в технических системах».
Alchakov Vasiliy Viktorovich - Sevastopol State University; e-mail: alchakov@mail.ru; Sevastopol, Russia; phone: +79787489941; cand. of eng. sc.; associate professor of the department «Informatics and Control in Technical Systems».
Kramar Vadim Aleksandrovich - e-mail: kramarv@mail.ru; phone: +79787927340; dr. of eng. sc.; associate professor of the department «Informatics and Control in Technical Systems».
УДК 004.81 DOI 10.18522/2311-3103-2023-2-263-273
А.Д. Ульев, Ю.А. Орлова, В.Л. Розалиев, А.Р. Донская
МЕТОДЫ И СРЕДСТВА СЛЕЖЕНИЯ ЗА ПЕРЕМЕЩЕНИЕМ И ВЗАИМОДЕЙСТВИЕМ СОТРУДНИКОВ И ПОКУПАТЕЛЕЙ ПО ВИДЕОИЗОБРАЖЕНИЮ*
Из-за стремительного развития сферы торговли особую популярность набирают средства автоматического контроля работы сотрудников, оказывающих услуги клиентам. На данный момент существует множество современных подходов, методов и алгоритмов для автоматического отслеживания покупателей и продавцов в помещении магазина. Современные компании стараются решать подобную проблему разными путями: подсчетом посетителей, приборами контроля, различными нейросетевыми решениями и так далее. Проведя обзор решений с необходимым функционалом, были выявлены основные недостатки, такие как, например, дороговизна, неудобство в использовании и так далее. В результате авторами была поставлена цель: повысить качество отслеживания перемещения сотрудников/покупателей за счет разработанных автоматизированных средств и методов контроля перемещения, межкамерного трекинга и идентификации личности. В статье рассмотрен метод для автоматического распознавания и слежения за сотрудниками магазинов и фирм. Метод основан на каскаде нейросетей и алгоритмов, позволяющих распознавать покупателей и работников в униформе, а также оценивать качество работы сотрудников и удовлетворенность клиентов по голосу. Как результаты работы
* Исследование выполнено при финансовой поддержке ВолгГТУ в рамках научного проекта № 60/478-22.
над исследованием в данной статье представлены модели и методы классификации клиентов и продавцов по униформе, методы определения уровня взаимодействия продавцов и клиентов на базе алгоритмов определения удовлетворенности посетителей и клиентов по голосу и лицу и алгоритмов определения качества работы сотрудников. Разработанные методы способны повысить эффективность работы сотрудников, а также увеличить качество предоставляемых услуг. По итогам работы было проведено тестирования было сделано заключение об удовлетворительности работы представленных методов и алгоритмов.
Нейронная сеть; искусственный интеллект; распознавание позы человека; мониторинг поведения.
A.D. Ulyev, Yu.A. Orlova, V.L. Rozaliev, A.R. Donsckaia
METHODS AND MEANS OF TRACKING THE MOVEMENT AND INTERACTION OF EMPLOYEES AND CUSTOMERS BY VIDEO IMAGE
Due to the rapid development of the sphere of trade, the means of automatic control of the work of employees providing services to customers are gaining particular popularity. At the moment, there are many modern approaches, methods and algorithms for automatically tracking buyers and sellers in the store. Modern companies are trying to solve this problem in different ways: counting visitors, monitoring devices, various neural network solutions, and so on. After reviewing the solutions with the necessary functionality, the main disadvantages were identified, such as, for example, high cost, inconvenience in use, and so on. As a result, the authors set a goal: to improve the quality of tracking the movement of employees / customers through the development of automated means and methods of movement control, inter-chamber tracking and identification of the individual. The article describes a method for automatic recognition and tracking of employees of stores and firms. The method is based on a cascade of neural networks and algorithms that allow recognizing customers and employees in uniform, as well as evaluating the quality of employees' work and customer satisfaction by voice. As the results of the research, this article presents models and methods for classifying customers and sellers by uniform, methods for determining the level of interaction between sellers and customers based on algorithms for determining the satisfaction of visitors and customers by voice and face, and algorithms for determining the quality of employees' work. The developed methods can improve the efficiency of employees, as well as increase the quality of services provided. Based on the results of the work, testing was carried out and a conclusion was made about the satisfactory performance of the presented methods and algorithms.
Neural network; artificial intelligence; human posture recognition; behavior monitoring.
Введение. В стремительно развивающейся торговой сфере уровень клиенто-ориентированности бизнеса, высокий уровень указания услуг является одним из важнейших факторов, влияющий на потребительский спрос. В виду чего особую популярностью набираю средства автоматического контроля работы сотрудников, оказывающих услуги клиентам. Основной проблемой внедрения таких сервисов является человеческий фактор, контроль за которым проблематичен в связи с отсутствием готовых программных продуктов. Обеспечение должного качества оказания услуг становится основной задачей рыночной стратегии развития бизнеса [1, 2].
На данный момент существует множество современных подходов, методов и алгоритмов для автоматического отслеживания покупателей и продавцов в помещении магазина: методы отслеживания с применением GPS трекера, методы отслеживания с применением Bluetooth трекера, методы компьютерного зрения для подсчета количества посетителей на видеопотоке, подходы, применяемые в программных продуктах ShopperTrak, Network Optix, IIS видео аналитика, CVC. Однако Bluetooth и GPS трекеры - экономически затратны, такое решение не универсальное и не позволяет определить случаи мошенничество со стороны сотрудников магазина. ShopperTrak - не может отслеживать действий покупателя и продавца внутри магазина. Для Network Optix основным минусом является отсутствие
идентификации личности людей в кадре, как следствие, невозможность автоматического отличия покупателя от продавца и отсутствие функционала для определения уровня их взаимодействия. В решении компании CVC модули по контролю работы сотрудника и определения удовлетворенности клиента в решении не представлены.
Наибольшую оценку имеет система Network Optix. Однако эта система не умеет следить за покупателями и продавцами внутри магазина. И, как следствие, не умеет обрабатывать информацию о активности сотрудников и покупателей, такую как: время взаимодействия покупателя и продавца, уровень заинтересованности покупателя и другие.
Следовательно, на данный момент не существует единого программного средства и подходов, способных осуществить контроль за перемещением сотрудников/покупателей в магазине, идентификацию их личности с модулем межкамерного трекинга, а также алгоритмами, способными определить уровень оказания услуг продавцом и их покупательской удовлетворенностью.
Научная новизна подобного исследования достигается за счет разработанных оригинальных методов и средств распознавания и контроля взаимодействия людей по видеоизображению, методов оценки удовлетворенности клиента и методов оценки качества работы сотрудника.
Авторы поставили цель: повысить качество отслеживания перемещения сотрудников/покупателей за счет разработанных автоматизированных средств и методов контроля перемещения, межкамерного трекинга и идентификации личности.
1. Метод слежения за перемещением и взаимодействием сотрудников и покупателей. После проведения сравнительного анализа алгоритмов распознавания людей на изображении таких алгоритмов как: Yolo, PoseEstimator, Каскады хаара, ROS People Object Detection, People Counter Application with Intel-OpenVINO-Toolkit. [3, 4]. Было выявлено, что наибольшую оценку имеет PoseEstimator [5, 6], в связи в чем принято решение для задачи распознавания людей на изображении использовать указанный подход.
Метод состоит из группы нейросетевых решений, методов и алгоритмов для решения поставленной задачи (рис. 1).
----------+
Модуль с нейросетью Face Recognition 1 6 +
Модуль
идентификации
покупателя и
сотрудника
Модуль маппинга и постобработки данных
Модуль определения координат ключевых точек
Нейросеть FastPoseEstimator
13 Модуль стабилизации ключевых точек
М вдул ь для межкамерного трекинга
Модуль классификации сотрудников и покупателей
Модуль с нейросетью HopeNeí
Модуль с нейросетью EmoPy
Модуль с нейросетью Speech Emotion Analyzer
Модуль для определения качества услуг
Рис. 1. Метод слежения за перемещением и взаимодействием сотрудников
и покупателей
Первым этапом комплексного метода является модуль маппинга и постобработки данных для получения необходимых данных путем параллельного вызова соответствующих модулей. После получения данных происходит их маппинг и расчёт. Модуль является фундаментальным в работе комплексного метода.
Вторым этапом в параллельном режиме вызываются модуль с нейросетью Speech Emotion Analyzer, [7] модуль с нейросетью EmoPy, модуль с нейросетью HopeNet, модуль с нейросетью FaceRecognition[8] и модуль для определения ключевых точек (1, 2, 3, 4 и 5 соответственно).
Третьим этапом в потоке работы модуля FaceRecognition [9] вызывается модуль идентификации покупателя и сотрудника. После чего данные отдаются основному потоку в модуль маппинга и постобработка данных.
Четвертым этапом в потоках 1, 2 и 3 работы с данными переходит в модуль определения качества услуг. Работа модуля осуществляется без ожидания данных от всех потоков, работа начинается с приходов первого скопа данных. При получении каждого нового скопа данных о качестве услугах добавляются/обновляются. Модули с нейронными сетями HopeNet, EmoPy и Speech Emotion Analyzer используется для получения данных о качестве оказываемых услуг. Вышеуказанные модуле собирают информацию для передачи в модуль определения оказания услуг с целью определения качества работы сотрудника магазина и удовлетворенность ей покупателем. Модуль с нейронной сетью HopeNet определяет направления взгляда покупателя, после чего передает данные в модуль постобработки данных [2, 10]. Модуль с нейронной сеть. EmoPy используется для определения эмоциональной характеристики клиента путем анализа изображения его лица (изображение получено с камеры высокого качества, установленной на выходе из магазина). Модуль с нейронной сетью Speech Emotion Analyzer используется для определения эмоциональной характеристики клиент путем анализа потокового аудиофайла с его голосом (через микрофон, установленный в кассе).
Пятым этапом в потоке модуля определения координат ключевых точек производится работы с определением координат ключевых точек (скрепления костей, а также координаты глаз и ушей) у людей на изображении с камеры наблюдения. После чего данные передаются во внутренний метод для стабилизации ключевых точек с целью определения недостающих точек на основе физиологического строения человека.
Шестым этапом в параллельном режиме в потоке модуля определения координат данные передаются в модуль межкамерного трекинга и модуль классификации сотрудников и покупателей.
Алгоритм стабилизации «ключевых» точек туловища человека. Основная задача нейронной сети на данном этапе - распознать позу сотрудника, для последующего нахождения на нем униформы. [11].
Разработанный алгоритм "Оценки позы" на вход принимает изображение человека (продавца, консультанта, и т.д.) магазина, а на выходе после обработки -изображение с распознанной позой человека на нем. Более подробно данный алгоритм описан предыдущем исследовании [1].
Алгоритм нахождения возможного расположения недостающей точки плеча представлен на рис. 2.
На основании разработанного алгоритма возможно определение точек тела консультанта, а именно таза и плечей, которые могут отсутствовать по тем или иным причинам. Поиск таких точек производится за счет понимания анатомии человеческого тела и приведённого выше алгоритма на рис. 2.
В случае, когда есть только одна точка (начальная), и определение позы затрудняется, в таком случае выделяют небольшую область заранее определенного размера на верхней части тела сотрудника, для этого от начальной точки отступают на N количество пикселей вниз.
Рис. 2. Алгоритм нахождения возможного расположения точки недостающего
плеча человека
Алгоритм определение доминантного цвета на участке униформы. Разработан модуль классификации сотрудников и клиентов, основной задачей которого является отнесение человека с изображения к необходимой группе. Нейронная сеть "Fast Pose Estimator" передает в модуль данные о координатах частей человеческого тела в кадре [12-14]. Модуль использует приведенные выше данные для определения области на изображении, отвечающей за сегменты одежды на теле человека. Для вычисления доминирующего цвета в найденной области предлагается использовать метод k-средних [10, 13, 15].
Общий алгоритм обучения программы возможным цветам униформы сотрудника представлен на рис. 3.
Рис. 3. Общий алгоритм обучения программы возможным цветам униформы
сотрудника
Анализ качества общения продавца с покупателями. После отнесения людей в кадре к группам покупателей и продавцов программа в автоматическом режиме контролирует качество оказываемых продавцами-консультантами услуг.
Для оценки качества коммуникации продавца [16] с клиентом предлагается использовать набор алгоритмов и каскад нейронных сетей.
Основной задачей алгоритмов является определение нахождения продавца рядом с покупателем, а также контроль за персонализацией обращения сотрудника к покупателю [17].
Алгоритм качества работы сотрудника магазина предполагает собой контроль работы сотрудника путем анализа местонахождения сотрудника рядом с посетителем. В случае нахождения сотрудника рядом с клиентом (расстояние задается администратором) начинается подсчет времени такого взаимодействия. Кроме того, контроль будет устанавливаться с помощью вспомогательных нейро-сетевых решения для вычисления зрительного контакта при условии близкого нахождения сотрудника и посетителя. Решение позволяет определить градус между направлениями взглядов сотрудника и клиента, и если это градус находится в пределе от 120 до 200 градусов (значения выставляются администратором) то считает что сотрудник успешно выполняет свою работу. Выходной информацией является рекомендательная оценка работы сотрудника магазина (1).
где £ - рекомендательная оценка работы сотрудника магазина по взаимодействию с клиентом;
(Ь) - стабилизированные ключевые точки человека; П - изображение с камеры; t - время работы
(Ь)- стабилизированные ключевые точки в разрезе времени П© - изображения с камеры в разрезе времени I - информация о межкамерном трекинге; у - классификация сотрудников и клиентов;
Fqual - алгоритм определения качества работы сотрудника магазина Алгоритм определения удовлетворённости клиента по голосу подразумевает собой анализ аудиопотока голоса клиента в момент его нахождения на кассе с помощью нейросетевого решения. Кроме того, в решение закладывается консолидация данных с алгоритмов межкамерного трекинга для привязки оценку к текущему посетителю. Данные консолидируются с обработкой информации о ключевых точках. Если в текущий момент времени клиент стоит у кассы, то считается, что именно его запись голоса обрабатывает нейронная сеть. Выходной информацией является рекомендательная оценка работы сотрудника магазина (2).
где у - уровень удовлетворенности клиента по голосу;
- стабилизированные ключевые точки человека;
П - изображение с камеры;
X - аудиопоток голоса клиента с кассы;
I - информация о межкамерном трекинге;
у - классификация сотрудников и клиентов;
Fsatv0ic - алгоритм определения удовлетворенности клиента по голосу.
В алгоритме определения удовлетворенности клиента по изображению лица происходит установления настроения покупателя путем анализа лица с камеры у выхода из помещения с использованием нейросетевого решения. Выходной информацией служит уровень удовлетворенности клиента по изображению лица (3).
S = Fquai(< йДО; iii(t); i; у >),
(1)
Ф = Fsatvoic(< й,; тъ;Л;у >),
(2)
К= Fsatfасе(< M> I > Y > )- (3)
где к - уровень удовлетворенности клиента по изображению лица:
д - видеопоток с камеры, установленной при входе;
Y - классификация сотрудников и клиентов;
i - информация о межкамерном трекинге;
Fsatfaœ - алгоритм определения удовлетворенности клиента по изобр. лица.
Для того чтобы следить за качеством общения продавца с покупателем, необходимо проанализировать их расположение друг относительно друга и таким образом определить так называемую их "область обзора". Недопустимо, чтобы сотрудник находился вне этой области, таким образом он должен так или иначе располагаться в «области обзора" для более корректного обращения и лучшей возможности представить товар покупателю. Чтобы реализовать контроль за этим необходимо определять расположение глаз и ушей покупателя и сотрудника, данные о котором алгоритм получает от Fast Pose Estimator [18-20].
После этого становится возможным распознать "области обзора" клиента и сотрудника, а также получить данные об их расположении друг относительно друга. На основании этих данных можно сделать заключение о том, взаимодействует ли продавец с клиентом или нет («области обзора» или не пересекаются или «угол взаимодействия» ниже заранее заданного значения).
2. Вычислительный эксперимент и анализ полученных результатов. Была проведена апробация комплексного метода (табл. 1). В ходе тестирования анализировались качества работы ведущих модулей комплексного метода. На апробацию выносились следующие модули:
♦ Качество работы модуля классификации сотрудников и посетителей -1/распознает в некоторых кадрах, 2/распознает в половине кадров, 3/распознает в большинстве кадров.
♦ Качество работы модуля идентификации личности сотрудника -1/идентифицирует в некоторых кадрах, 2/идентифицирует в половине кадров, 3/идентифицирует в большинстве кадров.
♦ Качество работы модуля определения качества услуг - 1/определяет не верно, 2/определяет условно верно, 3/определяет неверно.
♦ Качество работы модуля стабилизации ключевых точек - 1/определяет не верно, 2/определяет условно верно, 3/определяет неверно.
♦ Качество работы модуля межкамерного и межкадрового трекинга -1/определяет не верно, 2/определяет условно верно, 3/определяет неверно.
♦ Качество работы модуля классификации сотрудников и посетителей -1/определяет не верно, 2/определяет условно верно, 3/определяет неверно.
Таблица 1
Результаты вычислительного эксперимента
Критерий Среднее значение для всех тестов
Качество работы модуля классификации сотрудников и посетителей 2.7
Качество работы модуля идентификации личности 2.6
Качество работы модуля определения качества услуг 2.4
Качество работы модуля стабилизации ключевых точек 2.9
Качество работы модуля межкамерного и межкадрового трекинга 2.9
Качество работы модуля классификации сотрудников и посетителей 2.9
В результате тестирования были получены преимущественно высокие результаты работы. Исключения составляет модуль определения качества услуг ввиду наличия человеческого фактора в процессе оценки качества работы сотрудника учреждения. Отдельно стоит отметить, что в вышеуказанном модуле характеристика «уровень качества услуги» является субъективным фактором, ввиду чего оценка по указанной характеристике является рекомендательной, но не носит итоговый характер.
Заключение. Разработаны методы и средства для автоматического контроля за продавцом консультантом, способные определять уровень взаимодействия сотрудника с покупателем, а также уровень удовлетворенности покупателя работой сотрудника магазина.
В результате автоматизированного контроля работы сотрудника значительно повысилось качество его работы и удовлетворенность посетителей. Так, до начала использования автоматизированного решения средняя оценка работы сотрудника варьировалась от 4.1 до 4.3 по 5-ти бальной шкале. А уровень удовлетворенности посетителя такой работой составлял 3.7-4.1. Оценки производились путем анализа работ сотрудника и опроса посетителя. После внедрения автоматизированного решения оценка сотрудника возросла на 0.3 и составила 4.3-4.7, а удовлетворенность посетителя возросла на 0.5 и составила 4.2-4.6. Тестирование проводилось на выборке из 15 сотрудников трех заведений.
Ожидается дальнейшее развитие работы в области автоматического прогнозирования интересных товаров для конкретного покупателя (сейчас устанавливается администратором).
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Розалиев В.Л., Заболеева-Зотова А.В., Орлова Ю.А., Ульев А.Д., Алексеев А.В. Автоматическая система контроля активности покупателей в магазине с модулями оценки работы его сотрудников // Прикаспийский журнал: управление и высокие технологии.
- 2020. - № 2 (50). - C. 22-32.
2. Ульянова О.А. Психологические особенности продавцов-консультантов сетевого маркетинга // Вестник Самарской гуманитарной академии. Серия: Психология. - 2013. - № 1.
- С. 27-41.
3. Ghosh G., Swarnalatha K.S. A Detail Analysis and Implementation of Haar Cascade Classifier // Advances in Intelligent Systems and Computing. - 2021. - Р. 341-59.
4. Bharathi P., Spurthy B.L.D., Bhavani Priya A., Yashvardhan Krishna Murthy B., Charan Sai Varaha Teja Ch.. Real-Time Object Detection for Blind People // International Journal of Advanced Research in Science, Communication and Technology. - 2023. - Р. 262-266.
5. Бобков А.С., Розалиев В.Л. Фазификация данных, описывающих движение человека // Открытые семантические технологии проектирования интеллектуальных систем (0STIS-2011): Матер. междунар. науч.-техн. конф. - Минск, 2011. - С. 483-486.
6. Розалиев В.Л., Орлова Ю.А. Определение движений и ноз для идентификации эмоциональных реакций человека // 11 -ая Международная конференция но распознаванию образов и анализу изображений: новые информационные технологии (PRIA-11-2013).
- Самара, 2013. - № 2. - С. 713-716.
7. Samyak S., Gupta A., Raj T., Karnam A., Mamatha HR. Speech Emotion Analyzer // Innovative Data Communication Technologies and Application. - 2022. - Р. 113-124.
8. Sharmila Sk., Nagasai GK., Sowmya M., Prasanna AS., Sri SN., Meghana N. Automatic Attendance System based on FaceRecognition using Machine Learning // 2023 7th International Conference on Computing Methodologies and Communication (ICCMC). - 2023.
9. Xia J., Zhang H., Wen S., Yang S., Xu M. An Efficient Multitask Neural Network for Face Alignment, Head Pose Estimation and Face Tracking // Expert Syst. - 2021. - Vol. 205. - Р. 117368.
10. Хорунжий М.Д. Метод количественной оценки цветов различий при восприятии цифровых изображений // Вестник НГУ. Серия: Информационные технологии. - 2008. - № 1. - C. 9.
11. Iqbal U., Gall J. Multi-person Pose Estimation with Local Joint-to-Person Associations // European Conference on Computer Vision (ECCV) Workshops, Crowd Understanding. Amsterdam. - 2016.
12. Самойлов А.Н., Сергеев Н.Е., Дайебал Д.Б., Кучерова М.С. Модель интеллектуальной информационной системы для распознавания пользователей социальной сети с использованием биоинспирированных методов // Инженерный вестник Дона. - 2018. - № 4 (51). - С. 137.
13. Ульев А.Д. Система для определения удовлетворенности клиента магазина оказанными услугами // NovaUm.Ru. - 2022. - № 37. - С. 4-8.
14. Nasr M., Osama R., Ayman H., Mosaad N., Ebrahim А. Realtime Multi-Person 2D Pose Estimation // Int. J. Advanced Networking and Applications. - 2020. - No. 11. - Р. 4501-4508.
15. Осипова Ю.А., Лавров Д.Н. Применение кластерного анализа методом k-средних для классификации текстов научной направленности // МСиМ. - 2017. - №3 (43). - C. 14.
16. Андронова Н.Е., Гребенюк П.Е., Чмутин А.М. Алгоритм и программная реализация управления оттеночным контрастом цифровых изображений // Инженерный вестник Дона. - 2016. - № 4 (43).
17. Ульев А.Д., Розалиев В.Л., Орлова Ю.А., Алексеев А.В. Автоматический контроль уровня оказания услуг продавцом-консультантом // Искусственный интеллект в решении актуальных социальных и экономических проблем XXI века: Сб. статей по материалам Четвертой всероссийской научно-практической конференции, проводимой в рамках Пермского естественнонаучного форума «Математика и глобальные вызовы XXI века», Пермь, 21-23 мая 2019 года. Т. Ч. I. - Пермь, 2019. - С. 145-149.
18. Cao Z., Simon T., Wei S., Sheikh Y. Realtime Multi-person 2D Pose Estimation Using Part Affinity Fields // 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). - 2016. - Р. 1302-1310.
19. Park C., Lee H.S., Kim W.J., Bae H.B., Lee J., Lee S. An Efficient Approach Using Knowledge Distillation Methods to Stabilize Performance in a Lightweight Top-Down Posture Estimation Network // Sensors. - 2021. - 21 (22). - P. 7640. - https://doi.org/10.3390/s21227640.
20. Aonty S.S., Deb K., Sarma M. S., Dhar P.K., Shimamura T. Multi-Person Pose Estimation Using Group-Based Convolutional Neural Network Model // in IEEE Access. - 2023. - Vol. 11. - P. 42343-42360. - DOI: 10.1109/ACCESS.2023.3271593.
REFERENCES
1. Rozaliev V.L., Zaboleeva-Zotova A.V., Orlova Yu.A., Ul'ev A.D., Alekseev A.V. Avtomaticheskaya sistema kontrolya aktivnosti pokupateley v magazine s modulyami otsenki raboty ego sotrudnikov [Automatic system for monitoring customer activity in a store with modules for evaluating the work of its employees], Prikaspiyskiy zhurnal: upravlenie i vysokie tekhnologii [Caspian Journal: Management and High technologies], 2020, No. 2 (50), pp. 22-32.
2. Ul'yanova O.A. Psikhologicheskie osobennosti prodavtsov-konsul'tantov setevogo marketinga [Psychological features of sales consultants of network marketing], Vestnik Samarskoy gumanitarnoy akademii. Seriya: Psikhologiya [Bulletin of the Samara Humanitarian Academy. Series: Psychology], 2013, No. 1, pp. 27-41.
3. Ghosh G., Swarnalatha K.S. A Detail Analysis and Implementation of Haar Cascade Classifier, Advances in Intelligent Systems and Computing, 2021, pp. 341-59.
4. Bharathi P., Spurthy B.L.D., Bhavani Priya A., Yashvardhan Krishna Murthy B., Charan Sai Varaha Teja Ch.. Real-Time Object Detection for Blind People, International Journal of Advanced Research in Science, Communication and Technology, 2023, pp. 262-266.
5. Bobkov A.S., Rozaliev V.L. Fazifikatsiya dannykh, opisyvayushchikh dvizhenie cheloveka [Fuzzification of data describing human movement], Otkrytye semanticheskie tekhnologii proektirovaniya intellektual'nykh sistem (OSTIS-2011): Mater. mezhdunar. nauch.-tekhn. konf. [Open semantic technologies for designing intelligent systems (0STIS-2011): Proceedings of the International Scientific and Technical Conference]. Minsk, 2011, pp. 483-486.
6. Rozaliev V.L., Orlova Yu.A. Opredelenie dvizheniy i poz dlya identifikatsii emotsional'nykh reaktsiy cheloveka [Determination of movements and poses to identify emotional reactions of a person], 11-aya Mezhdunarodnaya konferentsiya po raspoznovaniyu ob-razov i analizu izobrazheniy: novye informatsionnye tekhnologii (PRA-11-2013) [11th International Conference on Pattern Recognition and Image Analysis: New Information Technologies (PRIA-11-2013)]. Samara, 2013, No. 2, pp. 713-716.
7. Samyak S., Gupta A., Raj T., Karnam A., Mamatha HR. Speech Emotion Analyzer, Innovative Data Communication Technologies and Application, 2022, pp. 113-124.
8. Sharmila Sk., Nagasai GK., Sowmya M., Prasanna AS., Sri SN., Meghana N. Automatic Attendance System based on FaceRecognition using Machine Learning, 2023 7th International Conference on Computing Methodologies and Communication (ICCMC), 2023.
9. Xia J., Zhang H., Wen S., Yang S., Xu M. An Efficient Multitask Neural Network for Face Alignment, Head Pose Estimation and Face Tracking, ExpertSyst., 2021, Vol. 205, pp. 117368.
10. Khorunzhiy M.D. Metod kolichestvennoy otsenki tsvetov razlichiy pri vospriyatii tsifrovykh izobrazheniy [A method for quantifying the colors of differences in the perception of digital images], Vestnik NGU. Seriya: Informatsionnye tekhnologii [Bulletin of the NSU. Series: Information Technology], 2008, No. 1, pp. 9.
11. Iqbal U., Gall J. Multi-person Pose Estimation with Local Joint-to-Person Associations, European Conference on Computer Vision (ECCV) Workshops, Crowd Understanding. Amsterdam, 2016.
12. Samoylov A.N., Sergeev N.E., Dayebal D.B., Kucherova M.S. Model' intellektual'noy informatsionnoy sistemy dlya raspoznavaniya pol'zovateley sotsial'noy seti s ispol'zovaniem bioinspirirovannykh metodov [A model of an intelligent information system for recognizing social network users using bioinspired methods], Inzhenernyy vestnik Dona [Engineering Bulletin of the Don.], 2018, No. 4 (51), pp. 137.
13. Ul'ev A.D. Sistema dlya opredeleniya udovletvorennosti klienta magazina okazannymi uslugami [A system for determining the satisfaction of the store's customer with the services rendered], NovaUm.Ru, 2022, No. 37, pp. 4-8.
14. Nasr M., Osama R., Ayman H., Mosaad N., Ebrahim А. Realtime Multi-Person 2D Pose Estimation, Int. J. Advanced Networking and Applications, 2020, No. 11, pp. 4501-4508.
15. Osipova Yu.A., Lavrov D.N. Primenenie klasternogo analiza metodom k-srednikh dlya klassifikatsii tekstov nauchnoy napravlennosti [Application of cluster analysis by the k-means method for classification of scientific texts], MSiM [MSiM], 2017, No. 3 (43), pp. 14.
16. Andronova N.E., Grebenyuk P.E., Chmutin A.M. Algoritm i programmnaya realizatsiya upravleniya ottenochnym kontrastom tsifrovykh izobrazheniy [Algorithm and software implementation of the control of the hue contrast of digital images], Inzhenernyy vestnik Dona [Engineering Bulletin of the Don], 2016, No. 4 (43).
17. Ul'ev A.D., Rozaliev V.L., Orlova Yu.A., Alekseev A.V. Avtomaticheskiy kontrol' urovnya okazaniya uslug prodavtsom-konsul'tantom [Automatic control of the level of services rendered by a sales consultant], Iskusstvennyy intellekt v reshenii aktual'nykh sotsial'nykh i ekonomicheskikh problem XXI veka: Sb. statey po materialam Chetvertoy vserossiyskoy nauchno-prakticheskoy konferentsii, provodimoy v ramkakh Permskogo estestvennonauchnogo foruma «Matematika i global'nye vyzovyXXI veka», Perm', 21-23 maya 2019 goda [Artificial intelligence in solving urgent social and economic problems of the XXI century: A collection of articles based on the materials of the Fourth All-Russian Scientific and Practical Conference held within the framework of the Perm Natural Science Forum "Mathematics and Global Challenges of the XXI Century", Perm, May 21-23, 2019]. Vol. Part I. Perm', 2019, pp. 145-149.
18. Cao Z., Simon T., Wei S., Sheikh Y. Realtime Multi-person 2D Pose Estimation Using Part Affinity Fields, 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016, pp. 1302-1310.
19. Park C., Lee H.S., Kim W.J., Bae H.B., Lee J., Lee S. An Efficient Approach Using Knowledge Distillation Methods to Stabilize Performance in a Lightweight Top-Down Posture Estimation Network, Sensors, 2021, 21 (22), pp. 7640. Available at: https://doi.org/10.3390/s21227640.
20. Aonty S.S., Deb K., Sarma M. S., Dhar P.K., Shimamura T. Multi-Person Pose Estimation Using Group-Based Convolutional Neural Network Model, in IEEE Access, 2023, Vol. 11, pp. 42343-42360. DOI: 10.1109/ACCESS.2023.3271593.
Статью рекомендовал к опубликованию д.т.н., профессор В.В. Курейчик.
Ульев Андрей Дмитриевич - Волгоградский государственный технический университет; e-mail: ulyev-ad@yandex.ru; г. Волгоград, Россия; кафедра программного обеспечения автоматизированных систем, аспирант.
Орлова Юлия Александровна - e-mail: yulia.orlova@gmail.com; кафедра программного обеспечения автоматизированных систем; д.т.н.; доцент.
Розалиев Владимир Леонидович - e-mail: vladimir.rozaliev@vstu.ru; кафедра программного обеспечения автоматизированных систем; к.т.н.; доцент.
Донская Анастасия Романовна - e-mail: donsckaia.anastasiya@yandex.ru; кафедра программного обеспечения автоматизированных систем; аспирант.
Ulyev Andrey Dmitrievich - Volgograd State Technical University; e-mail: ulyev-ad@yandex.ru; Volgograd, Russia; the department software engineering; graduate student.
Orlova Yulia Aleksandrovna - e-mail: yulia.orlova@gmail.com; the department software engineering; dr. of eng. sc.; associate professor.
Rozaliev Vladimir Leonidovich - e-mail: vladimir.rozaliev@vstu.ru; the department software engineering; cand. of eng. sc.; associate professor.
Donsckaia Anastasia Romanovna - e-mail: donsckaia.anastasiya@yandex.ru; the department software engineering; graduate student.
УДК 004.8 DOI 10.18522/2311-3103-2023-2-273-280
X-Б. Штанчаев
НЕСТАТИСТИЧЕСКИЕ МЕТОДЫ АВТОМАТИЧЕСКОГО ИЗВЛЕЧЕНИЯ ПРИЧИННО-СЛЕДСТВЕННЫХ СВЯЗЕЙ ИЗ ТЕКСТА
Автоматическое извлечение причинно-следственных связей (ПСС) из текстов естественного языка является сложной проблемой искусственного интеллекта. Большинство первых попыток ее решения подразумевали использование, построенных вручную лингвистических и синтаксических правил на небольших наборах данных. Однако с появлением больших данных, доступной вычислительной мощности и с большим скачком в области машинного обучения, концепция решения данной проблемы постепенно сдвинулась. В данной статье рассмотрена парадигма нестатистического подхода к извлечению причинно-следственных связей, ее основа, языковые конструкции, шаблоны и классификация ПСС. Целью стало исследование методов данной парадигмы определение их недостатков, преимуществ и возможности их применения. В статье рассмотрены различные подходы, приведенные авторами достаточно известных и высоко цитируемых исследовательских работ и их влияние на успешность извлечения причинно-следственных связей. Анализ этих научных работ однозначно подтвердил, что задача извлечения ПСС является крайне сложной задачей обработки естественного языка. Наличие разнообразных лингвистических конструкций языка, двусмысленности различного рода, а также языковые особенности очень сильно влияют на точность извлечения ПСС. Почти все нестатистические методы столкнулись с проблемой узкоспециализированных областей знаний, где почти всегда требуется экспертное описание. Так же практически все нестатистические методы являются ручными или же полуавтоматическими, т. к. предполагают построение шаблонов для определения ПСС в тексте. Несмотря на то, что нестатические методы с достаточной точностью (в среднем 70-80%) успешно справляются с рассматриваемой задачей, на сегодняшний день отсутствует универсальный метод для извлечения ПСС. Предполагаемый метод должен быть универсальным относительно языков, универсальным относительно предметных областей и с возможностью определения неявных ПСС.
Причинно-следственные связи; причинные знания; причинные отношения; обработка естественного языка; двусмысленность; компьютерная лингвистика.
Kh.B. Shtanchaev
NON-STATISTICAL METHODS OF AUTOMATIC EXTRACTION OF CAUSAL RELATIONSHIPS FROM THE TEXT
Most of the first attempts to extraction of causal relationship were tied with complex and manual linguistic patterns, syntactic rules and small datasets based on domain. This article examines the paradigm of a non-statistical approach to the extraction of causal relationships, its basis, language constructs, patterns, and classification of causal relationships. The aim was to study the methods of this paradigm, to determine their disadvantages, advantages, and the possibility of their application.
