Научная статья на тему 'АВТОМАТИЧЕСКАЯ СИСТЕМА КОНТРОЛЯ АКТИВНОСТИ ПОКУПАТЕЛЕЙ В МАГАЗИНЕ С МОДУЛЯМИ ОЦЕНКИ РАБОТЫ ЕГО СОТРУДНИКОВ'

АВТОМАТИЧЕСКАЯ СИСТЕМА КОНТРОЛЯ АКТИВНОСТИ ПОКУПАТЕЛЕЙ В МАГАЗИНЕ С МОДУЛЯМИ ОЦЕНКИ РАБОТЫ ЕГО СОТРУДНИКОВ Текст научной статьи по специальности «Компьютерные и информационные науки»

CC BY
112
10
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
НЕЙРОННАЯ СЕТЬ / ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ / РАСПОЗНАВАНИЕ ПОЗЫ ЧЕЛОВЕКА / МОНИТОРИНГ ПОВЕДЕНИЯ / NEURAL NETWORK / ARTIFICIAL INTELLIGENCE / RECOGNITION OF HUMAN POSE / BEHAVIOR MONITORING

Аннотация научной статьи по компьютерным и информационным наукам, автор научной работы — Розалиев Владимир Леонидович, Аболеева-Зотова Алла Викторовна, Ульев Андрей Дмитриевич, Алексеев Алексей Владимирович, Орлова Юлия Александровна

В статье представлен метод автоматического распознавания изображений продавцов - консультантов на основе каскада нейросетей и уточняющих алгоритмов, а также рассмотрены методы контроля поведения продавца - консультанта. Описана технология захвата и ведения покупателя между камерами, а также способы интеграции в программный продукт системы идентификации личности для возможной работы с уникальными предпочтениями покупателя, такими как: история покупок, формирование интересных товаров, добавление покупателя в «черный список» и т.д. Кроме того, в статье представлены средства определения уровня взаимодействия продавца - консультанта с покупателем магазина, способные в автоматическом режиме дать оценку качеству оказания услуг продавцом. Проведен краткий обзор систем с похожими функциональными характеристиками. Представлено описание предлагаемой методики, показаны полученные результаты и пути их улучшения.

i Надоели баннеры? Вы всегда можете отключить рекламу.

Похожие темы научных работ по компьютерным и информационным наукам , автор научной работы — Розалиев Владимир Леонидович, Аболеева-Зотова Алла Викторовна, Ульев Андрей Дмитриевич, Алексеев Алексей Владимирович, Орлова Юлия Александровна

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

AUTOMATIC SYSTEM FOR MONITORING THE ACTIVITY OF CUSTOMERS IN THE STORE WITH MODULES FOR EVALUATING THE WORK OF THE STORE EMPLOYEE

The article presents a method for automatic recognition of sales consultants based on a cascade of neural networks and clarifying algorithms, as well as methods for controlling the behavior of a sales consultant. The article describes the technology of capturing and leading the buyer between cameras, as well as ways to integrate an identity identification system into the software product for possible work with unique preferences of the buyer, such as: purchase history, formation of interesting products, adding the buyer to the "black list", etc.In addition, the article presents tools for determining the level of interaction between the seller-consultant and the buyer of the store, which can automatically assess the quality of services provided by the seller. A brief overview of systems with similar functional characteristics is given. The proposed method is described, the results obtained and ways to improve them are shown.

Текст научной работы на тему «АВТОМАТИЧЕСКАЯ СИСТЕМА КОНТРОЛЯ АКТИВНОСТИ ПОКУПАТЕЛЕЙ В МАГАЗИНЕ С МОДУЛЯМИ ОЦЕНКИ РАБОТЫ ЕГО СОТРУДНИКОВ»

DOI 10.21672/2074-1707.2020.50.2.022-032 УДК 004.81

АВТОМАТИЧЕСКАЯ СИСТЕМА КОНТРОЛЯ АКТИВНОСТИ ПОКУПАТЕЛЕЙ В МАГАЗИНЕ С МОДУЛЯМИ ОЦЕНКИ РАБОТЫ ЕГО СОТРУДНИКОВ1

Статья получена редакцией 26.02.2020, в окончательном варианте — 05.06.2020.

Розалиев Владимир Леонидович, Волгоградский государственный технический университет, 400005, Российская Федерация, г. Волгоград, пр. им. Ленина, 28,

кандидат технических наук, доцент, ORCID 0000-0002-7372-8364, e-mail: vladimir.rozaliev@gmail.com

Заболеева-Зотова Алла Викторовна, Волгоградский государственный технический университет, 400005, Российская Федерация, г. Волгоград, пр. им. Ленина, 28,

доктор технических наук, профессор, ORCID 0000-0003-1918-667X, e-mail:zabzot@gmail.com Орлова Юлия Александровна, Волгоградский государственный технический университет, 400005, Российская Федерация, г. Волгоград, пр. им. Ленина, 28,

доктор технических наук, доцент, ORCID 0000-0003-4854-7462, e-mail: yulia. orlova@gmail .com

Ульев Андрей Дмитриевич, Волгоградский государственный технический университет, 400005, Российская Федерация, г. Волгоград, пр. им. Ленина, 28, магистрант, e-mail: ulyev-ad@yandex.ru

Алексеев Алексей Владимирович, Волгоградский государственный технический университет, 400005, Российская Федерация, г. Волгоград, пр. им. Ленина, 28, аспирант, e-mail: alekseev.yeskela@gmail.com

В статье представлен метод автоматического распознавания изображений продавцов-консультантов на основе каскада нейросетей и уточняющих алгоритмов, а также рассмотрены методы контроля поведения продавца-консультанта. Описана технология захвата и ведения покупателя между камерами, а также способы интеграции в программный продукт системы идентификации личности для возможной работы с уникальными предпочтениями покупателя, такими как: история покупок, формирование интересных товаров, добавление покупателя в «черный список» и т.д. Кроме того, в статье представлены средства определения уровня взаимодействия продавца-консультанта с покупателем магазина, способные в автоматическом режиме дать оценку качеству оказания услуг продавцом. Проведен краткий обзор систем с похожими функциональными характеристиками. Представлено описание предлагаемой методики, показаны полученные результаты и пути их улучшения.

Ключевые слова: нейронная сеть, искусственный интеллект, распознавание позы человека, мониторинг поведения

AUTOMATIC SYSTEM FOR MONITORING THE ACTIVITY OF CUSTOMERS IN THE STORE WITH MODULES FOR EVALUATING THE WORK OF THE STORE EMPLOYEE

The article was received by the editorial board on 26.02.2020, in the final version — 05.06.2020.

Rozaliev Vladimir L., Volgograd State Technical University, 28 Lenin Ave., Volgograd, 400005, Russian Federation,

Cand. Sci. (Engineering), Associate Professor, ORCID 0000-0002-7372-8364, e-mail: vladimir.rozaliev@gmail.com

Zaboleeva-Zotova Alla V., Volgograd State Technical University, 28 Lenin Ave., Volgograd, 400005, Russian Federation,

Doct. Sci. (Engineering), Professor, ORCID 0000-0003-1918-667X, e-mail: zabzot@gmail.com Orlova Yulia A., Volgograd State Technical University, 28 Lenin Ave., Volgograd, 400005, Russian Federation,

Doct. Sci. (Engineering), Associate Professor, ORCID 0000-0003-4854-7462, e-mail: yulia. orlova@gmail .com

Ulyev Andrey D., Volgograd State Technical University, 28 Lenin Ave., Volgograd, 400005, Russian Federation,

master student, e-mail: ulyev-ad@yandex.ru

Alexeev Alexey V., Volgograd State Technical University, 28 Lenin Ave., Volgograd, 400005, Russian Federation,

postgraduate student, e-mail: alekseev.yeskela@gmail.com

1 Работа выполнена при частичной поддержке РФФИ и администрации Волгоградской области (гранты 18-07-00220, 19-47-343001, 19-47-340003, 19-07-00020, 19-47-340009, 19-37-90060).

The article presents a method for automatic recognition of sales consultants based on a cascade of neural networks and clarifying algorithms, as well as methods for controlling the behavior of a sales consultant. The article describes the technology of capturing and leading the buyer between cameras, as well as ways to integrate an identity identification system into the software product for possible work with unique preferences of the buyer, such as: purchase history, formation of interesting products, adding the buyer to the "black list", etc.In addition, the article presents tools for determining the level of interaction between the seller-consultant and the buyer of the store, which can automatically assess the quality of services provided by the seller. A brief overview of systems with similar functional characteristics is given. The proposed method is described, the results obtained and ways to improve them are shown.

Keywords: neural network, artificial intelligence, recognition of human pose, behavior monitoring

Graphical annotation (Графическая аннотация)

t

t"

Î

£ Группа сотрудников I Group of employees

I

J

Группа покупателей Group of buyers

I

J

Агрессивное поведение Aggressive behavior

Спокойное поведение Calm behavior

/

/

/ /

Классификация человека в кадре

Classification of the person in the fíame

! _fcj

Контроль поведения Behavior contrai

ч

Контроль удовлетворенное™ покупателя*

Customer satisfaction monitoring*

Контроль оказания услуг сотрудников

Monitoring the provision of employee seivices

Покупатель недоволен The buyer is not happy

i i i i

ГТо купат ел ь доьолеч The buyer is satisfied

I ¡Заинтересоеанностъ сотруни"г[а| I

II The i nterest of the employes ■ ? _ i_________! i

Отстраненное отношение Detaceied attitude

I t

Введение. Современная эпоха характеризуется переходом от экономики производителей к экономике потребителей. В условиях ужесточения конкуренции в сфере торговли и оказания услуг особое значение приобретают клиентоориентированные сервисы.

Основной проблемой внедрения таких сервисов является человеческий фактор, контроль за которым проблематичен в связи с отсутствием готовых программных продуктов.

Обеспечение должного качества оказания услуг становится основной задачей рыночной стратегии развития бизнеса.

Для повышения качества обслуживания предлагается разработка и внедрение программного продукта для контроля за деятельностью продавцов-консультантов посредством анализа их работы с использованием оборудования для видеофиксации, а также для идентификации и анализа заинтересованности покупателя.

Работа программного продукта основана на алгоритме Pose Estimator [10], который позволяет определить позу человека [11]; на уточняющих алгоритмах; на использовании вспомогательных нейросетей, которые помогают идентифицировать покупателя и продавца-консультанта, а также определить качество оказываемых им услуг.

Предлагаемая методика. Для решения поставленной проблемы мы предлагаем использовать каскад из двух нейронных сетей, а также ряд методов и алгоритмов:

• быстрая нейронная сеть Fast Pose Estimator, обученная на архитектуре mobilenet;

• алгоритм стабилизации «ключевых» точек, позволяющий определить те точки туловища человека, которые не смогла распознать нейросеть;

• нейронная сеть для определения характера поведения продавца-консультанта и сотрудника магазина;

• алгоритмы отслеживания людей в кадре;

• библиотека «Face Recognition» для идентификации покупателей и продавцов.

На рисунке 1 представлена общая архитектура программы. «Модуль 1» (нейронная сеть для распознавания позы человека) запускается параллельно с «модулем 2» (нейронная сеть для идентификации покупателей и продавцов). После распознавания данные от «модуля 2» обрабатываются в «модуле 3» и передаются в «модуль 1».

В «модуле 1» последовательно вызываются метод 5 для стабилизации «ключевых точек» и метод 6 для распознавания сотрудника по внешнему виду. После чего последовательно вызывается метод для межкамерного трекинга, который получает данные из потока работы «модуля 3» для идентификации покупателя и сотрудника.

Затем «модули 4 и 8» запускаются параллельно.

Зеленым цветом на диаграмме выделены разработанные и успешно протестированные модули, красным цветом - модули, находящиеся в стадии проектирования.

Рисунок 1 - Общая архитектура программы

Обзор аналогов. Стоит отметить, что готовых программных продуктов, позволяющих решить рассмотренные в этой статье проблемы автоматического распознавания сотрудника и покупателя, а также обеспечить видеоконтроль за качеством оказания услуг, нет. Аналогичные программные продукты выполняют лишь часть необходимых задач.

Простейшим примером интеллектуального видеонаблюдения является обнаружение движения и некоторого события в кадре. В 2000-х гг. появились первые системы видеоаналитики, способные распознавать объекты и события в кадре. Большинство решений работают с технологиями распознавания лиц. Решения в этой области разрабатывают фирмы Apple, Facebook, Google, Intel, Microsoft и другие технологические гиганты. Системы видеонаблюдения с автоматической идентификацией пассажиров установлены в некоторых аэропортах США [1]. В Австралии разрабатывают биометрическую систему распознавания лиц и отпечатков пальцев в рамках программы, предназначенной для автоматизации паспортного и таможенного контроля. Есть интересный проект компании NTechLab [12]. Она показала систему, способную распознавать пол, возраст и эмоции в реальном времени, используя изображение с видеокамеры. Система может оценивать реакцию аудитории в реальном времени. Поэтому можно идентифицировать эмоции, которые посетители испытывают во время презентаций или трансляции рекламных сообщений. Все проекты NTechLab построены на самообучающихся нейронных сетях. В нашей системе на текущем этапе работы мы не используем данные о лице человека. Мы планируем внедрить эту часть в дальнейшей работе над проектом.

В других существующих системах используется функция отслеживания объектов - трэкинг. Работа модулей отслеживания связана с работой детектора движения. Для построения траекторий движения выполняется последовательный анализ каждого кадра, на котором присутствуют движущиеся объекты. В общем случае несколько движущихся объектов могут присутствовать

в одном кадре. Поэтому программе необходимо не только создавать траектории, но и различать объекты и их перемещения. В простейшей реализации отслеживания рассматривается два кадра и строится траектория движения объекта. На начальном этапе отмечаются движения на текущем и предыдущем кадрах. Затем, с использованием анализа скорости, определяется направление движения объектов, а также их размеры, вероятности перехода объектов из одной точки траектории в другую точку. Наиболее вероятные движения назначаются каждому объекту и добавляются к траектории. Объекты в кадре могут двигаться по-разному: их траектории могут пересекаться, они могут исчезать и снова появиться. Программа создает графики - анализирует переходы объектов из одного состояния в другое. Чтобы понять, к какому объекту движется человек, анализируются скорости и направления движения, положение тела, цветовые характеристики объекта. В результате образуется множество наиболее вероятных перемещений объекта между кадрами, образующих траекторию. Мы используем этот подход в нашей системе.

В качестве аналогов может выступить работа с GPS-трекерами. Данные системы работают на основе использования геолокации. Для реализации данного решения необходимо каждого из сотрудников оснастить отдельными GPS-трекерами, данные с которых с некоторым интервалом времени будут поступать на сервер. Однако такое решение имеет ряд минусов.

1. Решение экономически затратное, поскольку необходимо закупить GPS-трекеры для всего персонала.

2. Нельзя исключать ситуацию, при которой продавец может отдать свой GPS-трекер напарнику, чтобы «обмануть» систему.

3. Такое решение не является универсальным. В то же время при идентификации продавцов-консультантов через камеру возможно расширить функционал, определять уровень и время взаимодействия продавца с покупателем и многое другое.

Также к аналогам относятся системы подсчета количества посетителей на видеопотоке [8, 14], позволяющие определять траектории движения посетителей. Данные системы также имеют ряд недостатков, главным из которых является невозможность определения продавцов-консультантов и качества оказываемых ими услуг. Пример работы таких продуктов представлен на рисунке 2.

Рисунок 2 - Пример вывода траектории движения программы для подсчета количества посетителей

Итак, на текущий момент не существует единого программного средства, способного в полной мере осуществить слежение за сотрудниками магазина, оценить уровень их взаимодействия с покупателем, выявить «опасных» покупателей в магазине.

Разработанные и протестированные модули. Первый этап - использование нейросети «Fast Pose Estimation». Основной задачей этой нейронной сети является установление позы человека путем непараметрического представления, названного разработчиками Part Affinity Fields (PAFs), для дальнейшего определения местоположения униформы продавца консультанта (фирменная футболка, кепка и т.д.). Работа нейросети осуществляется на группе камер с разрешением от 360px, при этом входная камера для идентификации личности должна иметь разрешение 720px и более.

Главное преимущество нейросети заключается в высокой скорости работы. После разработки модуля в процессе тестирования нами было установлено, что один кадр обрабатывается за 1-2 секунды на GPU (вычисления производятся на видеокарте устройства) и 5-8 секунд на CPU (вычисления производятся на процессоре устройства). В качестве главного недостатка можно выделить уменьшение качества работы по сравнению с классической версией Pose Estimtor.

Входными данными для алгоритма «Pose Estimator» является графическое изображение продавца-консультанта, на выходе - изображение с выделенными частями тела человека.

Модели позы человека CNN обычно состоят из нескольких повторяющихся «строительных блоков» с идентичной структурой. Среди них «Hourglass» являются одним из наиболее распространенных строительных блоков.

Разработчиками Pose Estimation была предложена архитектура CNN из 8-ми ступеней песочных часов, каждая из которых имеет 9 остаточных блоков с 256 каналами в каждом слое.

При тщательном эмпирическом исследовании разработчики неожиданно обнаружили, что половины числа этапов достаточно для достижения более 95 % способности обобщать модель в крупномасштабном тесте MPII. Кроме того, каналы для каждого слоя также считаются избыточными, а уменьшение половины их числа (128) приводит только к менее чем 1%-му падению производительности.

Основываясь на этом результате анализа, разработчики создали очень легкую архитектуру CNN для оценки позы всего с одной шестой вычислительной стоимостью исходного проекта.

Результат работы данной нейросети можно увидеть на рисунке 3.

Рисунок 3 - Пример результата работы нейросети Fast Pose Estimator с выделенными частями тела человека

Второй этап работы - алгоритм стабилизации «ключевых» точек туловища человека. Скелет человека строится от начальной точки, находящейся под горлом. Далее распознаются глаза, плечи и таз [7]. От плечей достраиваются руки, от точек таза - ноги, от глаз - уши. Таким образом, ключевой для построения является точка под горлом - далее будем называть ее начальной. Ввиду высокого качества работы, нейросеть способна определять позу человека в любом положении.

Необходимо определить доминирующий цвет футболки продавца. Для повышения качества работы предлагается следующий алгоритм нахождения недостающих «ключевых» точек, основанный на информации о структуре строения тела человека. Рассмотрим один из вариантов нахождения недостающей «ключевой» точки туловища.

Если было распознано только одно плечо человека, то второе плечо можно достроить. Алгоритм нахождения точки плеча: отложить равный отрезок от проекции начальной точки на нормаль точки найденного плеча в сторону «ненайденного плеча» с размером, равным размеру расстояния от проекции точки на нормаль точки найденного плеча до точки найденного плеча. На этапе тестирования разработанного модуля в общей архитектуре приложения было выявлено улучшение качества работы программы за счет использования этого алгоритма на 17 %.

Пример работы алгоритма стабилизации ключевых точек представлен на рисунке 4.

До После

Рисунок 4 - Пример нахождения отсутствующей точки второго плеча

Таким образом, используя информацию об анатомическом строении тела человека, можно определить примерное расположение недостающих точек плечей и таза. При наличии только начальной точки предлагается определять некоторую область фиксированного размера на туловище человека - путем отложения области ниже ключевой точки на N пикселей.

Третий этап - определение доминантного цвета на участке униформы. Основной задачей данного этапа является установление доминантного цвета на участке униформы человека для отнесения его в группу продавцов-консультантов. В рамках данного алгоритма на вход поступает изображение от «Fast Pose Estimator» с положениями «ключевых точек» частей тела человека. На основе них происходит выделение необходимого участка одежды человека [13, 15]. Пример работы модуля представлен на рисунке 5.

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

Рисунок 5 - Выделение участка одежды продавца-консультанта

Для реализации определения доминантного цвета в установленной области можно использовать следующие методы: определение отношения принадлежности пикселя к заданному набору цветов и кластеризация методом k-средних [3]. В работе мы используем метод k-средних.

Обучение внешнему виду продавцов консультантов. Определить только лишь цвет одежды человека недостаточно для отнесения его к группе продавцов-консультантов. Необходимо учесть различные условия освещенности помещения в разное время суток, а также вероятность того, что в помещении могут быть осветленные и затемненные участки. Таким образом, распознанный цвет формы может варьироваться.

Для решения этой проблемы необходимо обучить систему всем возможным цветам, которые могут быть «считаны» с одежды продавца-консультанта.

Администратор системы в начале работы с программой должен запустить режим обучения. С его помощью устанавливаются преобладающие цвета униформы случайно движущегося по магазину продавца-консультанта, «воспринимаемые» видеокамерой.

На основе преобладающих цветов одежды продавца-консультанта формируется «средний доминирующий цвет». Он является опорной точкой в формировании цветового диапазона для отнесения человека к группе продавцов-консультантов. Цветовой диапазон формируется с учетом погрешности, установленной администратором, путем откладывания равных отрезков по векторам H, S, V в положительном и отрицательном направлениях. В процессе тестирования модуля качество работы (точность распознавания продавца-консультанта) составило 87 %.

Межкамерный трэкинг. Для контроля за перемещением сотрудников и клиентов в помещениях магазина предлагается использовать ряд алгоритмов и методов межкамерного слежения. Указанный модуль позволит «провести» человека «между кадрами» одной камеры, а также распознать человека, если он покинул зону видимости одной камеры и вошел в зону видимости другой камеры.

Отслеживание основано на данных, возвращаемых алгоритмом Pose Estimator на первом этапе, и данных, возвращаемых алгоритмами стабилизации «ключевых» точек на втором этапе. Таким образом, мы не применяем сторонние нейронные сети, не разрабатываем новые, а используем данные, полученные ранее от нейронной сети Fast Pose Estimator. Это позволяет значительно увеличить скорость работы программы.

Предлагается разделить площадь тела человека, полученную из алгоритма стабилизации «ключевых» точек, на пять равных областей, определить доминирующий цвет для каждой области и сформировать цветовой диапазон (эти алгоритмы описаны на этапах 3 и 4, они используются повторно) [6]. Кроме того, Pose Estimator возвращает координаты точек и других частей тела. Однако ноги и руки не имеют сплошного контура, и двумерная область не может быть сформирована на основе двух точек

(левого верхнего и нижнего правого углов области). Поэтому предлагается сформировать небольшую область вокруг точки у горла из N пикселей. Мы использовали этот подход в алгоритме стабилизации «ключевых» точек на втором этапе. Для сформированных областей вокруг точки у горла также устанавливается доминирующий цвет и рассчитывается цветовой диапазон. После этого массиву с найденными цветовыми диапазонами присваивается ключ, идентифицирующий человека в кадре.

На этапе отслеживания области вокруг точки у горла действуют вышеупомянутые алгоритмы, один из которых теперь проверяет появление доминирующего цвета найденной области в ранее установленном цветовом диапазоне. В случае появления такой области (из 5-ти определенных областей), границы цветовой области уточняются для улучшения качества работы.

Если процент нахождения найденных областей в цветовом диапазоне превышает 50 % от общего количества областей для одного человека, то найденному человеку присваивается ключ, сгенерированный на первом этапе распознавания. Пример, демонстрирующий работоспособность модуля для отслеживания человека, можно увидеть на рисунке 6.

в

Рисунок 6 - Пример работы алгоритмов отслеживания человека (а, б, в)

Идентификация сотрудников и клиентов. Задача идентификации продавцов и покупателей довольно сложна из-за низкого качества изображений с видеокамер. Мы предлагаем ряд модулей и аппаратных средств для решения этой проблемы.

Предлагается на входе в магазин установить камеру с разрешением не менее 720px, с помощью которой клиенты будут идентифицироваться по лицу с использованием библиотеки python "Face Recognition". Эта библиотека проста в подключении и использовании, она включает в себя модули для поиска лица на изображении и распознавания лица по существующей базе. Таким образом, после первого посещения магазина клиент попадет в базу данных и будет идентифицироваться при каждом новом заходе в магазин. А контроль за его движением будет обеспечиваться межкамерным модулем слежения.

За полноту обрабатываемых данных отвечает фреймворк FastPoseEstimator как базовый модуль разрабатываемого приложения, ввиду чего полнота обрабатываемых данных составляет 96 %.

Для продавцов предлагается оборудовать «стартовую» точку в зале (например, при выходе из служебного помещения). В этой точке также будет располагаться камера 720px, позволяющая идентифицировать сотрудника. Дальнейшее перемещение сотрудника будет контролироваться модулем межкамерного слежения. Модуль протестирован и успешно введен в работу.

На рисунке 7 представлен пример правильной работы программы, когда в кадре находится один сотрудник магазина в униформе (определено: посетителей - 0, работников - 1).

Рисунок 7 - Пример работы программы при распознавании сотрудника магазина

Модули, находящиеся на стадии проектирования. Анализ качества общения продавца с покупателями. После отнесения людей в кадре к группам покупателей и продавцов программа в автоматическом режиме контролирует качество оказываемых продавцами-консультантами услуг.

Для оценки качества коммуникации продавца [5] с клиентом предлагается использовать набор алгоритмов и каскад нейронных сетей.

Основной задачей этих алгоритмов является определение нахождения продавца рядом с покупателем, а также контроль за персонализацией обращения сотрудника к покупателю.

Для реализации контроля за персонализацией обращения сотрудника к покупателю предлагается определять «область обзора» людей, находящихся в кадре. Продавец-консультант всегда должен взаимодействовать с покупателем, находиться в области «обзора» покупателя и рассказывать о преимуществах товаров. Таким образом, для реализации задачи необходимо построить «область обзора» покупателя по данным о местонахождении его глаз и ушей, получаемых от Fast Pose Estimator. После этого определить сектор пересечения этих областей и «угол взаимодействия» покупателя с продавцом.

Если области не пересекаются или «угол взаимодействия» меньше, чем угол, установленный оператором программного продукта, то считается, что продавец находится рядом с покупателем, но никак с ним не взаимодействует. Примеры алгоритмов определения «области обзора» представлены на рисунке 8.

Для определения заинтересованности и эмоциональности продавца-консультанта при взаимодействии с покупателем предлагается использовать нейронные сети, определяющие указанные выше параметры по поведению продавца-консультанта: скорости движения рук, перемещению по магазину для сопровождения покупателя, движениям для демонстрации товаров и т.д. Кроме того, планируется использование отдельной нейросети от Microsoft [9], которая по выражению лица покупателя и его поведению будет определять его удовлетворенность услугами, оказываемыми продавцом-консультантом.

omo oJP

Seller advises buyer Seller advises buyer

o o Seller does not advises buyer o e Seller does rot advises buyer

■ Seiler ■ Buyer

Рисунок 8 - Пример определения «области обзора» покупателя

Вывод о работе продавца магазина составляется на основе всех факторов, определяющих взаимодействие с покупателем. После чего в конце месяца рассчитывается оценка каждому продавцу, контактирующему с покупателями. Модуль находится на стадии проектирования.

Заключение. С целью усовершенствования технологического процесса детектирования продавца-консультанта возможна разработка дополнительного функционала.

Например, для более точного определения персонала возможен анализ сразу нескольких элементов униформы (например, желтая футболка и черные штаны). Кроме того, возможен поиск на униформе логотипов компании, нахождение которых позволит со значительно большей уверенностью определить человека как сотрудника магазина. При этом можно будет выделить именно продавцов-консультантов (или лиц, временно исполняющих эту роль), так как именно они контактируют в торговом зале с покупателями.

Еще одним фактором, позволяющим детектировать продавца, может служить определение поведения, характерного для продавца-консультанта, обслуживающего клиента. Для решения этой задачи нам понадобится создание еще одной нейронной сети.

Также возможно выявить дополнительные факторы, позволяющие определить качество работы продавца магазина, такие как представление товара покупателям, не остановившимся у стеллажа с товаром, а проходящих мимо него.

Кроме того, планируется реализовать возможность установки «мертвых зон» в программе. Данная функция позволит установить тип «не человек» для тех объектов, которые нейронная сеть Fast Pose Estimator определяет как людей. Данный функционал будет доступен администратору программы, который в ручном режиме сможем отмечать «мертвые зоны».

Таким образом, разрабатываемый программный продукт (сейчас реализован его прототип) позволит улучшить работу продавца-консультанта и, как следствие, приведет к улучшению клиен-тоориентированности бизнеса магазина.

Эта работа является продолжением работы [2, 4], где были рассмотрены особенности и возможности определения характерных жестов и их смысловых значений.

Библиографический список

1. БКТ. - Режим доступа: https://cabling.ru/otraslevye-resheniya/videonablyudenie-v-aeroporte/, свободный. - Заглавие с экрана. - Яз. рус. (дата обращения: 31.03.2020).

2. Бобков А. С. Фазификация данных, описывающих движение человека / А. С. Бобков, В. Л. Розалиев // Открытые семантические технологии для проектирования интеллектуальных систем (OSTIS-2011) : материалы Международной научно-практической конференции (Минск, 10-12 февраля 2011 г) - Минск, 2011. - С. 483-486.

3. Осипова Ю. А. Применение кластерного анализа методом k-средних для классификации текстов научной направленности / Ю. А. Осипова, Д. Н. Лавров // МСиМ. - 2017. - №3 (43). - Режим доступа: https://cyberleninka.ru/artide/n/primenenie-klasternogo-analiza-metodom-k-srednih-dlya-klassifikatsii-tekstov-nauchnoy-napravlennosti, свободный. - Заглавие с экрана. - Яз. рус. (дата обращения: 01.11.2018).

4. Розалиев В. Л. Определение движений и поз для идентификации эмоциональных реакций человека / В. Л. Розалиев, Ю. А. Орлова // 11-ая Международная конференция по распознованию образов и анализу изображений: новые информационные технологии (PRIA-11-2013), Самара, 23-28 сентября 2013 г : труды конференции. - Самара, 2013. - № 2. - С. 713-716.

5. Ульянова О. А. Психологические особенности продавцов-консультантов сетевого маркетинга / О. А. Ульянова // Вестник Самарской гуманитарной академии. Серия: Психология. - 2013. - № 1. -Режим доступа: https://cyberleninka.ru/article/n/psihologicheskie-osobennosti-prodavtsov-konsultantov-setevogo-marketinga, свободный. - Заглавие с экрана. - Яз. рус. (дата обращения: 01.11.2018).

6. Хорунжий М. Д. Метод количественной оценки цветов различий при восприятии цифровых изображений / М. Д. Хорунжий // Вестник НГУ Серия: Информационные технологии. - 2008. - № 1. -

Режим доступа: https://cyberleninka.ru/article/n/metod-kolichestvennoy-otsenki-tsvetov-razlichiy-pri-vospriyatii-tsifrovyh-izobrazheniy, свободный. - Заглавие с экрана. - Яз. рус. (дата обращения: 03.11.2018).

7. Angjoo Kanazawa. End-to-end Recovery of Human Shape and Pose / Angjoo Kanazawa, Michael J. Black, David W. Jacobs, Jitendra Malik - Режим доступа: https://www.researchgate.net/publication/321902575_End-toend_Recovery_of_Human_Shape_and_Pose?discoverMore=1, свободный. - Заглавие с экрана. - Яз. англ.

8. Axis. - Режим доступа: https://www.axis.com/files/datasheet/ds_people_counter_t10098444_ru_1804.pdf, свободный. - Заглавие с экрана. - Яз. рус. (дата обращения: 31.03.2020).

9. Azure Microsoft. - Режим доступа: https://azure.microsoft.com/ru-ru/services/cognitive-services/face/#demo, свободный. - Заглавие с экрана. - Яз. рус. (дата обращения: 31.03.2020).

10. Cao Z. Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields / Z. Cao, T. Simon, S.-E. Wei & Y. Sheikh. - 2016. - Режим доступа: http://arxiv.org/abs/1611.08050, свободный. - Заглавие с экрана. - Яз. англ.

11. Insafutdinov E. Deepercut: A deeper, stronger, and faster multi-person pose estimation model / E. Insafutdi-nov, L. Pishchulin, B. Andres, M. Andriluka, and B. Schiele. - 2016. - Режим доступа: https://arxiv.org/pdf/1605.03170.pdf, свободный. - Заглавие с экрана. - Яз. рус.

12. NTechLab. - Режим доступа: https://ntechlab.ru/. свободный. - Заглавие с экрана. - Яз. рус. (дата обращения: 09.03.2020).

13. Iqbal U. Multi-person pose estimation with local joint-to-person associations / U. Iqbal and J. Gall // ECCV Workshops, Crowd Understanding. - 2016. - Режим доступа: https://arxiv.org/pdf/1608.08526.pdf, свободный. - Заглавие с экрана. - Яз. англ.

14. Watcom. - Режим доступа: https://www.watcom.ru/products/sistema_podscheta_posetiteley /?utm_source=google&utm_medium=cpc&utm_campaign=%7Bcampaign_id%7D&utm_content=%7Bad_id%7D &utm_term=%2Bвидеокамера%20%2Bподсчет%20%2Bпосетителей&gclid=Cj0KCQjw1Iv0BRDaARIsAGTW D1uK7s0ZfcIt_HJ2Wzp_NaLnp77xNvvaCKQcXzL4grFqpR0RZTJa040aAuU7EALw_wcB, свободный. -Заглавие с экрана. - Яз. рус. (дата обращения: 31.03.2020).

15. Zhe Cao. Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields // Robotics Institute Carnegie Mellon University. - Pittsburgh, Pennsylvania, 2017. - Режим доступа: http://www.ri.cmu.edu/wp- con-tent/uploads/2017/04/thesis.pdf, свободный. - Заглавие с экрана. - Яз. англ.

References

1. BKT [BKT]. Available at: https://cabling.ru/otraslevye-resheniya/videonablyudenie-v-aeroporte/ (accessed 31.03.2020).

2. Bobkov A. S., Rozaliev V. L. Fazzifikatsiya dannykh, opisyvayushchikh dvizhenie cheloveka [Fuzzifica-tion of data describing the movement of a person]. Otkrytye semanticheskie tekhnologii dlyaproektirovaniya intel-lektualnykh sistem (OSTIS-2011): materialy Mezhdunarodnoy nauchno-tekhnichnicheskoy konferentsii [Open semantic technologies for the design of intelligent systems (0STIS-2011): materials of International scientific technical conference (Minsk, Feb. 10-12, 2011)]. Minsk, 2011, pp. 483-486.

3. Osipova Yu., Lavrov D. Primenenie klasternogo analiza metodom k-srednikh dlya klassifikatsii tekstov nauchnoy napravlennosti [Application of cluster analysis by k-means method for classification of scientific texts]. 2017. Available at: https://cyberleninka.ru/article/nprimenenie-klastemogo-anahza-metodom-k-srednih-dlya-klassifikatsii-tekstov-nauchnoy-napravlennosti.

4. Rozaliev V. L., Orlova Yu. A. Opredelenie dvizheniy i pozy dlya identifikatsii emotsionalnykh reaktsiy cheloveka [Recognition of gesture and poses for the definition of human emotions]. 11-ya Mezhdunarodnaya kon-ferentsiya po raspoznavaniyu obrazov i analizu izobrazheniy: novye informatsionnye tekhnologii (PRIA-11-2013), Samara, 23-28 sentyabrya 2013 g.: trudy konferentsii [11th International Conference of Pattern Recognition and Image Analysis: New Information Technologies (PRIA11-2013), Samara, September 23-28, 2013: Conference Proceedings], 2013, vol. 2, pp. 713-716

5. Ulyanova O. Psikhologicheskie osobennosti prodavtsov-konsultantov setevogo marketinga [Psychological features of network marketing sales consultants]. 2012. Available at: https://cyberleninka.ru/article/n/psihologicheskie-osobennosti-prodavtsov-konsultantov-setevogo-marketinga.

6. Khorunzhiy M. D. Metod kolichestvennoy otsenki tsvetovykh razlichii v vospriyatii tsifrovykh izobrazheniy [The method of quantitative estimation of color differences in the perception of digital images.]. Nauchno-tekhnicheskiy vestnik informatsionnykh tekhnologiy, mekhaniki i optiki [Scientific and technical herald of information technologies, mechanics and optics]. 2008. Available at: https://cyberleninka.ru/article/n/metod-kolichestvennoy-otsenki-tsvetov-razlichiy-pri-vospriyatii-tsifrovyh-izobrazheniy.

7. Angjoo Kanazawa, Michael J. Black, David W. Jacobs, Jitendra Malik. End-to-end Recovery of Human Shape and Pose. Available at: https://www.researchgate.net/publication/321902575_End-toend_Recovery_of_Human_Shape_and_Pose?discoverMore=1

8. Axis. Available at: https://www.axis.com/files/datasheet/ds_people_counter_t10098444_ru_1804.pdf (accessed 31.03.2020).

9. Azure Microsoft. Available at: https://azure.microsoft.com/ru-ru/services/cognitive-services/face/#demo (accessed 31.03.2020).

10. Cao Z., Simon T., Wei S.-E. & Sheikh Y Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields. 2016. Available at: http://arxiv.org/abs/1611.08050.

11. Insafutdinov E., Pishchulin L., Andres B., Andriluka M. and B. Schiele. Deepercut: A deeper, stronger, and faster multi-person pose estimation model. 2016. Available at: https://arxiv.org/pdf/1605.03170.pdf.

12. NTechLab. Available at: https://ntechlab.ru/ (accessed 09.03.2020).

13. Iqbal U. and Gall J. Multi-person pose estimation with local joint-to- person associations. ECCV Workshops, Crowd Understanding. 2016. Available at: https://arxiv.org/pdf/1608.08526.pdf.

14. Watcom. Available at: https://www.watcom.ru/products/sistema_podscheta_posetiteley /?utm_source=google&utm_medium=cpc&utm_campaign=%7Bcampaign_id%7D&utm_content=%7Bad_id%7D&ut m_term=%2BBHgeoKaMepa%20%2BnogcHer%20%2BnocerHreneH&gclid=Cj0KCQjw1Iv0BRDaARIsAGTWD1uK 7s0ZfcIt_HJ2Wzp_NaLnp77xNvvaCKQcXzL4grFqpR0RZTJa040aAuU7EALw_wcB (accessed 31.03.2020).

15. Zhe Cao (2017). Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields. Robotics Institute Carnegie Mellon University. Pittsburgh, Pennsylvania, 2017. Available at: http://www.ri.cmu.edu/wp-content/uploads/2017/04/thesis.pdf.

DOI 10.21672/2074-1707.2020.50.2.032-043 УДК 004.94

МЕТОДЫ И МОДЕЛИ ИДЕНТИФИКАЦИИ ЗАПАСОВ ТЕХНОЛОГИЧЕСКИХ БЛОКОВ РУДНИКА ПОДЗЕМНОГО СКВАЖИННОГО ВЫЩЕЛАЧИВАНИЯ УРАНА

Статья поступила в редакцию 01.05.2020, в окончательном варианте — 05.06.2020.

Подрезов Денис Рустамович, Национальный исследовательский технологический университет «МИСиС», 119049, Российская Федерация, г. Москва, Ленинский проспект, 4,

соискатель, e-mail: dpodrezov81@rambler.ru

Содержания урана в пластово-инфильтрационных месторождениях достаточно низкое и составляет десятые и сотые доли процента. Такой тип месторождений целесообразно разрабатывать без извлечения руды на поверхность. Одним из эффективных способов добычи урана в таких месторождениях является подземное скважинное выщелачивание. Многие предприятия урановой отрасли, ведущие отработку месторождений данным способом, сталкиваются с проблемой несоответствия геологических и непосредственно вскрытых запасов металла на технологических добычных блоках. Такие несоответствия связаны прежде всего с результатами интерпретации геофизических данных. В свою очередь это затрудняет прогноз геолого-технологических параметров эксплуатационных объемов бурения скважин при вводе блоков в эксплуатацию; расходов материалов и реагентов на закисление и последующее выщелачивание. В работе проведен сравнительный анализ геофизических методов оценки запасов технологического блока рудника подземного скважинного выщелачивания урана. Рассмотрены методы кернового геологического опробования и специфические геофизические методы определения параметров геологических запасов урановых руд, такие как гамма-каротаж и метод мгновенных нейтронов деления. Для данных методов определены специфические особенности статистической интерпретации получаемых данных и обоснованы причины систематических и случайных (по статистическим критериям) расхождений в параметрах рудных интервалов для различных классов руд и морфологических элементов рудной залежи. Установлено, что качество результатов каротажа удовлетворительное, а сами результаты обладают высокой степенью достоверности и могут быть использованы для количественной оценки коэффициента радиоактивного равновесия рудных интервалов. Показаны возможности формирования по статистической базе данных разведочных и технологических скважин регрессионных взаимосвязей коэффициента радиоактивного равновесия от среднего содержания радия в рудном интервале; определения на этой основе численных значений параметров рудных интервалов для мешковых и крыльевых элементов рудной залежи. Полученные результаты позволили провести статистическое моделирование и определить диапазоны коррекции мощности рудных интервалов для различных морфологических границ на основе выявления трендов графиков бортовых кондиций.

Ключевые слова: идентификация запасов, регрессионные взаимосвязи коэффициента радиоактивного равновесия, статистическое моделирование рудных интервалов, прирост запасов, ресурсный потенциал месторождения

METHODS AND MODELS OF IDENTIFICATION OF RESERVES OF TECHNOLOGICAL UNITS OF URANIUM WELL LEACHING MINE

The article was received by the editorial board on 01.05.2020, in the final version — 05.06.2020.

Podrezov Denis R., National University of Science and Technological "MISiS", 4 Leninskiy Prospekt, Moscow, 119049, Russian Federation,

applicant, e-mail: dpodrezov81@rambler.ru

Uranium content in formation and infiltration deposits is rather low and amounts to tenths and hundreds percent. This deposit type is advantageous to develop without extracting ore to the surface. One effective way to extract uranium in such fields is underground well leaching. Many uranium industry enterprises working in this way are faced with the geological mismatch problem and directly exposed metal reserves on process mining blocks. Such inconsistencies are primarily related to the geophysical data interpretation results. In turn, this makes it difficult to predict geological and technological parameters well drilling operational volumes during the units commissioning; materials consumption and

i Надоели баннеры? Вы всегда можете отключить рекламу.