CC BY
203. Кибилдс А.А. Мировая практика использования бюджетного федерализма в экономической системе государств федеративного типа / Российский внешнеэкономический вестник. - 2010. - №7. URL: https://cyberleninka.ru/ (дата обращения: 10.12.2019).
4. Dye T.R. American federalism: Competition among governments. — Massachusetts-Toronto, 1990.
5. Hughes G., Smith S. Economic aspects of decentralized government: Structure, functions and finance. — London, 1991.
УДК 339.372.5
6. Federal Transfers to Provinces and Territories: Canada Health Transfer // Canada Department of Finance. 2010. - 120 p.
7. Финансовая система США. Официальный сайт. URL:http://www.globfin.ru/ (дата обращения: 08.12.2019).
8. Trading Economics. Официальный сайт: URL: https://ru.tradingeconomics.com/country (дата обращения: 04.12.2019).
OPTICAL-INFORMATION SYSTEM OF IDENTIFICATION OF THE PERSON IN RETAIL TRADE
Ozolina V.
4th year student at the department of information technology and mathematics, Saint Petersburg University of management and economics, Saint Petersburg
Dagaev A.
Candidate of technical sciences Associate professor at the department of information technology and mathematics Saint Petersburg University of management and economics, Saint Petersburg
Maiorov E.
Candidate of technical sciences, associate professor Head of the department of mathematics and information technology University at the inter-parliamentary assembly of EurAsEC, Saint Petersburg
ОПТИКО-ИНФОРМАЦИОННАЯ СИСТЕМА ИДЕНТИФИКАЦИИ ЛИЧНОСТИ В РОЗНИЧНОЙ
ТОРГОВЛЕ
Озолина В.О
студент 4-го курса кафедры информационных технологий и математики Санкт-Петербургский университет технологий управления и экономики
г. Санкт-Петербург Дагаев А.В.
кандидат технических наук, доцент кафедры информационных технологий и математики Санкт-Петербургский университет технологий управления и экономики
г. Санкт-Петербург Майоров Е.Е. кандидат технических наук, доцент заведующий кафедрой математики и информационных технологий Университет при Межпарламентской Ассамблее ЕврАзЭС
г. Санкт-Петербург
Abstract
This article discusses the issue of identity in the process of retail trade. The importance of the vision system for this area of business is emphasized. The paper presents the architecture of the optical information system for facial recognition. The main risks associated with identification, as well as the reliability of the selected system are shown. The article in the form of a figure providing subsystems, graphical dependencies of retail revenue for the last 5 years were presented. The results of the FNIR and FNMR tests, as well as net retail sales from 2011 to 2017, were obtained.
Аннотация
В настоящей статье рассматривается вопрос о идентификации личности в процессе розничной торговли. Подчеркивается важность системы технического зрения для данной области бизнеса. В работе представлена архитектура оптико-информационной системы для распознавания лиц. Показаны основные риски, связанные с идентификацией, а также достоверность выбранной системы. В статье приведены в виде рисунка обеспечивающие подсистемы, графические зависимости розничной выручки за последние 5 лет. Получены результаты тестов FNIR и FNMR, а также чистой розничной продажи с 2011 по 2017 год.
Keywords: vision system, camera, image, risk, model, retail.
Ключевые слова: система технического зрения, камера, образ, риск, модель, розничная торговля.
За последние 3 года рынок компьютерного зрения для бизнеса вырос в 2,5 раза. В сфере ретейла технологии распознавания лиц позволяют увеличить лояльность клиентов, делая привычные операции более быстрыми и комфортными, и уменьшить издержки путём оптимизации ряда сложных задач. Вам предстоит погрузиться в бизнес-процессы современной розничной торговли и разработать собственную стратегию интеграции системы распознавания лиц в торговые сети X5 Retail Group.
Х5 Retail Group возникла более 20 лет назад из предпринимательской инициативы, целью которой было построить в России компанию современной розничной торговли по лучшим мировым практикам. Первый магазин «Перекрёсток» открылся в Москве в 1995 году.
Сегодня X5 Retail Group — ведущая российская компания розничной торговли, управляющая магазинами «у дома» под брендом «Пятёрочка», супермаркетами под брендом «Перекрёсток», гипер-маркетами под брендом «Карусель».
X5 Retail Group создаёт ретейл следующего поколения. В центре него — покупатель и его потребности. Товары в нём доступны и онлайн, и офлайн, роль традиционных магазинов при этом изменится. И главное, все эти изменения начались под влиянием инноваций.
Основные прикладные направления инноваций в Х5 — это:
• всё, что связано с опытом покупателя;
• внутренние операции;
• цепочки поставок;
• Бэк-офис и управление.
Внутри каждой из этих четырёх задач есть сотни проектов.
Список технологических направлений велик, однако приоритет компания отдаёт видеоаналитике, роботизации, компьютерному зрению, большим данным, интернету вещей, виртуальной и дополненной реальности. В каждой из названных областей Х5 тестирует несколько решений, многие проекты — на стадии пилотов. Так или иначе, многие из названных технологий применяются в решениях, которые Х5 использует не один год. Например, это система управления лояльностью, где только в «Пятёрочке» обрабатываются данные 29 млн клиентов. Это учётная система, где хранится беспрецедентный для российского ретейла объем данных. Это система GIS-аналитики, которая аккумулирует массивы данных из разных источников и где применяются в том числе инструменты машинного обучения. За всем этим стоит большая ИТ-инфраструктура с тремя дата-центрами [1].
В 2018 году X5 Retail Group открыла магазин-лабораторию для быстрого технического тестирования новых технологий. Сотрудники лаборатории тестируют в торговом зале технологии электронных ценников, видеоаналитики, «умной полки» и Face Recognition.
Технологии распознавания образов уже сейчас помогают решать многие задачи, которые ставят перед собой ретейл-компании. X5 Retail Group уже внедрила решения в области компьютерного зрения
во многие торговые точки своей сети. «Всевидящее око» в десятки раз ускорило контроль плано-граммЗ, на 10 % сократило количество людей, уходящих из магазина без покупок, и на 20 % — потери магазинов. С помощью различных технологий контролируется правильность выкладки и количество товаров на полке, отслеживается количество людей в очередях, определяются самые посещаемые отделы в магазинах, а также распознаются лица покупателей, пол, возраст, эмоции и настроение.
В сфере розничной торговли важно удерживать старых клиентов и формировать постоянную клиентскую базу. В среднем лояльный покупатель принсит на 60-70 % больше денег, а его удержание оценивается в 7 раз дешевле, чем привлечение нового посетителя. Чтобы мотивировать клиентов совершать повторные покупки, компании разрабатывают программы лояльности.
Типичным примером программы лояльности служит дисконтная карта, которая предоставляет постоянным покупателям бонусы и скидки. С момента приобретения такой карты клиенту становится выгоднее покупать товары в магазинах выбранной сети. Вероятность того, что он уйдёт, уменьшается, а выручка с этого клиента, наоборот, растёт.
Однако существующие реализации подобных программ недостаточно удобны с точки зрения клиента. Ему необходимо постоянно носить с собой карту или скачивать мобильные приложения. Если кассир не спросит о наличии карты, клиент может о ней забыть. Кроме того, карту можно передать другу или потерять. Все эти факторы ухудшают клиентский опыт от использования карты и уменьшают потенциальную выручку магазина [2].
Современные технологические возможности позволяют сделать процесс пользования услугами, входящими в программу лояльности, более комфортным. Система распознавания лиц избавит клиента от необходимости иметь карту при себе или устанавливать мобильные приложения. Она сможет моментально идентифицировать покупателя, как только он подойдёт к кассе, что сделает процесс покупки более быстрым и удобным.
Одной из важных частей программы лояльности является рекомендательная система, способная, на основе имеющихся данных, подбирать для конкретного клиента наиболее релевантные товары и услуги. Автоматическая идентификация человека в торговой точке делает возможной реализацию рекомендательной системы непосредственно в магазине.
Современные методы анализа данных позволяют подбирать релевантные продукты для покупателей исходя из действий клиента. Это, в свою очередь, увеличивает продажи компании. Такие системы популярны в онлайн магазинах, так как отследить действия покупателя на сайте довольно легко. Например, Amazon получает 35 % своей выручки от рекомендательных систем.
Реализация рекомендательной системы в торговых точках требует умения устанавливать факт присутствия конкретного человека в магазине,
чтобы вовремя уведомить покупателя. Сейчас су-ществу-ют некоторые решения этой проблемы. Например, смартфоны могут определить геопозицию с высокой точностью. Или для получения рекомендации клиенту необходимо сделать несколько кликов в мобильном приложении магазина. Но все эти методы недостаточно удобны с точки зрения покупателя: ему всё равно нужно каждый раз совершать определённый набор действий для получения рекомендации. Чаще всего люди об этом забывают. При помощи компьютерного зрения можно распознать человека, пришедшего в магазин. Такой подход не требует никаких действий от клиента — система всё делает сама.
Одной из важных частей программы лояльности является рекомендательная система, способная, на основе имеющихся данных, подбирать для конкретного клиента наиболее релевантные товары и услуги. Автоматическая идентификация человека в торговой точке делает возможной реализацию рекомендательной системы непосредственно в магазине [3].
Современные методы анализа данных позволяют подбирать релевантные продукты для покупателей исходя из действий клиента. Это, в свою очередь, увеличивает продажи компании. Такие системы популярны в онлайн магазинах, так как отследить действия покупателя на сайте довольно легко. Например, Amazon получает 35 % своей выручки от рекомендательных систем.
Реализация рекомендательной системы в торговых точках требует умения устанавливать факт присутствия конкретного человека в магазине, чтобы вовремя уведомить покупателя. Сейчас су-ществу-ют некоторые решения этой проблемы. Например, смартфоны могут определить геопозицию с высокой точностью. Или для получения рекомендации клиенту необходимо сделать несколько кликов в мобильном приложении магазина. Но все эти методы недостаточно удобны с точки зрения покупателя: ему всё равно нужно каждый раз совершать определённый набор действий для получения рекомендации. Чаще всего люди об этом забывают. При помощи компьютерного зрения можно распознать человека, пришедшего в магазин. Такой подход не требует никаких действий от клиента — система всё делает сама.
Архитектура системы и модели распознавания лиц. Архитектура всех современных систем распознавания лиц в целом одинакова:
1. Камера дает изображение.
2. Картинка обрабатывается детектором, основная задача которого — распознать лица и выровнять их. После этого этапа все изображения должны обладать заранее заданной размерностью.
3. После детектора предобработанные изображения лиц попадают на нейросетевой распознаватель, который строит для каждого из них характеристический профиль.
4. Происходит поиск наиболее похожего профиля в базе.
5.Если степень схожести больше некоторого заданного граничного значения, система отвечает, что этот человек присутствует в базе.
С детектированием хорошо справляются различные каскады свёрточных нейронных сетей, таких как MTCNN[2, 4]
4. На этом этапе выполняются следующие действия:
1. Выделяется прямоугольник, ограничивающий лицо.
2. Выделяются ключевые точки лица. Лучшие результаты показывают модели, выделяющие пять ключевых точек: нос, внутренние и внешние уголки глаз. В некоторых случаях число ключевых точек может быть увеличено.
3. Строится некоторое преобразование и применяется к изображению так, чтобы ключевые точки на всех фото находились в одном месте (при этом размеры всех изображений совпадают).
Построение характеристического профиля лица, как и задача детектирования, решается нейросетевым подходом.
Выход последнего слоя сети называется эм-беддингом — репрезентативным представлением лица в некотором пространстве малой размерности (как правило, 128-мерном).
Лицо человека отображается в некоторую окрестность пространства. Когда система получает на вход новое изображение, происходит идентификация: для каждого из лиц определяется, к какой части пространства оно принадлежит. Если лицо не отображается ни в одну из имеющихся окрестностей, значит, оно в базе отсутствует.
Определить точность модели помогают две величины:
Ошибки первого рода — ситуация, когда человека нет в базе, но модель опознаёт его как человека, присутствующего в ней. В биометрии эта величина называется FAR (false access rate).
Ошибки второго рода — ситуации, когда человек есть в базе, но модель его пропустила. В биометрии эта величина называется FRR (false reject rate) или FNMR (false nonmatch rate).
Допустить ошибку второго рода хуже, чем первого. Например, работая с нежелательными посетителями, система опознала некоего человека как нарушителя, хотя он таковым не является. В таком случае кражи не произойдёт, потому что клиент на самом деле окажется добросовестным. Но если система пропустит человека, который является нежелательным клиентом, то вероятность совершения преступления увеличится. Поэтому при оценке систем распознавания лиц и других биометрических систем в первую очередь смотрят на ошибки второго рода [5].
Риски и ограничения технологии. Можно выделить три основных риска, связанных с использованием системы распознавания лиц в сетях розничной торговли:
1. Недоверие клиентов.
Многие покупатели скептично относятся к подобного рода инновациям и отказываются предоставлять свои данные для их дальнейшего использования системой.
2. Точность выбранной системы распознавания лиц.
Различные технологии могут показывать разные результаты распознавания при равных начальных условиях.
3. Внедрение системы. Необходимо учитывать особенности выбранной технологии и конкретных торговых точек, в которые она будет внедряться.
Недоверие клиентов.
Согласно опросу, проведённому в США в 2016 году среди покупателей, около 67 % не хотят, чтобы их биометрические данные хранились в системе распознавания лиц.[3] После подсчёта результатов этого опроса американская сеть универмагов Saks Fifth Avenue полностью отказалась от внедрения этой системы в свои магазины.[4, 6] Это говорит о том, что у значительного числа покупателей выработано недоверие к современным технологиям, и оно может негативно повлиять на эффективность внедрения подобных систем.
Точность выбранной системы распознавания лиц. Многие компании предлагают свои вари-
анты для решения задачи распознавания лиц, и каждое из них обладает разной степенью точности. Более того, их сложно оценить на практике, поскольку тестовые данные зачастую имеют малую степень корреляции с реальными. Сегодня самые точные оценки проводит американский национальный институт стандартов (NIST). Их тестирование наиболее близко к использованию систем в реальных проектах и охватывает большое количество кейсов. Тестирование происходит следующим образом: производитель разрабатывает модель, отправляет её в NIST, где она проходит закрытое независимое тестирование. Система высчитывает метрику FNMR (False NonMatch Rate). Это вероятность того, что модель не распознает человека, изображения лица которого присутствуют в базе. Чем ближе это значение к нулю, тем лучше модель.
В 2018 году NIST внесли изменения в свои данные для тестирования wild faces — изображения лиц людей, полученных с разных ракурсов, зачастую размытых. Именно такие изображения чаще всего получают камеры видеонаблюдения в реальных условиях.
На рис. 1 представлена статистика изменения метрики FNMR для моделей двух независимых компаний за 13 месяцев.
Рис.1 Метрики FNMR для двух моделей из отчетов NIST
Данные взяты из отчётов №БТ[5]. На графике видно, что с марта по май точность распознавания для двух разных моделей возросла одновременно почти в 10 раз. При этом КЮТ заявили, что они сильно упростили базу для теста, что сделало тестирование более удалённым от реальных условий. На данный момент сложно спрогнозировать точность системы распознавания лиц в реальных условиях до внедрения системы в бизнес-процессы. Даже такие независимые тесты, как проверки КЮТ, не могут гарантировать эффективности системы. После упрощения базы оценки моделей на тестах сильно разняться с оценками, полученными в реальных условиях. Это создаёт риск того, что система не будет приспособлена к решению и даст много ложных
срабатываний [7]. В таком случае потребуется больше ресурсов на её поддержание, что в итоге может привести к тому, что система не окупится. Ложные срабатывания также негативно повлияют на лояльность клиентов к бренду, внедрившему систему распознавания лиц.
Описание оптико-информационной системы. При внедрении системы распознавания лиц важно грамотно продумать, как именно будет размещена необходимая аппаратура в торговой точке. Различные системы требуют разных начальных условий для получения необходимой точности распознавания. Например, некоторые алгоритмы способны хорошо работать только с прямым и чётким
изображением лица. Неудачное расположение камер видеонаблюдения может привести к получению изображения недостаточного качества, что, в свою очередь, повлечёт ошибки системы распознавания. Лояльность клиентов к бренду понизится.
При внедрении технологии распознавания лиц в программы лояльности или рекомендательные системы нужно чётко понимать, в какой момент времени и каким образом произойдёт взаимодействие покупателя с системой. Необходимо сделать его максимально удобным с точки зрения клиентского
опыта. Если процесс получения рекомендации или бонуса по программе лояльности покажется клиенту неудобным, уровень его доверия к системе понизится. Это повлечёт за собой отказ покупателей от использования новой технологии [8].
« Jerry view system» - предлагаемая система распознавания лиц в розничной торговле, состоит из 5 подсистем (рис. 2). Каждая из нижепредстав-ленных подсистем несет в себе определенные функции:
Рис.2 Подсистемы
Чистая розничная выручка, млрд руб.
■ Перекрёсток ■ Пятёрочка ■ Карусель
1 250.00
1 000.00
750.00
500.00
250.00
0,00
■I- J. 1II-
201 3
2014
201 5
201 6
2017
201 0
Рис. 3 Розничная выручка
В декабре 2017 года на долю держателей карт лояльности приходилось 63% чистой розничной выручки сети. Средний чек члена «Клуба Перекресток» на 38% превышал размер среднего чека по всем магазинам сети в целом. В общей сложности в трех розничных форматах X5 было зарегистрировано 41,1 миллиона пользователей карт лояльности по состоянию на 31марта 2018г.
Российский разработчик решений в области нейронных сетей NTechLab, запустил новую версию продукта для бизнеса с уникальным комплексом услуг FindFace Enterprise Server SDK 2.0, алгоритм которого занял первую позицию в рейтинге
мирового бенчмарка Facial Recognition Vendor Test, организованного Национальным институтом стандартов и технологий Министерства торговли США [9]. Обновленная версия сервера SDK 2.0 обладает широкой функциональностью. Появилась возможность распознавания семи базовых и 50 составных эмоций людей, определения пола и возраста с погрешностью не более трех лет. При этом повысилась точность и скорость работы самого алгоритма распознавания лиц — поиск по базе в 1 миллиард фотографий занимает менее 0,5 секунд и обеспечивает 20 миллионов сравнений в секунду на четы-рехядерном процессоре.
0,25 0,5 0,75
Рис. 4 Данные тестов
Реализация концепции системы распознавания лиц в розничные торговли увеличит прибыль на 30% и повысит её популярность.
Основные направления системы:
- визуализация и создание 3d модели площади торговой точки;
- мониторинг трафика посетителей;
- хранение данных об участниках программы лояльности;
- рекомендации на основе истории покупок и данных программы.
FindFace Enterprise Server SDK использует собственную нейронную сеть. Высочайшие скорость и точность алгоритма, подтверждённые сертификатом NIST-2017 и победой в MegaFace Challenge 2015, задают новые стандарты развития отрасли для внедрения решений, которые до недавнего времени считались невероятными [10].
Вероятность ошибки составляет 1 на 1 000 000. С набором данных в 10 000 элементов, точность идентификации превышает 95%, а точность
верификации превышает 99%. Алгоритм определяет пол человека по фотографии с точностью 99 % и возраст в пределах 3-х лет с точностью 95 %. Также определяются основная и второстепенная эмоции.
Благодаря синергетическому эффекту от внедрения системы в розничную торговлю, в долгосрочной перспективе будут поддерживаться высокие темпы роста.
Стоимость внедрения системы во все торговые точки сетей составляет 77 390 369 635,00 рублей;
Ежегодное обслуживание обойдётся в 9 645 507 600,00 рублей;
При заключении договора по предоставлению систем распознавания лиц на особых условиях стоимость проекта и его обслуживание будет меньше.
Система позволит сократить издержки на 12% и увеличит прибыль на 27-28%
Система полностью окупит себя за 10 месяцев работы.
Рис. 5 Динамика чистой розничной продажи
СПИСОК ЛИТЕРАТУРЫ:
1. Компьютерное зрение и распознавание образов [Электронный ресурс] Режим доступа: https://arxiv.org/abs/1604.02878 (дата обращения: 13.03.2019).
2. CREEPY OR COOL 2016 [Электронный ресурс] Режим доступа: https://www.richrele-vance.com/blog/2016/06/21/creepy-cool-2016-sec-ond-annual-richrelevance-study-reveals-consumer-at-titudes-towards-todays-shopping-experiences/ (дата обращения: 13.03.2019).
3. Приложения распознавания лиц - безопасность, розничная торговля и не только [Электронный ресурс] Режим доступа: https://emerj.com/ai-sector-overviews/facial-recognition-applications/ (дата обращения: 13.03.2019).
4. Тест поставщика распознавания лиц (FRVT) [Электронный ресурс] Режим доступа:
https://www.nist.gov/programs-projects/face-recogni-tion-vendor-test-frvt-ongoing (дата обращения: 13.03.2019).
5. Чай Поинт набирает обороты в формате кафе с 100-м магазином в Бангалоре [Электронный ресурс] Режим доступа: https://your-story.com/2018/06/chai-point-forays-cafe-format-100th-store-bengaluru (дата обращения: 13.03.2019).
6. Facial recognition tells barista coffee order [Электронный ресурс] Режим доступа: https://www.dailymail.co.uk/news/article-5236957/Facial-recognition-tells-barista-coffee-order.html (дата обращения: 13.03.2019).
7. Распознавание лиц для розничной торговли [Электронный ресурс] Режим доступа: https://findface.pro/ru/industries/face-recognition-for-retail.html (дата обращения: 13.03.2019).
8. Блог NtechLab/FindFa О машинном обучении, нейронных сетях и распознавании лиц [Элек-
тронный ресурс] Режим доступа: https://blog.find-face.pro/kak-flndface-pomogaet-ritejlu-predotvrash-hat-mnogomillionnye-poteri-kejs-partnera / (дата обращения: 13.03.2019).
9. Как Findface помогает ритейлу предотвращать многомиллионные потери [кейс партнера] [Электронный ресурс] Режим доступа: https://blog.findface.pro/kak-findface-pomogaet-ritejlu-predotvrashhat-mnogomillionnye-poteri-kejs-partnera/ (дата обращения: 13.03.2019).
10. Вокорд внедрила систему распознавания лиц Vocord FaceControl в гипермаркете «Бауцентр» в Калининграде [Электронный ресурс] Режим доступа: http ://www.tadviser. гиЛМех^р/Проект:Бауц ентр_(УосоМ_РасеСопй"о1) (дата обращения: 13.03.2019).
11. Five Minute Guide to Face Recognition for Retail [Электронный ресурс] Режим доступа: https://www.facefirst.com/wp-content/up-loads/2017/04/Five-Minute-Guide-to-Face-Recogni-tion-for-Retai1.pdf (дата обращения: 13.03.2019)
