ПРИМЕНЕНИЕ ТЕХНОЛОГИЙ КОМПЬЮТЕРНОГО ЗРЕНИЯ В ЭКОНОМИКЕ И ОБРАЗОВАНИИ Текст научной статьи по специальности «Компьютерные и информационные науки»

Б01 10.24411/2077-7639-2019-10088

Применение технологий компьютерного зрения в экономике и образовании

Онокой Л.С., Морев Е.А

Статья посвящена исследованию инновационных технологий компьютерного зрения и их использованию в различных сферах деятельности, в первую очередь, в российской экономике. Технологии компьютерного зрения базируются на интеграции методов искусственного интеллекта и технологии регистрации и обработки изображений реальных объектов. Особое внимание авторы статьи уделяют системам распознавания лиц, которые в настоящее время являются одним из наиболее популярных решений технологии компьютерного зрения. Они, как показывает практика, успешно применяются в компаниях ритейла, промышленных предприятиях и организациях финансового сектора. В статье приводится описание архитектуры и алгоритм работы системы распознавания лиц, разработанной российской компанией БасешеШс, которая работает в области технологий компьютерного зрения и интернета вещей. На основе исследования функциональных возможностей систем распознавания лиц авторы доказывают эффективность их использования в традиционном и особенно дистанционном образовании, основными проблемами которого являются отсутствие контроля вовлеченности обучающихся в учебный процесс и ограниченные возможности контроля обучающихся во время экзаменов и зачетов. Авторы разработали список основных показателей, характеризующих поведение обучающихся во время занятий и контрольных мероприятий. Эти показатели способна собрать и рассчитать система распознавания лиц без участия человека. На основе этих показателей преподаватели могут объективно оценить работы дистанционных обучающихся. В статье приведена и подробно описана схема организации дистанционного экзамена или зачета с использованием системы распознавания лиц. В заключении статьи приводится авторское видение перспектив развития технологий компьютерного зрения.

для цитирования гост 7.1-2003

Онокой Л.С., Морев Е.А. Применение технологий компьютерного зрения в экономике и образовании // Дискуссия. - 2021. -Вып. 104. - С. 24-30.

ключевые слова

Цифровизация, цифровой бизнес, бизнес-модели, бизнес-процессы, цифровой продукт, искусственный интеллект, система распознавания лиц, интернет вещей.

JEL: О32

Введение. В настоящее время российское общество претерпевает существенные изменения под влиянием новых информационных технологий. В первую очередь это касается российской экономики, которая в 21 веке активно развивается по законам цифровизации. Как отмечает исследовательская и консалтинговая компания Gartner

«цифровизация - это использование цифровых технологий с целью изменения бизнес-модели и создания новых возможностей получения прибыли и создания ценности; процесс перехода к цифровому бизнесу» [1]. В соответствии с общемировыми тенденциями цифровизация российской экономики влечет значительные ее изме-

DOI 10.24411/2077-7639-2019-10088

Application of computer vision technologies in economics and education

Onokoy L.S., Morev E.A

The article is devoted to the study of innovative computer vision technologies and their use in various fields of activity, primarily in the Russian economy. Computer vision technologies are based on the integration of artificial intelligence methods and technologies for registering and processing images of real objects. The authors of the article pay special attention to face recognition systems, which are currently one of the most popular solutions for computer vision technology. As practice shows, they are successfully used in retail companies, industrial enterprises, and organizations of the financial sector. The article describes the architecture and algorithm of the face recognition system developed by the Russian company Facemetric, which works in the field of computer vision technologies and the Internet of Things. Based on the study of the functional capabilities of face recognition systems, the authors prove the effectiveness of their use in traditional and especially distance education, the main problems of which are the lack of control over the involvement of students in the educational process and the limited ability to control students during exams and tests. The authors developed a list of the main indicators that characterize the behavior of students during classes and control activities. These indicators can be collected and calculated by the face recognition system without human intervention. Based on these indicators, teachers can objectively evaluate the work of distance learners. The article presents and describes in detail the scheme of organizing a remote exam or test using a facial recognition system. The article concludes with the author's vision of the prospects for the development of computer vision technologies.

for citation

Onokoy L.S., Morev E.A. Application of computer vision technologies in economics and education. Diskussiya [Discussion], 104, 24-30.

keywords

Digitalization, digital business, business models, business processes, digital product, artificial intelligence, face recognition system, Internet of Things.

JEL: О32

нения, а именно: появление новых и трансформацию старых практик управления компаниями; создание цифровых продуктов, бизнес-моделей и бизнес-процессов; переход к цифровому управлению бизнесом.

Одним из инновационных технологических решений, эффективно применяемых в целях совершенствования различных бизнес-процессов, является компьютерное зрение. Компьютерное зрение - это активно развивающееся сегодня научное направление, базирующееся на интеграции методов искусственного интеллекта и технологии регистрации и обработки изображений реальных объектов с целью решения различных

прикладных задач без участия или с минимальным участием человека [2]. Компьютерное зрение пользуется заслуженной популярностью, так как позволяет осуществлять распознавание изображений, включая человеческие лица, жесты и позы, документы и их отдельные реквизиты, печатные и рукописные тексты, регистрировать движения людей, машин и оборудования, контролировать корректность выполнения технологических операций, выявлять дефекты оборудования и продукции, определять числовые параметры объектов [3].

На основании вышеизложенного технологии компьютерного зрения реализованы и успешно применяются в системах управления процессами,

это, в первую очередь, промышленные роботы и автономные транспортные системы, а также в системах видеонаблюдения, дополненной реальности, моделирования объектов и окружающей среды и т.д.

Как показывает практика, реализация систем компьютерного зрения зависит от многих факторов, в том числе от области применения, аппаратного обеспечения и требований к производительности. Вместе с тем можно выделить типовые функции, которые присущи большинству систем компьютерного зрения [4]:

— получение изображений;

— предварительная обработка изображений;

— выделение отдельных деталей;

— детектирование1 / сегментация2 ;

— высокоуровневая обработка, которая обеспечивает «осмысление», с точки зрения решаемой задачи, набора распознанных объектов.

Цель исследования. На основе анализа функциональности технологий компьютерного зрения обосновать их применимость в образовании, особенно в дистанционной его форме.

Материалы и методы исследования. В качестве методов исследования были использованы классификационный и сравнительный виды ана-

лиза для обобщения, систематизации и группировки научных материалов по теме исследования.

Результаты исследования и их обсуждение. Среди решений на основе технологий компьютерного зрения особой популярностью пользуются системы распознавания лиц, которые применяются в торговых организациях для аудита посещаемости торговых залов, в банковских системах безопасности для идентификации клиентов, а также в системах контроля и управления доступом в организации и отдельные закрытые зоны [5].

Одним из российских разработчиков систем компьютерного зрения является компания Facemetric (ООО «Нейрометрика»). Начиная с 2014 года, она занимается разработкой платформы и приложений на основе технологий компьютерного зрения и интернета вещей для решения задач маркетинга, службы безопасности, мер-чандайзинга и др. Системы, спроектированные Facemetric, реализуют поиск необходимой информации в видеопотоке, её обработку, анализ и представление в удобном для использования виде [6].

На рис. 1 представлена архитектура системы распознавания лиц от компании Facemetric.

а мям по «чготли

должностей СОТ*.

ЦОД

•Хранение и классификация объектов •Верификация и идентификация объектов

Ф

Рис. 1. Архитектура системы распознавания лиц

г

Организация

•Видеосъемка •Детектирование и трекинг объектов

ис

•Аналитика бизнес-данных •Интеграция приложений

1 Детектирование включает поиск объектов на изображении, их отметку и классификацию.

2 Сегментация предусматривает поиск объектов и отделение их от заднего фона.

На первом этапе благодаря средствам видеосъемки осуществляется предварительный отбор лиц для анализа, который включает:

— детектирование лица;

— отслеживание его перемещений (трекинг);

— коллекционирование ракурсов;

— сбор кадров в пакет и отправку их на сервер.

— возможна также реализация дополнительных функций:

— анализ времени нахождения лица перед камерой;

— подсчет количества лиц в зоне камеры.

Затем объекты для хранения и обработки

по Интернет-каналам передаются в Центры Обработки Данных (ЦОД). На втором этапе с применением самообучающихся нейро-сете-вых алгоритмов последнего поколения в ЦОД осуществляется классификация, верификация и идентификация объектов.

Третий завершающий этап включает анализ полученных данных. Компания Facemetric разработала специальное программное приложение, позволяющее выполнять любые аналитические исследования, ориентированные на конкретные задачи заказчика, используя при необходимости ресурсы внутренней системы заказчика за счёт API (Application Programming Interface, программный интерфейс приложения)1, обладающего широкими возможностями для интеграции приложений.

Система распознавания лиц от компании Facemetric уже используется и хорошо себя зарекомендовала в компаниях ритейла, промышленных предприятиях и организациях финансового сектора.

В ритейле она анализирует посетителей, распознает их эмоции, выявляет клиентов VIP-категории и нежелательные лица, а также сигнализирует об их появлении. В ее функции также входит исследование показателей конверсии, лояльности и вовлеченности покупателей, проверка ценников и сравнение наименования товара с наименованием в чеке.

Решение для промышленных предприятий осуществляет контроль технологических процессов и производства продукции, выполняет оценку размера, выявляет дефекты и брак, а также распознает наличие специальных средств защиты.

Система для финансового сектора реализует функцию биометрической авторизации, осуще-

1 Application Programming Interface (программный интерфейс приложения) - набор инструментов, которые позволяют приложениям взаимодействовать между собой.

ствляет автоматическое управление доступом в зоны с ограничением.

Если в экономике технологии компьютерного зрения уже применяются и доказали свою эффективность, в российском образовании они пока практически не используются. Вместе с тем дистанционное обучение, к которому вынужденно перешли образовательные учреждения многих стран в период пандемии, показало значительное снижение качества образования из-за отсутствия у используемых систем видеоконференции функций отслеживания вовлеченности аудитории в занятия и контрольные мероприятия. Сопровождающие процесс дистанционного обучения системы не располагали средствами отображения на экране преподавателя всех обучающихся одновременно, не регистрировали взаимодействия обучающихся с третьими лицами, не отмечали отсутствие обучающихся у экранов компьютеров и т.д. Особенно эти недостатки дистанционного обучения сказывались на объективности оценки качества знаний обучающихся в период сессии или при проведении контрольных мероприятий. Как следствие, преподаватели отмечали снижение мотивации обучающихся и ухудшение их знаний.

Разработка и внедрение системы распознавания лиц для контроля и управления образовательным процессом позволит решить эту проблему [7, 8, 9, 10]. Авторское исследование потенциала таких систем показало, что они способны обеспечить:

— управление списками студентов, предоставляя доступ к очному/дистанционному занятию только обучающимся;

— контроль наличия/отсутствия студентов;

— контроль вовлеченности обучающихся в образовательный процесс (регистрация наличия/ отсутствия концентрации внимания на учебном материале, разговоров по телефону и т.д.);

— регистрацию ухода студента с рабочего места, передвижения его внутри помещения, выхода из помещения и оповещение об этом преподавателей или методистов;

— учет времени проведения лекции или экзамена;

— предоставление отчетности в графическом, текстовом и табличном виде.

По результатам анализа очного/дистанционного занятия системой распознавания лиц могут быть собраны и рассчитаны следующие показатели:

— время пребывания обучающегося в учебной аудитории/классе/лаборатории в абсолют-

ных и относительных единицах измерения (ХХ% времени);

— количество (Ы раз) и продолжительность времени (суммарно или в процентах) использования мобильного телефона обучающимся; Каждый случай может дополнительно регистрироваться путем фотофиксации;

— оценка визуальных контактов обучающегося с преподавателем, местом отображения учебной информации (доской) в абсолютных (количество) и относительных единицах измерения (ХХ% времени);

— оценка визуальных контактов обучающегося с учебником, тетрадью, ноутбуком, другим местом фиксации информации в абсолютных (количество) и относительных единицах измерения (ХХ% времени);

— оценка подозрительных действий обучающихся, не связанных с образовательным процессом, в абсолютных (количество) и относительных единицах измерения (ХХ% времени); каждый случай может дополнительно регистрироваться путем фотофиксации.

Особого внимания, как показывает практика, требует организация контрольных мероприятий. Перед экзаменом или зачетом, по мнению авторов, необходимо осуществлять принудительную установку специализированного программного обеспечения (СПО) на личный компьютер экзаменуемого. Система распознавания лиц будет контролировать выполнение этого требования и не допускать обучающегося до экзамена/зачета,

пока он его не выполнит. Установленное СПО предназначено для того, чтобы активизировать встроенную камеру на компьютере экзаменуемого, распознать и зафиксировать экзаменуемого. Если экзаменуемый нарушает правила проведения экзамена/зачета (списывает, подсматривает, пользуется помощью третьих лиц или за него отвечает кто-то другой), система может действовать по одному из следующих сценариев:

— производить оповещение преподавателя и далее ожидать его реакции;

— выдать предупреждение экзаменуемому;

— блокировать сдачу экзамена.

По требованию преподавателя или методиста система может предоставить ему доступ к видеокамере, он визуально будет наблюдать за экзаменуемым и затем принимать решение о продолжении или прекращении экзамена, если экзаменуемый был замечен в нарушении установленных правил.

На рис. 2 представлена схема организации дистанционного экзамена или зачета с применением системы распознавания лиц.

Экзаменуемые могут находиться в любом месте, где есть Интернет-сеть, используя которую они получают экзаменационные задания и отправляют подготовленные ответы. Данные с видеокамеры, установленной на компьютере экзаменуемого, поступают на сервер видео-аналитики и обработки данных, где по окончанию экзамена формируется результирующий отчет о наличии нарушений со стороны экзаменуемого.

Рис. 2. Организация дистанционного экзамена/зачета с использованием системы распознавания лиц

Преподаватель и/или методист осуществляют компьютерный контроль проведения экзамена и могут по необходимости в любой момент подключиться к видеокамере конкретного обучающегося, который был замечен системой в отклонении от установленных правил.

Для оценки качества организации экзамена авторы рекомендуют с использованием видеокамеры регистрировать:

— наличие экзаменуемого лица перед камерой в процессе сдачи экзамена;

— наличие посторонних лиц перед камерой в процессе сдачи экзамена;

— наличие мобильного телефона в поле зрения камеры;

— количество точек концентрации внимания.

Для оценки результатов проведения дистанционного экзамена/зачета, по мнению авторов, системой распознавания лиц должны быть собраны и рассчитаны следующие показатели:

— время пребывания экзаменуемого перед компьютером в абсолютных и относительных единицах измерения (ХХ% времени);

— время пребывания посторонних лиц вместе с экзаменуемым перед компьютером в абсолютных и относительных единицах измерения (ХХ% времени). Каждый случай может дополнительно регистрироваться путем фотофиксации;

— время пребывания посторонних лиц без экзаменуемого перед компьютером в абсолютных и относительных единицах измерения (ХХ% времени). Каждый случай может дополнительно регистрироваться путем фотофиксации;

— количество (^ раз) и продолжительность времени (суммарно или в процентах) использования мобильного телефона обучающимся. Каждый

Список литературы

1. Digitalization [Электронный ресурс]. Режим доступа: https:// www.gartner.com/en/information-technoLogy/gLossary/ digitalization (дата обращения: 18.01.2021).

2. Потапов А.С. Системы компьютерного зрения. Учебное пособие [Электронный ресурс]. СПб: Университет ИТМО, 2016. 161 с. Режим доступа: https://books.ifmo.ru/fiLe/pdf/2110.pdf (дата обращения: 09.01.2021).

3. Распознавание лиц и видеоаналитика: тренды 2020 года [Электронный ресурс]. Режим доступа: https://reta i L- Loya Lty. org/news/raspoznavanie-Lits-i-videonabLyudenie-trendy-2020-goda/?id=2914209_(дата обращения: 09.01.2021).

4. Компьютерное зрение: технологии, рынок, перспективы [Электронный ресурс]. Режим доступа: https://www.tadviser. ru/index.php (дата обращения: 18.01.2021).

5. Компьютерное зрение и Интернет вещей [Электронный ресурс]. Режим доступа: https://habr.com/ru/company/icL_ services/bLog/351460/ (дата обращения: 18.01.2021).

случай может дополнительно регистрироваться путем фотофиксации.

— оценка визуальных контактов экзаменуемого с экраном в абсолютных (количество) и относительных единицах измерения (ХХ% времени);

— оценка контактов экзаменуемого с клавиатурой в абсолютных (количество) и относительных единицах измерения (ХХ% времени);

— оценка нарушений экзаменуемым правил проведения экзамена в абсолютных (количество) и относительных единицах измерения (ХХ% времени). Каждый случай может дополнительно регистрироваться путем фотофиксации.

Следует отметить, что результирующие данные работы системы распознавания лиц не хранятся на внешнем сервере, что обеспечивает соблюдение конфиденциальности информации.

Выводы. Подводя итоги всему вышесказанному, следует отметить, что использование систем распознавания лиц в образовательных учреждениях может значительно улучшить качество как очного, так и дистанционного процесса обучения, особенно это касается организации и проведения контрольных мероприятий (экзаменов и зачетов).

Как показало авторское исследование, технологии компьютерного зрения в настоящее время реализуют широкий спектр функций, которые обеспечивают их эффективное использование в различных сферах деятельности, главным образом в экономике. Авторы уверены, что поскольку эти технологии постоянно совершенствуются, то в будущем они будут широко применяться для решения различных задач, освобождая человека от выполнения рутинных, многократно повторяющихся операций, а также повышая его безопасность и качество жизни.

6. Умную систему распознавания лиц внедрили в Реутове [Электронный ресурс]. Режим доступа: https://proreutov. ru/news/2016/07/15/4403 (дата обращения: 09.01.2021).

7. VivekKumar. Computer vision in education: powering the future of learning [Электронный ресурс]. Режим доступа: https://www. analyticsinsight.net/computer-vision-in-education-powering-the-future-of-learning/- (дата обращения: 09.01.2021).

8. Naveen Joshi. Computer Vision Can Transform Education [Электронный ресурс]. Режим доступа: https://www.forbes. com/sites/cognitiveworld/2019/10/19/computer-vision-can-transform-education/?sh=3ad409a61c4c (дата обращения: 09.01.2021).

9. Diana (Fangyuan) Yin. Computer Vision in the EdTech Industry - What Can AI See [Электронный ресурс]. Режим доступа:

https://medium.com/alef-education/computer-vision-in-education-what-can-ai-see-84d679d12a79 (дата доступа: 09.01.2021).

10. Как работает Read2play? [Электронный ресурс]. Режим доступа: https://beL.biz/ecosystem/startap-facemetrics-

References

1. Digitalization [Electronic resource]. Access mode: https://www. gartner.com/en/information-technology/glossary/digitaliza-tion (accessed date: 18.01.2021).

2. Potapov A.S. Sistemy komp'yuternogo zreniya. Uchebnoe posobie [Computer vision systems. Textbook] [Electronic resource]. St. Petersburg: ITMO University, 2016. 161 p. Access mode: https:// books.ifmo.ru/file/pdf/2110.pdf (accessed date: 09.01.2021).

3. Raspoznavanie lic i videoanalitika: trendy 2020 goda [Face recognition and video analytics: trends in 2020] [Electronic resource]. Access mode: https://retail-loyalty.org/news/ raspoznavanie-lits-i-videonablyudenie-trendy-2020-goda/?id= 2914209 (accessed date: 09.01.2021).

4. Komp'yuternoe zrenie: tekhnologii, rynok, perspektivy [Computer vision: technologies, market, prospects] [Electronic resource]. Access mode: https://www.tadviser.ru/index.php (accessed date: 18.01.2021).

5. Komp'yuternoe zrenie i Internet veshchej [Computer vision and the Internet of Things] [Electronic resource]. Access mode: https://habr.com/ru/company/icl_services/blog/351460/ (accessed date: 18.01.2021).

Вклад соавторов составляет равные доли (50%) и (50%).

Информация об авторе

Онокой Л.С., доктор социол. наук, профессор, профессор Департамента бизнес-информатики, Финансовый университет при Правительстве Российской Федерации (Москва, Российская Федерация). Почта для связи с автором: dvL-studio@yandex.ru

Морев Е.А., студент Департамента бизнес-информатики, Финансовый университет при Правительстве Российской Федерации (Москва, Российская Федерация). Почта для связи с автором: eg-dog@maiL.ru

Информация о статье

Дата получения статьи: 20.01.2021

Дата принятия к публикации: 20.02.2021

© Онокой Л.С., Морев Е.А., 2021.

privLyok-2-mLn-on-izmenyaet-obrazovanie-i-gotovit-detej-k-budushhemu/ (дата доступа: 09.01.2021).

6. Umnuyu sistemu raspoznavaniya lic vnedrili v Reutove [The smart face recognition system was implemented in Reutov] [Electronic resource]. Access mode: https://proreutov.ru/ news/2016/07/15/4403 (accessed date: 09.01.2021).

7. Vivek Kumar. Computer vision in education: powering the future of learning [Electronic resource]. Access mode: https://www. analyticsinsight.net/computer-vision-in-education-powering-the-future-of-learning/- (accessed date: 09.01.2021).

8. Naveen Joshi. Computer Vision Can Transform Education [Electronic resource]. Access mode: https://www.forbes.com/ sites/cognitiveworld/2019/10/19/computer-vision-can-trans-form-education/?sh=3ad409a61c4c (accessed date: 09.01.2021).

9. Diana (Fangyuan) Yin. Computer Vision in the EdTech Industry - What Can AI See [Electronic resource]. Access mode: https://

medium.com/alef-education/computer-vision-in-education-what-can-ai-see-84d679d12a79 (access date: 09.01.2021).

10. Kak rabotaet Read2play? [How does Read2play work?] [Electronic resource]. Access mode: https://bel.biz/ecosystem/ startap-facemetrics-privlyok-2-mln-on-izmenyaet-obrazovanie-i-gotovit-detej-k-budushhemu/ (access date: 09.01.2021).

The contribution of co-authors is equal to (50%) and (50%).

Author Info

Onokoy L.S., Doctor of Social Sciences, Professor, Professor of the Department of Business Informatics, Financial University under the Government of the Russian Federation (Moscow, Russian Federation). Email address for contacting the author: dvl-studio@yandex.ru

Author ID: 41808665

Morev E.A., Student of the Department of Business Informatics, Financial University under the Government of the Russian Federation (Moscow, Russian Federation). Email address for contacting the author: eg-dog@mail.ru

Article Info

Received for publication: 20.01.2021 Accepted for publication: 20.02.2021

© Onokoy L.S., Morev E.A., 2021.