CC BY
1
СИСТЕМНЫЙ АНАЛИЗ, УПРАВЛЕНИЕ И ОБРАБОТКА ИНФОРМАЦИИ
УДК 004.896
DOI: 10.24412/2071-6168-2024-1-3-4
ПРИМЕНЕНИЕ ВИДЕОНАБЛЮДЕНИЯ ДЛЯ КОНТРОЛЯ ТОВАРОВ
НА СКЛАДЕ
Т.В. Гладких, Л.А. Коробова
В данной статье рассматриваются объекты, нуждающиеся в надёжной системе охраны, удовлетворяющей современным требованиям. В роли вышеуказанной системы охраны выступают системы видеонаблюдения. Эффективность системы видеонаблюдения сильно зависит от психофизиологических возможностей организма человека - оператора. Эффективность системы начинает резко снижаться. В качестве решения проблемы предлагается внедрение видеоаналитики, которая позволяет не только сократить затраты на работу сотрудников объекта, но и повысить общую эффективность функционирования системы видеонаблюдения. Объектом исследования является розничная сеть по продаже электроники и бытовой техники. Предметом исследования - выступает система видеонаблюдения склада.
Ключевые слова: системы видеонаблюдения, видеоаналитики, электроника и бытовая техника.
Любое предприятие, независимо от его масштабов, различные государственные учреждения, объекты городской среды, общественный транспорт, частные владения - объекты, нуждающиеся в надёжной системе охраны, удовлетворяющей современным требованиям. В роли вышеуказанной системы охраны выступают системы видеонаблюдения.
Оборудование, входящее в состав видеосистем, совершенствуется с каждым годом. Высокое разрешение, работа видеокамер в тяжёлых погодных условиях, устойчивость к сбоям, возможность вести работу в тёмное время суток - всё это результат непрерывного развития.
Появление новых возможностей и усовершенствование систем хранения и передачи данных существенно упрощает охрану объектов, однако, не освобождает оператора от необходимости непрерывного нахождения за экраном монитора. Оператору самому приходится производить анализ поступающего с видеокамер изображения, давать оценку ситуации и принимать решения, в результате чего, нагрузка на оператора не снижается.
Эффективность системы видеонаблюдения сильно зависит от психофизиологических возможностей организма человека - оператора. Спустя некоторое время после начала работы оператора, концентрация его внимательности постепенно снижается, что
влечёт за собой увеличение вероятности пропустить какое-либо важное событие. Эффективность системы начинает резко снижаться.
В качестве решения проблемы предлагается внедрение видеоаналитики, которая позволяет не только сократить затраты на работу сотрудников объекта, но и повысить общую эффективность функционирования системы видеонаблюдения [1].
Автоматический анализ поступающего видеопотока обладает рядом преимуществ, по сравнению с анализом оператора. Во-первых, автоматический анализ данных позволяет расширить область применения систем видеонаблюдения, во-вторых, многократно увеличивает объём обработанных данных, что позволяет существенно снизить нагрузку на оператора службы безопасности, обращая его внимание только на важные события.
Таким образом, внедрение видеоаналитики позволяет не только сократить затраты на работу сотрудников объекта, но и повысить общую эффективность функционирования системы видеонаблюдения [2].
Объектом исследования является розничная сеть по продаже электроники и бытовой техники. Предметом исследования - выступает система видеонаблюдения склада.
При модернизации системы видеонаблюдения склада изменяется функционирование только отдела товарного контроля, функции всех остальных подразделений склада остаются неизменными.
Просмотр архивных видеозаписей на предмет выявления товарных нарушений занимает много времени.
После модернизации функционирования работа с торговыми нарушениями должна производиться без выгрузки данных в сторонние приложения, такие как таблицы Excel. То есть удаляется промежуточный этап хранения и обработки данных о товарных нарушениях. После рассмотрения очередной заявки о торговом нарушении в таблицах SAP, сотрудник отдела товарного контроля должен иметь непосредственный доступ к конкретному отрезку видеоархива, на котором зафиксирована сборка интересующей его коробки.
На рисунке 1 изображена декомпозиция контекстной диаграммы процесса работы отдела товарного контроля «как должно быть» [3].
Рис. 1. Контекстная диаграмма работы ОТК «как должно быть»
В наилучшем случае доступ к интересующей его коробке должен происходить по идентификационному номеру коробки или по её «единице обработки», то есть последним четырём цифрам номера.
Учитывая все перечисленные требования к системе, было принято решение выполнить поставленную задачу путём внедрения системы автоматического анализа видео [4].
Выбор для внедрения технологий анализа видео обосновывается тем, что это позволяет существенно сократить расходы на решение поставленной задачи, так как система SAP EWM склада при их внедрении не затрагивается. Также на складе компании имеется множество других видеокамер, расположенных в зонах приёмки, складирования, отгрузки и внешнего периметра. Успешное внедрение технологий автоматического анализа видео позволит в дальнейшем масштабировать их на остальные видеокамеры для решения других задач.
Технологии анализа видео будут реализовать следующие действия:
- обнаружение объектов в кадре;
- распознавание номеров.
Для решения поставленной задачи нецелесообразно применять ранее рассмотренные системы видеоаналитики, так как они являются дорогостоящими и имеют ряд существенных недостатков.
Функционал вышеописанных систем является избыточным и нуждается в доработке для решения поставленной задачи. Внедрение и доработка данных систем потребует очень высоких затрат, тем самым возможность не затрагивать систему SAP EWM не окупится [5, 6].
Для разработки системы видеоаналитики выбран высокоуровневый язык программирования общего назначения Python. Выбор данного языка обосновывается высокой поддержкой библиотек компьютерного зрения и обработки изображений. В качестве библиотеки компьютерного зрения была выбрана библиотека с открытым исходным кодом OpenCV.
Для распознавания «единицы обработки» с наклейки на упакованной коробке используется технология оптического распознавания символов, реализованная в программе распознавания текстов Tesseract OCR. Для работы с программой внутри языка программирования Python используется библиотека pytesseract. Для оптимизации скорости обработки изображений используется библиотека Numpy. В результате использования данной библиотеки, производительность библиотеки opencv-python будет существенно повышена и позволит сократить время обработки видеопотока [5, 6].
Для разработки веб-клиента также выбран язык программирования Python. В качестве программной платформы был выбран Python Django.
Django - фреймворк для разработки веб-приложений на языке Python. Djngo использует шаблон проектирования Model-View-Controller. Для запуска Django в сети используется Gunicorn и Nginx. Gunicorn - является автономным веб-сервером для конвертации входящих запросов в формат поддерживаемый Python Django. Nginx - самостоятельный HTTP-сервер [5, 6].
Структура подсистемы видеоаналитического контроля изображена на рисунке
2 [7].
Видеосервер
Django
|U RLS|
ГО I_Т Image
Й
Скрипт обработки видеопотока
ним
чии
Папка с
виде оэа писями
Рис. 2. Схема архитектуры системы видеоаналитики
5
На вход поступают упакованные и запломбированные коробки с товарами. После завершения процесса видеоаналитики формируется база видеозаписей сборки коробок. Доступ к видеозаписи сборки коробки осуществляется по «единице обработки» коробки. Весь этот процесс регламентирует алгоритм распознавания и документы по безопасности сети. В качестве механизма выполнения выступает видеокамера и ПК.
Во время считывания данных происходит анализ поступающего видеопотока и выявление кадра с необходимой информацией. Скрипт анализирует каждый кадр в потоке. При нахождении кадра, в котором на столе стоит собранная и упакованная коробка, с наклеенным сверху номером ЕО, происходит его направление на распознавание. В процессе распознавания номера происходит анализ поступившего изображения. В результате распознавания получается строка с номером «единицы обработки». Процесс распознавания номера регламентируется алгоритмом распознавания.
Дальнейшим этапом является запись в базу данных, во время которой видеозапись сборки коробки сохраняется на диск, а в базу данных записывается ссылка на эту видеозапись под её «единицей обработки». Все изображённые процессы регламентируются документом по безопасности сети. Первый процесс выполняется посредством видеокамеры. Все процессы, изображенные на декомпозиции контекстной диаграммы, выполняются с помощью ПК [6, 8].
База данных системы видеоаналитики не будет хранить слишком большие объёмы данных.
В качестве базы данных была выбрана SQLite. SQLite не является полноценной базой данных. SQLite - это библиотека, написанная на языке C, и предоставляет собой небольшой, быстрый, автономный, высоконадёжный и полнофункциональный движок базы данных SQL [6, 8].
Запускается скрипт видеоаналитики и, затем запускается видеокамера. После того, как видеокамера запущена, скрипт видеоаналитики захватывает видеопоток с камеры. Первым действием происходит сохранение самого первого кадра, поступившего с камеры. Кадр очищается от лишних шумов. Происходит перевод изображения в градации серого, гауссово размытие. Этот кадр необходим для распознавания появления коробок на столе для упаковки. Каждый последующий кадр подвергается тем же самым операциям и из него происходит вычитание фона [8, 9]. Вычитание фона является широко распространённым методом для создания маски переднего плана. Маска переднего плана является двоичным изображением, содержащим пиксели, принадлежащие движущимся объектам в сцене. Таким образом, во время появления коробки в кадре, происходит вычитание фона и скрипт определяет наличие объекта в кадре. При обнаружении объекта в кадре начинается запись видео.
Затем происходит стандартный процесс сборки коробки. Упаковщик перекладывает товары из одной коробки в другую под камерой. После того, как упаковщик переложил все товары, коробка упаковывается и пломбируется. Сверху коробки наклеивается «единица обработки» коробки.
Как только была наклеена «единица обработки», упаковщик отходит от стола упаковки для того, чтобы расписаться в сопроводительной накладной. После того, как упаковщик отходит от стола, скрипт видеоаналитики определяет, что движение в кадре прекратилось. По истечении определённого небольшого промежутка времени, скрипт отправляет очередной кадр видеопотока в функцию распознавания.
Кадр, попавший в функцию, проходит те же изменения, что и предыдущие кадры. Также кадр проходит двухстороннюю фильтрацию, во время которой изображение сглаживается, и подавляются шумы, при этом сохраняя края внутри изображении. Затем к подготовленному кадру применяется функция сбора краёв изображения. Изображения полностью переводится в чёрный цвет, оставляя белыми только края предметов внутри сцены.
Следующим этапом является сбор контуров внутри изображения. Во время сборки происходит группировка контуров в многоуровневую иерархию, то есть на са-
мом верхнем уровне располагается крайний внешний контур на изображении, а на самом нижнем уровне крайний внутренний контур соответственно. Полученный массив контуров сохраняется в переменную. Затем, в цикле, происходит поиск по результатам, записанным в переменную с контурами, на предмет выявления контуров, составляющих закрытую прямоугольную фигуру. Эти контуры должны быть на нижнем уровне иерархии так как на верхнем будет контур коробки. Таким образом, на изображении выявляется местоположение наклейки с «единицей обработки» коробки. Полученный контур выделяется и сохраняется в отдельную переменную. Затем происходит обрезка исходного кадра, попавшего в функцию и прошедшего подготовку по краям контура из переменной. Полученное изображение наклейки с «единицей обработки» сохраняется в отдельную переменную [9].
После этого, происходит вызов программы оптического распознавания текста Tesseract. Изображение отправляется в программу, происходит распознавания номера «единицы обработки». Программа, в свою очередь, возвращает номер «единицы обработки» в текстовом виде. После того, как произошёл процесс распознавания и был успешно получен номер «единицы обработки», запись видео сборки останавливается и сохраняется в специально отведённую для хранения видеозаписей папку. В базу данных сохраняется полученный номер «единицы обработки» и под ним ссылку на получившуюся видеозапись. Упаковщик забирает коробку и составляет её с другой стороны стола. Теперь скрипт видеоаналитики готов к следующей итерации [9, 10].
В любой момент работы скрипта, пользователь системы в лице сотрудника отдела товарного контроля может зайти в веб-клиент системы и просмотреть видеозаписи под номерами [11, 12]. Ниже, на рисунке 3, изображён интерфейс главной страницы со списком номеров «единиц обработки».
Видеоаналитика О
Видеозаписи
428
атз
м 2021 ГОДА. 142 й 2021 ГОД*, 1000
я 2021 год*, 11-22 » 2021 год*. 11,32
н 2021 гол*. 1709
«2021 годя 12 37
* 2021 год*. 13 02 я 2021 Годя. 142* N2021 года, 14:58
* 2021 год«. 1523
Рис. 3. Интерфейс главной страницы
Видвоаммтыа
Сйсеч иреба
Рис. 4. Страница просмотра видеозаписи
7
Получить доступ к просмотру конкретной видеозаписи из архива можно, кликнув на определённый номер «единицы обработки». Ниже, на рисунке 4, изображено то, как выглядит страница просмотра видеозаписи сборки необходимой коробки.
Также пользователь может зайти на страницу своего профиля [12]. Админ подсистемы имеет возможность зайти в админ-панель. Все пользователи могут редактировать информация в своём профиле. На рисунке 13 изображена страница профиля.
Видеоаналитика 0
Информация профиля
ptt 1J шрнм 2014 танк. 30
Апкслидр Emd погмжжтмг Hcntfviti. . j • *><:я л.
ClltyC UHU*
Пмлчнк* pii iwn crt* Zl 4*>"Ш 2021 ioqe, 20 2J
Последние проверенные записи
a m Ни*** 2Ü21 m U. 101» Обиайгшмо
5 VII 12 И0М 3071 m W.12M Об^стяг-о
Ь m 12 MM 2071 TO Обнвдмм
% ш 12 том 2021 r« Н. 1* Я Обмаружгчо
Рис. 5. Страница профиля
Количество видеокамер и объём внедрений систем видеонаблюдения возрастает с каждым годом по всему миру. Системы видеонаблюдения используются практически везде, начиная с офисов и предприятий, и, заканчивая объектами городской среды и автотранспортом.
Значимость видеоаналитики определяется снижением нагрузки на оператора системы, при одновременном увеличении эффективности процесса распознавания, а также возможностью расширить область применения систем видеонаблюдения. В следствие этого, создание и внедрение систем автоматического анализа видео является крайне актуальным.
Список литературы
1. Программный инструментарий решения актуальных задач учета и управления / Т. В. Гладких, Л. А. Коробова, М. Н. Ивлиев. Воронеж : Воронежский государственный университет инженерных технологий, 2022. 70 с.
2. Видеоаналитика, термины, сферы применения, технологии, Video Content Analysis [ Электронный ресурс ] // Tadviser. Государство. Бизнес.1Т, 2020. URL: https://www.tadviser.ш/index.php/Статья:Видеоаналитика_(термины,_сферы_применени я, технологии)#.Р0.А4.Р1.83.Р0.ВР.Р0.ВА.Р1.86.Р0.В8.Р0.ВЕ.Р0.ВР.Р0.В0.Р0.ВВ.Р 1.8C.D0.BD.D1.8B.D0.B5 .D0.B2.D0.BE.D0.B7.D0.BC.D0.BE.D0.B6.D0.BD.D0.BE.D1.8 1.D1.82.D0.B8 (дата обращения: 23.04.2021).
3. Проектирование информационных систем / Г. В. Абрамов, И. Е. Медведкова, Л. А. Коробова. Воронеж: Воронежский государственный университет инженерных технологий, 2012. 172 с.
4. Лыткин А. IP-Видеонаблюдение. / Наглядное пособие. Санкт-Петербург: OOO "Издательство "Авторская книга", 2011.
5. Prototype mobile application definitions fresh products based on neural network / L. A. Korobova, I. S. Tolstova, I. A. Matytsina, M. S. Mironova // Journal of Physics: Conference Series : Current Problems, Voronezh, 07-09 декабря 2020 года. Voronezh, 2021. P. 012118.
6. Прикладное программирование в цифровизации бизнес-процессов / Т. В. Гладких, Л. А. Коробова, Н. А. Чернышова; Воронежский государственный университет инженерных технологий. Воронеж: Воронежский государственный университет инженерных технологий, 2021. 70 с.
7. Кашкаров А. П. Системы видеонаблюдения. Практикум. Феникс : Ростов-на-Дону, 2014.
8. Telemarketing automation based on the MIKO IP-telephony module / T. Glad-kikh, L. Korobova, S. Chernyaeva [et al.] // Proceedings II International Scientific Conference on Advances in Science, Engineering and Digital Education (ASEDU-II-2021) : Conference Proceedings, Krasnoyarsk, 28 октября 2021 года. Vol. 2647 А. Krasnoyarsk: AIP PUBLISHING, 2022. P. 30029.
9. Коробова Л. А., Толстова И.С., Харитонов И.М. Программно-техническое средство диагностики АСУТП: контроль данных и управление состоянием системы автоматизации // Информационные технологии в строительных, социальных и экономических системах. 2022. № 3(29). С. 5-10.
10. Новиков П. А. Проектирование сетевых систем видеонаблюдения. Часть 1 // PROSystem CCTV. 2013. № 6. С. 30 - 35
11. Дементьев А.Н. Электронные системы безопасности личности и имущества. Ч.2. Охранное телевидение: учебное пособие / под ред. А.Н. Дементьева. Томск: Изд-во В-спектр, 2014. 191 с.
12. Белов В.А. Монтаж системы видеонаблюдения предприятия. Взгляд со стороны заказчика // Алгоритм безопасности. 2013. № 6. С. 8 - 13
Гладких Татьяна Васильевна, канд. техн. наук, доцент, gtv1113@ ramhler.rH, Россия, Воронеж, Воронежский государственный университет инженерных технологий,
Коробова Людмила Анатольевна, канд. техн. наук, доцент, [email protected], Россия, Воронеж, Воронежский государственный университет инженерных технологий
THE USE OF VIDEO SURVEILLANCE TO CONTROL GOODS IN A WAREHOUSE
T.V. Gladkikh, L.A. Korohova
This article discusses facilities in need of a reliable security system that meets modern requirements. Video surveillance systems act as the above-mentioned security system. The effectiveness of a video surveillance system strongly depends on the psychophysiological capabilities of the human hody - the operator. The efficiency of the system begins to decrease dramatically. As a solution to the prohlem, the introduction of video analytics is proposed, which allows not only to reduce the cost of work of the facility's employees, but also to increase the overall efficiency of the video surveillance system. The object of the study is a retail chain selling electronics and household appliances. The subject of the study is the warehouse's video surveillance system.
Key words: video surveillance systems, video analytics, electronics and household appliances.
Gladkikh Tatyana Vasilyevna, candidate of technical sciences, docent, gtv [email protected], Russia, Voronezh, Voronezh State University of Engineering Technologies,
Korohova Lyudmila Anatolyevna, candidate of technical sciences, docent, lyнdmila_korohova@,mail.rн, Russia, Voronezh, Voronezh State University of Engineering Technologies
