CC BY
18УДК 004.032.26 DOI 10.52928/2070-1624-2022-38-4-32-37
КЛИЕНТ-СЕРВЕРНАЯ СИСТЕМА УПРАВЛЕНИЯ ПАРКОВКАМИ НА ОСНОВЕ АНАЛИЗА ДАННЫХ СИСТЕМ ВИДЕОНАБЛЮДЕНИЯ
А. В. ХОДОСЕВИЧ, канд. техн. наук, доц. Р. П. БОГУШ (Полоцкий государственный университет)
Представлена веб-система для контроля и управления парковками на основе анализа изображений, формируемых видеокамерами наблюдения. Для сегментации парковочных мест разработан алгоритм, позволяющий автоматически определять координаты парковочных мест на кадрах видео с использованием адаптивного алгоритма бинаризации Оцу и алгоритма Хафа для обнаружения линий. Классификация парковочных мест по типу занятости выполняется с применением сверточной нейронной сети ResNet50. Приведены особенности реализации серверной части, описана разработанная диаграмма классов и их основное назначение. Клиентская часть системы представляет собой адаптивный веб-сайт, доступ к которому можно получить с помощью персонального компьютера или мобильного устройства. Показаны примеры основных функциональных возможностей программного обеспечения.
Ключевые слова: интеллектуальное видеонаблюдение, парковочные места, Smart City, сверточная нейронная сеть.
Введение. Интенсивное развитие видеокамер, снижение их стоимости, разработка и внедрение специализированного алгоритмического обеспечения для анализа и обработки видеоданных привело к тому, что системы видеонаблюдения находят применение у широкого класса пользователей и позволяют упростить решение ряда практических задач. Быстрый рост городского населения и промышленных центров обостряет многие проблемы, включая снижение уровня безопасности жизнедеятельности, загрязнение воздуха; во многих случаях имеет место недостаточно рациональное использование энергетических ресурсов, перегруженность автодорог и др. Следует отметить, что перспективным инструментом решения этих задач является использование интеллектуальных систем видеонаблюдения. Причем в настоящее время отмечается бурный рост использования систем видеонаблюдения, что объясняется широким кругом решаемых такими системами задач и постоянно увеличивающейся доступностью средств наблюдения и связи. Подобная тенденция справедлива и для будущего в связи с непрерывным и быстрым совершенствованием аппаратной базы, в том числе увеличением разрешения видеокамер, ростом пропускной способности каналов связи, внедрением 5й-технологии, развитием и применением методов искусственного интеллекта обработки информации (нейронные сети, генетические алгоритмы, нечеткая логика), технологий обработки больших объемов данных (Big Data), облачных решений (Cloud Technology), «Интернета вещей» (Internet of Things) [1-3].
Последовательности изображений, формируемые видеокамерами, содержат значительный объем информации, который, как правило, изменяется и в пространстве, и во времени. Следовательно, их обработка и анализ позволяют учитывать и выявлять не только статические, но и динамические признаки объектов, что приводит к повышению эффективности автоматизированной работы систем видеонаблюдения в целом. Перспективными областями использования интеллектуального видеонаблюдения являются места большого скопления людей, например: стадионы, концертные площадки, метро, железнодорожные вокзалы, аэропорты, школы, университеты, больницы, торговые центры, а также пешеходные переходы, периметры охраняемых объектов, разные участки производственных предприятий, различные пропускные пункты, системы «Умный город» (Smart City) и «Умный дом» [4].
Вместе с ростом городского населения растет число используемых транспортных средств. Непрерывное увеличение количества транспорта приводит к значительному усложнению парковки автомобилей, а именно, возрастает время поиска свободного парковочного места и, как следствие, загрязнение окружающей среды выхлопными газами. Поэтому для удаленного мониторинга за открытыми и крытыми парковками перспективными и все более используемыми являются системы видеонаблюдения. Их эффективность может быть существенно повышена за счет внедрения нового программного обеспечения, реализующего интеллектуальные функции обработки видеоданных. Именно для парковок с большим количеством мест особенно актуальным является применение подобных систем. В работах [5; 6] представлены общий подход и структура построения такой системы, которая представляется перспективной и может быть интегрирована в комплексную систему управления городским имуществом «Smart City» («Умный город»). Однако для ее организации необходимы совершенствование алгоритмического обеспечения интеллектуальной обработки видеоданных, разработка на его основе клиент-серверной архитектуры и реализация системы управления парковками.
Алгоритмическое обеспечение. Обнаружение парковочных мест и их классификацию по критерию занятости автомобилями осложняет ряд факторов: различный и в ряде случаев низкий уровень освещенности; сложные погодные условия; естественное стирание линий парковочной разметки; перекрытие автомобилей; некорректная парковка и др.
С учетом специфики работы системы управления большими парковками к программному обеспечению сформированы следующие требования: работа в режиме реального времени; минимизация передаваемого трафика по каналам связи; кроссплатформенность; обеспечение стабильной работы при сбоях в сети передачи данных; возможность подключения большого числа камер наблюдения; централизованная архитектура системы видеонаблюдения.
Для сегментации парковочного места и определения его координат разработан алгоритм, который состоит из следующих основных этапов: обнаружение линий разметки парковки на изображении без автомобилей; бинаризация методом Оцу; обнаружение линий с использованием алгоритма Хафа; связывание линий для одного парковочного места; определение координат парковочных мест; сохранение координат и идентификаторов парковочных мест в базу данных.
На рисунке 1 представлены примеры некоторых этапов сегментации парковочных мест для одной видеокамеры распределенной системы наблюдения.
б
в
а - выделение линий и бинаризации; б - отображение найденных линий разметки парковки на исходном изображении; в - отображение полигонов, характеризующих парковочные места
Рисунок 1. - Примеры изображений после некоторых шагов сегментации парковочных мест
Для классификации парковочных мест предлагается использовать достаточно быстродействующую и точную сверточную нейронную сеть (СНС) ResNet50. Для ее обучения использована система машинного обучения ML.NET1 Model Builder, которая устанавливается в среду разработки Visual Studio. Реализация обучения СНС предполагает создание нового проекта типа ML.NET Model Builder, выбор сценария и настройку окружения. Для обучения СНС использована синтезированная база данных изображений парковок с размеченными занятыми местами.
Реализация серверной части системы. Программное обеспечение состоит из серверной и клиентской частей. Для получения видеоданных используется IP-видеокамера. Обработка сформированных видеоданных выполняется на сервере, к которому может подключиться клиент с помощью мобильного устройства или персонального компьютера, т.е. используется централизованная архитектура системы видеонаблюдения. С целью передачи видеопотока используется RTSP-протокол, обеспечивающий минимальную задержку для этой процедуры.
Для реализации модуля сегментации и классификации парковочных мест разработана диаграмма классов, представленная на рисунке 2. Ниже описаны основные классы данной части:
- ResultData - класс, хранящий результат анализа нейронной сети: Конструктор ResultData производит инициализацию свойств класса;
- MLChecker - класс для работы с моделью нейронной сети: Check определяет, находится ли автомобиль на входном фото;
- Camera - класс, реализующий работу с камерой: Start-метод запускает поток для функции Read-FromCamera; End-метод останавливает поток для ReadFromCamera; ReadFromCamera-метод реализует фоновое чтение видеопотока;
1 ML.NET. An open source and cross-platform machine learning framework [Электронный ресурс]. URL: https ://dotnet.mi-crosoft.com/en-us/apps/machinelearning-ai/ml-dotnet.
а
- Range - класс «диапазона»: ToUp реализует сортировку по возрастанию; ToDown реализует сортировку по убыванию; In проверяет вхождение диапазона в другой диапазон;
- Line - класс «линии»: Clone клонирует линию; Getürientation возвращает ориентацию линии; ToUpOnX реализует сортировку точек по X; ToUpünY реализует сортировку точек по Y; Length возвращает длину линии; GetAngle возвращает угол наклона линии; GetDistance возвращает расстояние от линии до линии; InLine проверяет, входит ли линия в линию;
- LineEx - класс-расширение класса «Line»; Unite объединяет близкие линии или те, которые входят друг в друга; CompareLines сравнивает линии по X/Y; RectSort реализует сортировку массива точек; GetRects возвращает преобразованный массив полигонов из массива линий;
- Preparelmage - класс реализует работу с изображением: GetExt возвращает расширение изображения; Save сохраняет изображения; ToCanny выполняет поиск граней с пользованием Cv2; HoughLines выполняет поиск линий с пользованием Cv2; Load загружает изображения; ToMask возвращает маску изображения с пользованием Cv2;
- ImageComparer - класс, реализующий сравнение изображений: IsFree-метод определяет, свободно ли место; Getlmage возвращает картинку полигона из входного фото.
Рисунок 2. - Диаграмма классов серверной части
Серверная часть реализует хранение базы данных парковок и координат локализованных парковоч-ных мест для каждой из них, функционирование программного модуля обнаружения свободных парковоч-ных мест, хранение прайс-листа цен на услуги, хранение информации пользователей, обработку запросов и выдачу данных клиентской части. Для ее развертывания необходимо серверное оборудование с основными характеристиками: процессор Intel i7 6700HQ с тактовой частотой 2.5 ГГц или аналог; оперативная память объемом не менее 8 Гбайт; жесткий диск объемом не менее 120 Гбайт; постоянное подключение к сети Интернет. Обмен между компонентами осуществляется с помощью HTTP-запросов и текстового формата обмена данными JSON. В качестве программного обеспечения необходимо использовать операционную систему Windows 10 с библиотеками .Net Framework версии 4.5 или выше, веб-сервер IIS10 (Internet Information Server) и Microsoft SQL Server версии не ниже 2012.
Реализация клиентской части. Клиентская часть представляет собой web-сайт, доступ к которому можно получить с помощью персонального компьютера или мобильного устройства, имеющего доступ к сети Интернет, и обеспечивает основные возможности: вывод информации о парковках, существующих ценах, организации-собственнике; выбор места из числа свободных при бронировании, временном периоде бронирования; регистрацию и авторизацию пользователя; управление своими автомобилями; просмотр броней пользователя; управление таблицами парковок и цен для администратора сайта.
Взаимодействие с системой могут осуществлять три типа пользователей: системный администратор (обслуживающий персонал) серверной части, пользователь клиентской части и администратор клиентской части. Системный администратор имеет доступ к серверу, на котором установлены и запущены система управления базами данных и программный продукт, с возможностью прямого доступа к файлам системы. К основным его функциям относятся: настройка на стороне сервера; редактирование основного файла настроек проекта; настройка подключения к базе данных и ее редактирование. Администратор клиентской части имеет возможности добавления, изменения и удаления в базе данных информации о парковках и ценах; просмотра броней пользователей для мониторинга работы системы. Диаграмма прецедентов для пользователей представлена на рисунке 3. Пользователю доступны: получение общей информации (рисунок 4); ознакомление с актуальными ценами на бронирование; регистрация/авторизация в системе с возможностями изменения данных своего профиля; выбор парковки, свободного места на дату и время бронирования (рисунок 5); просмотр и редактирование своего профиля (рисунок 6); просмотр своих броней на парковках в системе (рисунок 7).
Рисунок 3. - Диаграмма прецедентов клиентской части пользователей
Тестирование разработанной системы выполнено с использованием персонального компьютера в современных браузерах Google Chrome, Mozilla Firefox, Internet Explorer и продемонстрировало корректность ее работы и отображения страниц пользователей. Также выполнено тестирование с использованием мобильных устройств под управлением ОС Android, которое подтвердило адаптивность отображения клиентской части.
Рисунок 4. - Главная страница с открытым меню на персональном компьютере в веб-браузере
Рисунок 5. - Страница «Бронирование» на персональном компьютере в веб-браузере
Рисунок 6. - Профиль пользователя на мобильном устройстве под управлением ОС Андроид
Рисунок 7. - Страница «Мои брони» на мобильном устройстве под управлением ОС Андроид
Программная реализация алгоритма использует ОрепСУ для захвата видеопотока, извлечения кадров, изменения их размера, кадрирования, отображения текста и графических фигур.
Заключение. Разработана интеллектуальная клиент-серверная система для контроля и управления парковками на основе анализа видеоизображений, которые формируют камеры распределенных систем наблюдения. Предложен эффективный подход для сегментации парковочных мест, позволяющий автоматически определять их координаты на кадрах видео с использованием адаптивного алгоритма бинаризации Оцу и алгоритма Хафа для обнаружения линий. Данный подход позволяет эффективно локализовать пар-ковочные места при различной разметке мест. Для определения свободных и занятых парковочных мест используется СНС Яе8Ке150.
Разработанное программное обеспечение состоит из серверной и клиентской частей, предполагается централизованная архитектура системы видеонаблюдения. Передача видеопотока организована по ЯТ8Р-протоколу. Клиентская часть представляется как адаптивный веб-сайт и обеспечивает вывод общей информации о собственнике парковки, выбор места с указанием периода бронирования для зарегистрированных пользователей, изменение своих броней, полное управление метаданными парковок для администратора сайта. Взаимодействие с системой могут осуществлять системный администратор
серверной части, пользователь клиентской части и администратор клиентской части. Показаны результаты тестирования основных сервисных функций приложения.
ЛИТЕРАТУРА
1. AI Oriented Large-Scale Video Management for Smart City: Technologies, Standards and Beyond / D. Lingyu [et al.] // IEEE MultiMedia. - 2019. - Vol. 26 , № 2. - P. 8-20. - DOI: 10.1109/MMUL.2018.2873564.
2. Khan, P. W. A Data Verification System for CCTV Surveillance Cameras Using Blockchain Technology in Smart Cities / P. W. Khan, Y.-C. Byun, N. Park // Electronics. - 2020. - Vol. 9, № 3. - P. 1-21. - DOI: 10.3390/electronics9030484.
3. Video big data in smart city: Background construction and optimization for surveillance video processing / L. Tian [et al.] // Future Generation Computer Systems. - 2018. - Vol. 86. - P. 1371-1382. - DOI: 10.1016/j.future.2017.12.065.
4. Novotny, R. Smart city concept, applications and services / R. Novotny, R. Kuchta, J. Kadlec // J. of Telecommunications System & Management. - 2014. - Vol. 3, № 2. - P. 1-8. - DOI: 10.4172/2167-0919.1000117.
5. Богуш, Р. П. Структура интеллектуальной видеосистемы управления парковками [Электронный ресурс] / Р. П. Богуш, С. В. Абламейко, П. В. Ярошевич // Информационно-коммуникационные технологии: достижения, проблемы, инновации (ИКТ-2018): электрон. сб. статей I междунар. науч.-практ. конф., посвященной 50-летию Полоцкого государственного университета, Новополоцк, 14-15 июня 2018 г. / Полоц. гос. ун-т. - Новополоцк, 2018. - С. 254-256. Режим доступа: https://elib.psu.by/bit-stream/123456789/22255/5/%d0%91%d0%be%d0%b3%d1%83%d1%88 %d1 %81254-256.pdf. - Дата доступа: 14.01.2022.
6. Extraction of Image Parking Spaces in Intelligent Video Surveillance Systems / R. Bohush [et al.] // Machine Graphics & Vision. - 2018. - Vol. 27, № 1/4. - P. 47-62. - DOI: 10.22630/MGV.2018.27.1.3.
REFERENCES
1. Duan, L. , Lou, Y., Wang, S., Gao, W., & Rui, Y. (2019). AI Oriented Large-Scale Video Management for Smart City: Technologies, Standards and Beyond. IEEE MultiMedia, (26), 8-20. DOI: 10.1109/MMUL.2018.2873564.
2. Khan, P. W., Byun, Y.-C., & Park, N. (2020). A Data Verification System for CCTV Surveillance Cameras Using Block-chain Technology in Smart Cities. Electronics, 9(3), 1-21. DOI: 10.3390/electronics9030484.
3. Tian, L., Wang, H., Zhou, Y., & Peng, C. (2018). Video big data in smart city: Background construction and optimization for surveillance video processing. Future Generation Computer Systems, (86), 1371-1382. DOI: 10.1016/j.fu-ture.2017.12.065.
4. Novotny, R., Kuchta, R., & Kadlec, J. (2014). Smart city concept, applications and services. Journal of Telecommunications System & Management, (3), 1-8. DOI: 10.4172/2167-0919.1000117.
5. Bohush, R. P., Ablameyko, S. V., & Yarashevich, P. V. (2018). Struktura intellektual'noy videosistemy upravleniya parkovkami. Informatsionno-kommunikatsionnyye tekhnologii: dostizheniya, problemy, innovatsii (IKT-2018) (254-256). Novopolotsk: PGU. https://elib.psu.by/bitstream/123456789/22255/5/%d0%91%d0%be%d0%b3%d1%83%d1%88 %d1%81254-256.pdf. (In Russ.).
6. Bohush, R., Yarashevich, P., Ablameyko, S., & Kalganova, T. (2018). Extraction of Image Parking Spaces in Intelligent Video Surveillance Systems. Machine Graphics & Vision, (27), 47-62. DOI: 10.22630/MGV.2018.27.1.3.
Поступила 22.03.2022
CLIENT-SERVER SYSTEM FOR PARKING MANAGEMENT BASED ON VIDEO SURVEILLANCE DATA ANALYSIS
A. HODOSEVICH, R. BOHUSH
A web-based system for monitoring and managing parking lots based on analysis of images from surveillance cameras is presented. An approach has been developed for segmentation of parking spaces, that allows you to automatically determine the coordinates of parking spaces in the image using the Otsu adaptive binarization algorithm and the Hough transform algorithm for linking lines. The classification of parking spaces by occupancy type is performed using the convolutional neural network ResNet50. The features of the implementation of the server part are given, the developed class diagram and their main purpose are described. The client part of the system is a website that can be accessed using a personal computer or mobile device. Examples for main software functionality are shown.
Keywords: intelligent video surveillance, parking spaces, Smart City, convolutional neural network.
