CC BY
27
УДК 004.89
DOI: 10.24412/2071-6168-2023-6-66-76
МЕТОДЫ ОБРАБОТКИ ВИЗУАЛЬНОЙ ИНФОРМАЦИИ ДЛЯ НАВИГАЦИИ БЕЗЭКИПАЖНОГО СУДНА
П.А. Гессен, А.И. Лизин, В.А. Павлова, В.А. Тупиков
В целях создания инновационной платформы для безэкипажных катеров, обеспечивающей их непрерывное функционирование и выполнение поставленных задач по поиску и классификации надводных объектов и средств навигационного обеспечения, проведено исследование мирового опыта в областях создания надводных безэкипажных плавательных аппаратов и средств технического зрения с применением нейронных сетей и детерминированных алгоритмов обработки изображений. Проведены разработка и полунатурное моделирование предлагаемой системы, оценка эффективности ее работы в задачах обнаружения надводных помех движению, классификации объектов интереса и проведено частичное интеграционное тестирование. Разработанная система показала высокую эффективность при решении поставленных задач. В заключении представлены предложения по дальнейшему улучшению точности и вероятности обнаружения объектов интереса, а также по улучшению метода оценки качества работы.
Ключевые слова: автоматическое обнаружение, классификация объектов, нейронные сети.
Введение. В современных робототехнических системах в настоящее время одними из главных направлений разработок и исследований являются автоматизация и автономизация процессов, подразумевающие частичное или полное исключение человека из процесса конечного применения изделий [1, 2]. Тогда как многие задачи по созданию автономных средств уже успешно решены [3, 4], перспективным направлением является разработка малых безэкипажных плавательных средств. Задачами таких аппаратов могут быть сбор и анализ широкого спектра информации о водоемах и прилегающих территориях или выполнение иных целей, заранее предусмотренных на стадии создания. И хоть собираемые данные могут варьироваться в зависимости от поставленных целей и предполагаемого использования, навигация таких судов требует наличия оптико-электронных систем на борту. Для таких систем основными решаемыми вопросами являются задачи обнаружения, классификации и сегментации объектов в поле зрения.
В данной статье предлагается реализация системы технического зрения для безэкипажного катера, которая включает следующий функционал: обнаружение помех на воде вокруг судна, сбор данных с радара, обнаружение и классификацию знаков средств навигационного оборудования (СНО) и буев, сохранение данных об окружении во время плавания и связь с основным бортовым вычислителем.
Обнаружение и классификация. Задача обнаружения объектов на изображении - раздел машинного обучения, в рамках которого происходит определение наличия или отсутствия объекта интереса на кадре и опреде-
ление его границ. В зависимости от алгоритма местоположение может быть задано различными способами, но самый распространенный - описывающий прямоугольник, в дальнейшей работе будет использоваться именно данный метод. Задача классификации - раздел машинного обучения с целью сопоставления переданного изображения с меткой соответствующего ему класса. В последнее время, особенно в популярных областях применения нейронных сетей, задачу обнаружения и задачу классификации объектов часто объединяют в одну ввиду необходимости поиска конкретного заранее заданного объекта в кадре [5, 6]. В дальнейшей работе в одной из подзадач также будет использован такой подход, объединяющий эти задачи.
В области технического зрения существует большой научно-технический задел, предоставляющий множество готовых решений для вышеописанных задач, основным трендом в котором в последние годы являются глубокие нейронные сети, которые совершенствуются с каждым годом, предоставляя все более совершенные и точные архитектуры [7 - 9]. Главным лимитирующим фактором при использовании нейросетевого подхода является оборудование, т.е. такие платформы, которые могут эффективно выполнять множество простых операций за единицу времени. Самым ответственным моментом является обнаружение помех на воде, которое должно проводиться точно с сохранением при этом вычислительной скорости, единственным ограничением является форм-фактор, поэтому было решено использовать именно нейронные сети.
Задачи обнаружения условно разбили на две категории: обнаружение знаков СНО и буев; обнаружение помех на воде. Такое разделение обусловлено постановкой требований к работе данных методов: в случае обнаружения объектов первой категории требуется получить класс объекта и подтвердить корректность работы алгоритма человеком на берегу, в то время как помехи на воде должны определяться без участия людей. Исходя из имеющихся наработок, для определения знаков СНО и буев была выбрана нейронная сеть YOLOv7.
YOLO (You Only Look Once). Данная архитектура нейронных сетей считается эффективнее многих других алгоритмов для определения объектов. Существует несколько архитектур нейронных сетей, созданных для определения объектов. Они в основном разделяются на «двухуровневые», такие как RCNN [10], fast RCNN [11] и faster RCNN [12], и «одноуровневые», такие как YOLO [13]. «Двухуровневые» нейронные сети, перечисленные выше, используют так называемые регионы интереса на картинке, чтобы определить, находится ли в этом регионе определенный объект (рис. 1).
Обычно алгоритм работы таких сетей выглядит так:
1) подается кадр на вход;
2) кадр прогоняется через сверточную нейронную сеть для формирования карты признаков;
3) отдельной нейронной сетью определяются регионы с высокой вероятностью нахождения в них объектов;
4) дальше эти регионы сжимаются и подаются в нейронную сеть, определяющую класс объекта в регионах.
Рис. 1. Схема работы «двухуровневых» сетей
Но в таких нейронных сетях есть две ключевые проблемы: они не смотрят на кадр «целиком», но только на отдельные регионы, что может приводить к потере информации, и они относительно медленные по причине множественной проверки разных областей изображения на наличие объекта.
YOLO [13] не имеет этих двух проблем. Данная сеть просматривает кадр один раз и за этот один просмотр (то есть один прогон кадра через одну нейронную сеть) осуществляет все необходимые определения объектов. Она разбивает входное изображение на ячейки и для каждой ячейки создает описывающие прямоугольники и вероятности классов для них. Далее наиболее вероятные результаты выводятся на изображении с соответствующей меткой класса (рис. 2).
Нейронные сети, основанные на данном подходе, постоянно улучшаются, последними выпущенными версиями являются YOLOv7 [7] и YOLOv8. После изучения теоретической базы и проведения испытаний для применения была выбрана седьмая версия данной нейронной сети. Ее основными особенностями стали переход на E-ELAN в бэкбоуне
68
и использование новых ключевых особенностей BoF (Bag of Freebies). Первое позволяет улучшить качество обучения модели, а второе увеличивает качество работы модели при сохранении вычислительной скорости.
Class probability map
Рис. 2. Схема работы YOLO
Сегментация. Подход в задаче обнаружения помех на воде отличается от подхода к обнаружению знаков СНО и буев тем, что мы не имеем априорного знания об интересующих нас объектах и расположении этих самых помех в пространстве. В данном случае было решено, что более эффективным методом будет разделение кадра на воду, небо и непосредственно объекты в воде и на берегу, что можно отнести к задачам сегментации - это та же классификация объектов на изображении, только вместо описывающей рамки, каждому пикселю на изображении присваивается метка класса, к которому он принадлежит. Поставленная задача в идентичных условиях уже решалась ранее, и было решено остановиться на методе WaSR [14], так как он предоставляет высокое качество работы для скорости, которую предлагал другой вариант [15].
WaSR. Данная нейронная сеть предназначена для обнаружения препятствий в морской среде. Сеть состоит из двух частей: сети сегментации воды (кодер) и сети уточнения (декодер) (рис. 3).
Сегментация воды: первая часть сети отвечает за сегментацию входного изображения на водные и неводные области. Это делается с помощью полностью сверточной нейронной сети, которая принимает входное изображение и создает двоичную маску, указывающую водные области на изображении.
Уточнение: вторая часть сети отвечает за уточнение маски с предыдущего шага и обнаружение препятствий на изображении. Это делается с помощью второй полностью сверточной нейронной сети, которая прини-
мает как входное изображение, так и маску сегментации и создает усовершенствованную маску сегментации, которая отделяет воду от препятствий.
Сеть сегментации воды использует модифицированную архитектуру U-Net [16], состоящую из кодера и декодера. Кодер представляет собой серию сверточных слоев, которые уменьшают пространственное разрешение входного изображения и извлекают из него признаки. Декодер представляет собой серию слоев с повышающей дискретизацией, которые увеличивают пространственное разрешение карт объектов и создают бинарную маску, указывающую водные области на изображении.
Уточняющая сеть использует модифицированную версию архитектуры DeepLabV3+ [17], состоящую из кодировщика, модуля жесткого объединения пространственных пирамид (ASPP) и декодера. Кодер аналогичен тому, который используется в сети сегментации воды, но с более крупными сверточными фильтрами для захвата большего количества контекстуальной информации. Модуль ASPP использует расширенные сверточные фильтры с разной скоростью для захвата многомасштабных функций из входного изображения. Декодер представляет собой серию слоев с повышающей дискретизацией, которые увеличивают пространственное разрешение карт объектов и создают усовершенствованную маску сегментации, которая отделяет области воды от препятствий на изображении.
Encoder Decoder
Рис. 3. Общая схема архитектуры WaSR
Радар. Ввиду технических особенностей реализации всех систем безэкипажного катера, на нем не имеется прямого выхода на данные с радара - только визуальное отображение на приборной панели. В связи с
70
этим было принято решение обрабатывать поступающие с радиолокационной системы данные с помощью внешней камеры, направленной на приборную панель, таким образом, включив эту задачу в задачи системы технического зрения.
Основной задачей является определение положения скоплений объектов на радаре и передача данных об их относительном местоположении на основной сервер катера. Данная задача была решена стандартными методами компьютерного зрения при помощи выделения красных пятен на изображении после перевода RGB формата в HSV, поиске их центра масс и определения описывающего прямоугольника для самых крупных объектов.
Подготовка. Нейронная сеть для определения объектов была обучена на датасете буев и знаков СНО, собранных на натурных испытаниях системы. Была выбрана версия YOLOv7-tiny [7] ввиду скорости своей работы и достаточной вероятности определения искомого объекта в кадре. Обучение на реальных данных в предполагаемой среде повысило качество работы алгоритма. Нейронная сеть для определения помех была предобу-чена в условиях, приближенных к данным, потому было решено использовать имеющийся вариант. Обе сети были приведены к формату ONNX и развернуты на конечном устройстве при помощи TensorRT. Для связи компонентов между собой и с основной системой управления катером было написано серверное приложение и поднят сервер Hypercorn. Для удобства использования и конечного развертывания всей системы все вышеперечисленные компоненты были запакованы в соответствующие контейнеры и развернуты на целевой платформе.
Применяемый подход. В стандартном режиме работы предлагаемая система работает непрерывно, выполняя задачу обнаружения помех на воде и считывания информации с радара. Информация передается по протоколу TCP-IP [18] и представляет собой пакеты JSON [19], в которых содержится информация об обнаруженных объектах, а точнее положение их центра, ширина и высота в радианах и угловых координатах относительно камеры, на которой они были замечены, для режима обнаружения препятствий и аналогичный вышеописанным JSON пакет для данных с радара, только начальной точкой отсчета, от которой идет вычисление углов отклонения, считается центр радара. Далее между системой технического зрения и основным блоком управления катером осуществляется связь по протоколу TCP/IP по локальной сети, и упакованные данные с предыдущего этапа отправляются на основной сервер. Еще одним режимом работы является поиск объекта типа "знак СНО" или "буй". В данном случае с основного управляющего модуля катера должны прийти соответствующая команда и идентификатор камеры, в которой необходимо осуществить поиски, после которой будет запущена подпрограмма, принимающая решение о наличии объекта интереса в заданном месте. При наличии объекта в кадре на главный вычислитель катера будет отправлен JSON-пакет, схожий с вышеописанными, только в нем будет добавлено поле, содержащее
71
вырезанную с кадра картинку заданного объекта для дальнейшей обработки ее человеком на берегу. При отсутствии объекта будет передана соответствующая информация.
Ради сохранения обособленности компонент было принято решение, что сервер выполняет роль связующего хаба, следовательно, выполнение задач поиска помех и получения данных с радара должны выполнятся независимо и обособленно. Такой подход привел к реализации компонент как отдельных клиентов, запущенных на том же физическом устройстве, что и сервер. Таким образом, клиенты радара и помех работают в постоянном режиме, раз в фиксированное время отправляя информацию на сервер обработки данных системы компьютерного зрения. Тот ее проверяет на корректность и ретранслирует данные уже на основной сервер катера. Аналогичная система реализована и с клиентом определения объектов, за исключением того, что он находится в режиме ожидания до того момента, пока ему не придет соответствующая команда с локального сервера, далее алгоритм действий идентичен вышеописанному. Обособленно от остальных компонент работает видео-сервер на Rapberry PI, задачей которого является сохранение видео с камер на внутренний накопитель.
Результаты. Тестирование выполнялось при помощи полунатурного моделирования с использованием реальных видеозаписей, собранных в районе предполагаемого использования катера и видео, взятых из сети Интернет, которые содержали последовательность кадров, схожую с предполагаемыми условиями применения. Тестирование проводилось в ручном режиме, и оценка качества работы очередной итерации системы оценивалась относительно предыдущих при помощи визуального восприятия и формальных методов. Численными методами за заданное время было возможно оценить только качество работы обнаружения буев и знаков СНО (рис. 4). Данные показатели составляют mAP - 98,9 %, precision - 98,4 %, recall - 93,6 % для выборки, на которой проводилось обучение. На рис. 5 представлены графики обучения и кадры с реальных тестовых видео.
0.14 0.12 одо 0.03 0.06 0.04 0.02
0.025 0.020 0.015 0.010 0.005
train/objjoss —results
traln/dsjoss
200 400
200 400
0.04 0,02 0,00 -0.02 -0.04
val/obj_loss
200 400
metrics/precision
0.2 0.0
metrics/mAP_0,5
200 400
metrics/recall
гиШМШ
metrics/m AP_Q,5:0,9'
200 400
Рис. 4. Графики метрик обучения распознавания буев
Рис. 5. Результаты работы обнаружения буев на реальных данных
Оценка алгоритма поиска помех была заимствована из статьи [14], и результаты с ней совпадают, на рис. 6 приведены результаты работы алгоритма на тестовых видео (красной рамкой обведены объекты, считающиеся помехами).
Рис. 6. Результаты работы обнаружения помех на реальных данных. Оригинальный кадр, маска сегментации, совмещенное изображение с описывающим прямоугольником помех
73
Заключение. Таким образом, можно сделать вывод, что разработанная система технического зрения для безэкипажного катера позволяет определять наличие помех на воде, может определять объекты интереса, считывать данные с радиолокационной системы и передавать полученную информацию на основной вычислительный центр судна.
Улучшением данной системы может стать увеличение выборки буев и в особенности знаков СНО, так как банка этих данных не хватает для высоких показателей обнаружения и классификации, что приведет к более точной работе классификатора. Также необходимо написать автоматическую тестовую среду для более точной оценки качества работы, как это предлагается в статье [20].
Список литературы
1. Review on Autonomous Vehicles: Progress, Methods and Challenges / D. Parekh, N. Poddar, A. Rajpurkar, M. Chahal, N. Kumar, G.P. Joshi, W.A. Cho // Electronics. 2022. 11. 2162. https://doi.org/ 10. 3390/ electronics 11142162.
2. Autonomous vehicles: theoretical and practical challenges / Martinez-Diaz Margarita, Soriguera Francesc // Transportation Research Procedia. 2018. Vol. 33. P. 275-282. https://doi.org/10.1016/j.trpro.2018.10.103.
3. Zeadally S and Hussain R. Autonomous Cars: Research Results, Issues, and FutureChallenges // IEEE Communications Surveys & Tutorials 21 1276. 2018.
4. J. Contreras-Castillo, S. Zeadally, J.A. Guerrero-Ibanez. A seven-layered model architecture for Internet of Vehicles J. Inf. Telecommun. 2017. 1. 4-22.
5. Yue Wu, Yinpeng Chen, Lu Yuan, Zicheng Liu, Lijuan Wang, Hongzhi Li, Yun Fu. Rethinking Classification and Localization for Object Detection, CVPR 2020, https://doi.org/10.48550/arXiv.1904.06493.
6. Yufan, Luo & Xiao, Li. G-RCN. Optimizing the Gap between Classification and Localization Tasks for Object Detection, arXiv, 2020.
7. Wang, Chien-Yao & Bochkovskiy, Alexey & Liao, Hong-yuan. YOLOv7: Trainable bag-of-freebies sets new state-of-the-art for real-time object detectors, arXiv, 2022. 10.48550/arXiv.2207.02696.
8. A. Pramanik, S. K. Pal, J. Maiti and P. Mitra. Granulated RCNN and Multi-Class Deep SORT for Multi-Object Detection and Tracking // IEEE Transactions on Emerging Topics in Computational Intelligence. Feb. 2022. Vol. 6. № 1. P. 171-181. DOI: 10.1109/TETCI.2020.3041019.
9. Chien-Yao Wang, I-Hau Yeh, Hong-Yuan Mark Liao. You Only Learn One Representation: Unified Network for Multiple Tasks, CoRR, abs/2105.04206, 2021. https://arxiv.org/abs/2105.04206.
10. Ross Girshick, Jeff Donahue, Trevor Darrell and Jitendra Malik. Rich feature hierarchies for accurate object detection and semantic segmentation // Proceedings of the IEEE conference on computer vision and pattern recognition. 2014. P. 580 - 587.
11. Ross Girshick. Fast R-CNN // Proceedings of the International Conference on Computer Vision (ICCV). 2015.
12. Faster r-cnn: Towards real-time object detection with region proposal networks / Shaoqing Ren, Kaiming He, Ross Girshick, and Jian Sun // Advances in neural information processing systems. 2015. P. 91 - 99.
13. Joseph Redmon, Santosh Divvala, Ross Girshick, Ali Farhadi. You Only Look Once: Unified, Real-Time Object Detection, arXiv, 2015. https://arxiv.org/abs/1506.02640.
14. Bovcon B., Kristan M. WaSR - A Water Segmentation and Refinement Maritime Obstacle Detection Network // IEEE Transactions on Cybernetics. Dec. 2022. Vol. 52. № 12. P. 12661-12674. DOI: 10.1109/ TCYB. 2021. 3085856.
15. Chen X., Liu Y., Achuthan K., WODIS: Water Obstacle Detection Network Based on Image Segmentation for Autonomous Surface Vehicles in Maritime Environments // IEEE Transactions on Instrumentation and Measurement. 2021. Vol. 70. P. 1-13. Art no. 7503213. DOI: 10.1109/TIM.2021. 3092070.
16. Olaf Ronneberger, Philipp Fischer, Thomas Brox. U-Net: Convolu-tional Networks for Biomedical Image Segmentation, arXiv. 2015.
17. Liang-Chieh Chen, Yukun Zhu, George Papandreou, Florian Schroff, Hartwig Adam. Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation, arXiv. 2018.
18. Vinton G. Cerf, Robert E. Kahn. A Protocol for Packet Network Intercommunication // IEEE Transactions on Communications. May 1974. Vol. 22. № 5.
19. Lv Teng, Yan Ping, He Weimin. Survey on JSON Data Modelling. Journal of Physics: Conference Series, 2018, 1069. 012101. DOI: 10.1088/17426596/1069/1/012101.
20. Программный комплекс автоматизации тестирования алгоритмов обнаружения и сопровождения объектов на видеопоследовательностях / В.А. Бондаренко, А.Ю. Гагарина, В.А. Павлова, В.А. Тупиков // Перспективные системы и задачи управления: материалы XVI Всероссийской научно-практической конференции и XII Молодежной школы-семинара «Управление и обработка информации в технических системах». Таганрог, 2021. 355 с.
Гессен Павел Алексеевич, магистрант, gessen.pa@,edu.spbstu.ru, Россия, Санкт-Петербург, Санкт-Петербургский политехнический университет имени Петра Великого,
Лизин Алексей Игоревич, начальник центра средств интеллектуальной обработки изображений (ЦСИОИ) НПК РТС СН, lizin a@ nppame. ru, Россия, Санкт-Петербург, АО «Научно-производственное предприятие «Авиационная и морская электроника»,
Павлова Валерия Анатольевна, канд. техн. наук, зам. директора НПК РТС СН по НИОКР, pavlova@nppame.ru, Россия, Санкт-Петербург, АО «Научно-производственное предприятие «Авиационная и морская электроника»,
Тупиков Владимир Алексеевич, д-р техн. наук, профессор, заместитель генерального директора, директор НПК РТС СН, tupikov@nppame.ru, Россия, Санкт-Петербург, АО «Научно-производственное предприятие «Авиационная и морская электроника»
VISUAL INFORMATION PROCESSING METHODS FOR NAVIGATION OF AN ESSENTIAL VESSEL
PA. Gessen, A.I. Lizin, V.A. Pavlova, V.A. Tupikov
In order to create an innovative platform for unmanned boats that ensures their continuous operation and the fulfillment of the tasks set for the search and classification of surface objects and navigation aids, a study was made of world experience in the areas of creating surface unmanned swimming vehicles and technical vision using neural networks and deterministic algorithms image processing algorithms. The authors of the study carried out the development and semi-natural modeling of the proposed system, assessed the effectiveness of its work in the tasks of detecting surface obstacles to movement, classifying objects of interest, and carried out partial integration testing. The developed system showed high efficiency in solving the tasks. In conclusion, proposals are presented for further improving the accuracy and probability of detecting objects of interest and proposals for improving the method for assessing the quality of work.
Key words: automatic detection, classification of objects, neural networks.
Gessen Pavel Alekseevich, undergraduate, gessen.pa@edu.spbstu.ru, Russia, Saint Petersburg, Peter the Great St. Petersburg Polytechnic University,
Lizin Aleksey Igorevich, chief of intellectual image processing center (IIPC) RPCSPRS, lizin_a@nppame.ru, Russia, Saint Petersburg, SJC «Research and Production Enterprise «Air and Marine Electronics»,
Pavlova Valeria Anatolyevna, candidate of technical sciences, Deputy Director of research at Research and production complex of special purpose robotic systems, pavlo-va@nppame.ru, Russia, Saint Petersburg, SJC «Research and Production Enterprise «Air and Marine Electronics»,
Tupikov Vladimir Alekseevich, doctor of technical sciences, professor, Deputy Director General, Director of Research and Production Complex of Special Purpose Robotic Systems, tupikov@nppame.ru, Russia, Saint Petersburg, SJC «Research and Production Enterprise «Air and Marine Electronics»
