CC BY
0
Применение обученных на оптических изображениях свёрточных нейронных сетей для обнаружения объектов на радиолокационных
изображениях
В.А. Павлов1, А.А. Белов1, С.В. Волвенко1, А.В. Рашич1 1 Санкт-Петербургский политехнический университет Петра Великого (СПбПУ), 195251,Россия, г. Санкт-Петербург, ул. Политехническая, д. 29
Аннотация
В связи с малым количеством размеченных наборов данных радиолокационных изображений перспективным представляется использование оптических изображений для обучения нейронных сетей, предназначенных для обнаружения объектов на радиолокационных изображениях. Однако оптические изображения имеют ряд существенных отличий от радиолокационных изображений, что приводит к необходимости более глубокого экспериментального исследования вопроса. В работе была исследована применимость такого подхода и показано, что в случае задачи обнаружения кораблей достижимы высокие результаты. Кроме того, показано, что предварительная фильтрация спекл-шума позволяет дополнительно улучшить ситуацию.
Ключевые слова: спекл-шум, РЛИ, РСА, фильтрация шума, обработка изображений, SSIM, GMSD, обнаружение объектов.
Цитирование: Павлов, В.А. Применение обученных на оптических изображениях свёрточных нейронных сетей для обнаружения объектов на радиолокационных изображениях I В. А. Павлов, А.А. Белов, С.В. Волвенко, А.В. Рашич II Компьютерная оптика. - 2024. - Т. 48, № 2. - С. 253259 - DOI: 10.18287I2412-6179-CO-1316.
Citation: Pavlov VА, Belov АА, Volvenko SV, Rashich AV. Application of convolutional neural networks trained on optical images for object detection in radar images. Computer Optics 2024; 48(2): 253-259. DOI: 10.18287I2412-6179-CO-1316.
Введение
Радиолокационное изображение (РЛИ) - это изображение, полученное путём зондирования земной поверхности с помощью радиолокационного устройства. Одним из способов получения РЛИ является синтезирование апертуры (СА) [1]. Радиолокатор с синтезированной апертурой (РСА) позволяет получить изображения местности при любых погодных условиях, вне зависимости от условий освещенности, на значительном расстоянии от носителя и в широкой полосе обзора. СА может быть использовано на беспилотных аппаратах, в спутниковых системах, в подводных аппаратах и позволяет решать самые разные задачи, например: обнаружение малоразмерных объектов, оценка состояний железных дорог, аэродромов, морских портов, картографирование местности, подводного рельефа, поверхностей других планет, ведение геологической разведки, а также многое другое [1, 2]. Разрешение РЛИ в настоящее время уже часто сравнимо с разрешением оптических изображений (ОИ).
При наличии РЛИ земной поверхности возникает естественная необходимость извлечения из них полезной информации, к которой относятся, например, местоположение и тип объектов. Получение подобной информации в случае ОИ сейчас обычно производится с использованием свёрточных нейронных сетей (НС), позволяющих достичь довольно высокой
точности. Свёрточные нейронные сети (СНС) - это мощный инструмент машинного обучения, который нацелен на эффективное детектирование и классификацию объектов на изображениях [3, 4, 5]. Однако для обучения НС такого типа необходим большой набор аннотированных изображений, содержащих различные типы объектов. Существующих наборов РЛИ (даже неаннотированных) достаточно мало, некоторые из них недоступны (например, невозможно получить доступ к сайту, содержащему довольно часто встречающийся в статьях [6, 7] датасет МЕТАЯ), а составление собственных обучающих наборов достаточно трудоемко. Таким образом, можно рассматривать вариант обучения НС с использованием набора оптических изображений (ОИ) для дальнейшего применения при обработке РЛИ. Сложность формального анализа поведения НС в различных ситуациях приводит к необходимости более глубокого экспериментального исследования вопроса.
При этом нужно учитывать некоторые особенности РЛИ. Наиболее важной из них является существенная зернистость РЛИ, вызванная так называемым спекл-шумом [2]. Спекл-шум имеет мультипликативную природу и при обработке РЛИ может приводить к ложному обнаружению целей или к их пропуску. Чтобы повысить качество РЛИ и минимизировать ошибки детектирования объектов, часто производится обработка РЛИ различными фильтрами подавления спекл-шума [8].
В существующей литературе и научных статьях почти не встречается работ, посвященных использованию СНС, обученных на ОИ, для задач детектирования и классификации объектов на РЛИ. Поэтому целью данной работы является оценка применимости такого подхода и влияния наличия спекл-шума на изображениях, а также предварительная оценка влияния фильтрации данного шума на работу СНС, обученных на незашумленных ОИ, по детектированию и классификации объектов на РЛИ. Это позволит оценить, насколько точно можно будет извлекать информацию об объектах на реальных РЛИ с помощью НС, обученных на ОИ.
Спекл-шум
Природа спекл-шума и его фильтрация. Как уже
было сказано, важной особенностью РЛИ является зернистость (неравномерность) фона, вызванная спекл-шумом. Спекл-шум возникает из-за когерентного сложения сигналов, принятых от множества элементарных отражателей, находящихся в пределах одного элемента разрешения подстилающей поверхности [2]. Уровень спекл-шума существенно больше типичного для ОИ.
Спекл-шум на РЛИ математически может быть описан как модель мультипликативного шума, которая представляет из себя умножение исходного изображения на случайный сигнал. Тогда зашумленное изображение 1'(х, у) описывается формулой [2]:
I '(x, y ) = I (x, y )(i + n (x, y)),
(1)
где I(x,y) - исходное изображение (неискаженное); n (x,y) - случайный процесс, описывающий спекл-шум.
Для подавления спекл-шума используется множество фильтров. Ранее авторами было проведено исследование таких фильтров: разработана методика по поиску оптимальных значений параметров, управляющих работой фильтров [9, 10]. Оптимальность определялась в смысле наилучшего качества фильтрации - для этого использовалась метрика SSIM. Оптимальные параметры были найдены для следующих фильтров:
• медианный фильтр [11];
• фильтр Ли [12];
• фильтр Фроста [13];
• фильтр Куана [14];
• билатеральный фильтр [15];
• MAP фильтр [16];
• фильтр анизотропной диффузии [17].
В дальнейшем исследовании будем использовать полученные в предыдущих работах оптимальные параметры [9, 10].
Оценка вида и параметров распределения спекл-шума. Для того, чтобы иметь возможность оценить работу НС детектирования и классификации объектов, необходимо иметь следующие типы изображений: не-
зашумленные изображения, изображения с шумом, изображения после обработки фильтрами. Таким образом, использование РЛИ для данной задачи не представляется возможным, поскольку не имеется РЛИ без шума. Поэтому необходимо создать аналоги РЛИ искусственным образом, накладывая на оптические изображения спекл-шум согласно формуле 1.
Для определения распределения шума и оценки значений статистических параметров было рассмотрено 8 реальных РЛИ, на каждом изображении было выделено от 3 до 5 равномерных фрагментов (равномерность определялась также по параметру БКЬ). Примеры РЛИ с выделенными на них равномерными областями представлены на рис. 1.
шшшш
б) жтмжтшяшш, в) I
Рис. 1. Пример РЛИ с выделенными на нем равномерными
областями №1. а) РЛИ с выделенными равномерными областями, б) фрагмент РЛИ №1 500*500, в) фрагмент РЛИ №2 500*500
На рис. 2 представлена плотность вероятности выборки значений спекл-шума и аппроксимирующего распределения Рэлея. Из аппроксимирующего распределения Рэлея получаем, что параметр масштаба в данном случае равен 0,27.
Теперь проверим нулевую гипотезу Н0 о том, что рассматриваемая выборка значений спекл-шума принадлежит распределению Рэлея с параметром масштаба 0,27. Для этого будем использовать критерий согласия хи-квадрат (критерий согласия Пирсона) [18, 19]. Данный критерий реализован в программе МаНаЪ в функции chi2gof(x). В итоге получаем, что
критерий хи-квадрат не опровергает нулевую гипотезу Н0 с уровнем статистической значимости 0,05. Таким образом, получили, что спекл-шум имеет распределение Рэлея с параметром масштаба, равным 0,27.
Интенсивность пикселей Рис. 2. Плотность вероятности выборки значений спекл-шума и аппроксимирующего распределения Рэлея
Результаты
Для исследования влияния спекл-шума и его фильтрации на точность обнаружения объектов был рассмотрен детектор объектов на базе СНС [20, 21].
СНС обычно представляет собой чередование свёрточных, субдискретизирующих и полносвязных слоёв. Чередование слоёв позволяет составлять так называемые карты признаков, содержащие закодированную информацию, например, о наличии на изображении наклонной линии, а также координаты данного признака в обрабатываемом слое. На каждом последующем слое карта уменьшается в размере, но при этом происходит увеличение количества каналов.
После прохождения нескольких слоёв карта признаков может стать вектором или скаляром, а количество каналов может увеличиться до сотен. Тогда на выходе СНС добавляются полносвязные слои, на вход которых подаются карты признаков.
Существует множество различных архитектур СНС, предназначенных для детектирования и классификации объектов, однако семейство архитектур под названием «YOLO» («You Look Only Once») [22] является одним из наиболее перспективных и популярных в данной области.
Первая версия YOLO [22] представляет из себя одноэтапный алгоритм, который передаёт входное изображение целиком непосредственно в СНС. Эта возможность отличает YOLO от других, более ранних сетей (Fast R-CNN) и приводит к уменьшению фоновых ошибок.
Данная сеть была усовершенствована, и появилась её вторая версия - YOLO v2 [23]. В отличие от первой версии YOLO v2 является полностью свёрточной нейронной сетью (FCNN) [24]. Это означает, что вместо полносвязного слоя используется слой подвыбор-ки, который вычисляет средние значения по карте признаков (global average pooling) [24]. Использование такого алгоритма позволяет достичь более высокой точности и понизить ошибку локализации.
Третья версия сети YOLO v3 с более сложной архитектурой была разработана в 2018 году [25]. Рассмотрим отличия YOLO v3 от YOLO v2. В YOLO v2 для вычисления вероятностей по классам используется функция softmax, поэтому сумма всех вероятностей равна 1. Таким образом, метки классов являются взаимоисключающими. В YOLO v3 реализована классификация с несколькими метками. Вместо softmax используются независимые логистические классификаторы для вычисления вероятности принадлежности к определенной метке. Для вычисления потерь используется бинарная кросс-энтропия для каждой метки. Данный подход позволяет снизить вычислительную нагрузку.
В YOLO v3 наличие объекта для каждого ограничивающего прямоугольника вычисляется с использованием логистической регрессии. Если один из якорных прямоугольников перекрывается с истинным больше, чем все остальные, значение параметра наличия объекта для такого случая будет 1. Остальные якорные прямоугольники не учитываются, даже если значение перекрытия превышает заданное пороговое значение (0,5 по умолчанию).
Помимо YOLOv3 (106 слоёв), также имеется сеть TinyYOLOv3 (23 слоя), имеющая упрощенные архитектуры и работающая более быстро. Принцип работы остается таким же, как и для YOLOv3, поэтому не требует дополнительных пояснений. В данной работе для исследования влияния спекл-шума на детектирование объектов будем использовать именно упрощенную сеть TinyYOLO v3.
TinyYOLO v3 была обучена с использованием набора из 7869 ОИ, конвертированных в оттенки серого. Количество итераций обучения составило 100000. В качестве метрики для измерения точности детектирования использовалась метрика Mean Average Precision (MAP). Примеры ОИ из обучающей выборки представлены на рис. 3а-г. Разрешение изображений составляет 1 метр/пиксель.
На рис. 4а-г представлены результаты работы обученного нейросетевого детектора TinyYOLO v3 на РЛИ (разрешение 1 метр/пиксель) из набора данных [26], содержащего корабли. Было правильно обнаружено большое количество кораблей, в том числе в достаточно сложных условиях (см., например, рис. 46,г, содержащий, кроме корабля, большое количество других объектов). Полученные результаты позволяют сделать вывод о перспективности использования нейросетевых детекторов, обученных на ОИ для обнаружения объектов на РЛИ.
Для тестирования влияния фильтрации спекл-шума на работу данной нейронной сети был выбран тестовый набор из 1504 изображений. При подаче тестового набора незашумленных ОИ, конвертированных в оттенки серого, на вход НС значения MAP для архитектуры TinyYOLO v3 составила 77,18 %.
в) г) I
Рис. 3. Примеры оптических изображений из обучающей выборки
в) г) I
Рис. 4. Пример работы нейросетевого детектора на РЛИ
Далее на изображения из тестового набора был наложен спекл-шум в соответствии с формулой 1, затем зашумленные изображения были обработаны каждым из указанных выше фильтров при использовании оптимальных параметров. В итоге, было получено 9 наборов тестовых изображений: зашумленные изображения; изображения после медианного фильтра; после фильтра Ли; после MAP-фильтра; после фильтра Фроста; после фильтра Куана; после билатерального фильтра и после фильтра анизотропной диффузии при экспоненциальной и квадратичной функции g(x).
Каждый из этих наборов был подан на вход рассматриваемых НС. В результате были получены соответствующие значения MAP, которые представлены в табл. 1 и 2.
В табл. 1 введено обозначение ДчБ-шум, которое представляет из себя разность между значением MAP для набора из незашумленных изображений и MAP для набора из зашумленных изображений.
В табл. 1, кроме результатов для спекл-шума с распределением Рэлея с параметром масштаба 0,27, также приведены значения MAP и для других параметров масштаба. Как можно видеть, получается ожидаемый результат: с увеличением параметра масштаба относительно выбранного возрастает интенсивность шума и, соответственно, падает значение MAP, и наоборот - при уменьшении параметра масштаба значение MAP возрастает, поскольку интенсивность шума уменьшается. Данный результат указывает на прямую зависимость значений MAP от параметра масштаба, то есть при возможном случае использования РЛИ со спекл-шумом с некоторым другим параметром масштаба общие выводы, которые будут сделаны далее, сохранятся.
В табл. 2 введены следующие обозначения: Дшум-Фильтр - разность между значением MAP для набора из зашумленных изображений и MAP для набора из обработанных рассматриваемым фильтром изображений; ДчБ-Фильтр - разность между значением MAP для набора из незашумленных изображений и MAP для набора из обработанных рассматриваемым фильтром изображений.
Как можно видеть из полученных таблиц, при обработке НС зашумленных изображений значение MAP снижается, что указывает на отрицательное влияние спекл-шума на возможность детектирования объектов с помощью НС. При обработке зашумлен-ных изображений различными фильтрами с оптимальными параметрами значение MAP может быть увеличено на 5 - 6 % при использовании фильтров, выделенных зеленым цветом в табл. 2.
Анализируя табл. 2, можно прийти к выводу, что в данной задаче значение MAP само по себе может служить метрикой для поиска оптимальных параметров фильтров спекл-шума. То есть данная метрика поможет найти такие параметры фильтров, которые дадут наибольшее качество детектирования объектов НС. Для проверки данной гипотезы сделаем следующее: изменим оптимальные параметры, найденные по метрике SSIM, на 50 % в большую и меньшую стороны и подадим отфильтрованные с использованием таких параметров изображения на нейронные сети. Результаты такого эксперимента представлены в табл. 3 и табл. 4. Используемые параметры фильтров приведены в приложении 1.
В табл. 3 и табл. 4 введены следующие обозначения и цветовые пометки: Дотим-Неои™ - разность между значениями MAP для наборов из обработанных рассматриваемым фильтром изображений с использованием оптимальных параметров и неоптимальных; красным цветом обозначен рост MAP более, чем на 5 %, зеленым -изменение MAP не более, чем на 5 %, и голубым - снижение MAP более, чем на 5 %.
Как можно видеть из табл. 3 и табл. 4, применение неоптимальных параметров в некоторых случаях (медианный и MAP-фильтры) может приводить к неко-
торому улучшению результатов. Например, в случае медианного фильтра при меньших размерах окна, меньше искажаются границы объектов, но уменьшается и уровень сглаживания, следовательно, при малых окнах значение MAP должно стремиться к уровню, достигаемому при детектировании зашумленных изображений. В целом, по данным исследования, медианный фильтр вообще не стоит рассматривать как перспективный в вопросе фильтрации спекл-шума для дальнейшего детектирования объектов на РЛИ.
В случае других фильтров изменение параметров может привести как к сильному снижению значения MAP (до 40 %), так и к небольшому увеличению на 3 - 5 %. Однако учитывая, что разность значений MAP при детектировании зашумленных и отфильтрованных с использованием оптимальных параметров изображений составляет 5 - 6 %, увеличение MAP на 3- 5 % при использовании неоптимальных параметров может быть перспективным решением. Отсюда вытекает дальнейшая задача по поиску оптимальных параметров фильтров спекл-шума в смысле наилучшего качества детектирования объектов НС, определяемого непосредственно по наиболее высокому значению MAP.
Заключение
В данной работе был исследован вопрос применимости НС, обученных на ОИ, для детектирования объектов на РЛИ. Данный подход интересен по двум основным причинам. Во-первых, улучшающееся разрешение РЛИ становится сравнимо с оптическим и, несмотря на разницу физических принципов формирования изображений, многие объекты (в первую очередь техногенные) приобретают общие характеристики (в первую очередь связанные с их формой и структурой). Во-вторых, объем аннотированных ОИ, пригодных для использования в качестве обучающих данных для НС, на данный момент во много раз превышает объем доступных аналогичных РЛИ. При этом РЛИ отличаются от оптических по целому ряду параметров, в частности имеющих существенно более высокий уровень шумов. Тем не менее было продемонстрировано обнаружение одного из возможных типов объектов (кораблей) с достаточно высокой точностью даже на изображениях, содержащих большое количество других объектов. Дополнительно оценивалось влияние фильтрации спекл-шума на результаты обнаружения кораблей. Было проведено исследование параметров спекл-шума на РЛИ и показано, что обычно он имеет распределение Рэлея с типичным значением параметра масштаба 0,27. Также было установлено, что спекл-шум имеет пространственную корреляцию. Спекл-шум с полученными характеристиками был искусственно синтезирован и наложен на исходные оптические изображения, которые использовались для обучения Tiny YOLO v3 детектированию и классификации объектов.
В результате было получено, что при подаче на данные НС дополнительно зашумленных изображений точность детектирования падает на 15 - 20 %, что указывает на отрицательное влияние спекл-шума на возможность детектирования объектов на РЛИ с помощью НС, обученных на ОИ. Однако при применении фильтров спекл-шума качество детектирования удается улучшить: при применении оптимальных по метрике SSIM параметров фильтров [10] улучшение MAP относительно детектирования на зашумленных изображениях составляет 5- 6 %, однако при применении неоптимальных по метрике SSIM параметров значение MAP можно улучшить еще на несколько процентов. Такой результат указывает на возможность развития метода поиска оптимальных параметров фильтров спекл-шума, обеспечивающих наилучшее качество последующего детектирования объектов нейронными сетями с оценкой оптимальности параметров непосредственно по значениям метрики MAP.
Благодарности
Исследования выполнены при финансовой поддержке Минобрнауки России в рамках соглашения о предоставлении гранта в форме субсидий из федерального бюджета на осуществление государственной поддержки создания и развития научных центров мирового уровня, выполняющих исследования и разработки по приоритетам научно-технологического развития от 20 апреля 2022 года №075-15-2022-311.
References
[1] Pavlov VA, Belov AA, Tuzova AA. Implementation of synthetic aperture radar processing algorithms on the Jet-son TX1 platform. IEEE Int Conf on Electrical Engineering and Photonics (EExPolytech) 2019: 90-93.
[2] Ozdemii C. Inverse synthetic aperture radar imaging with MATLAB algorithms. Hoboken, NJ: John Wiley & Sons Inc; 2012.
[3] Dhillon A, Verma G. Convolutional neural network: a review of models, methodologies and applications to object detection. Prog Artif Intell 2020; 9: 85-112.
[4] Sultana F, Sufian A, Dutta P. A review of object detection models based on convolutional neural network. In Book: Mandal JK, Banerjee S, eds. Intelligent computing: Image processing based applications. Singapore: Nature Singapore Pte Ltd; 2020. DOI: 10.1007/978-981-15-4288-6_1.
[5] Galvez R, Bandala A, Dadios E, Vicerra R, Maningo J. Object detection using convolutional neural networks. IEEE Region 10 Conf (TENCON 2018) 2018: 2023-2027.
[6] Profeta A, Rodriguez A, Clouse HS. Convolutional neural networks for synthetic aperture radar classification. Proc SPIE 2016; 9843: 98430M.
[7] Zhao P, Liu K, Zou H, Zhen X. Multi-stream convolution-al neural network for SAR automatic target recognition. Remote Sens 2018; 10(9): 1473.
[8] Fursov V, Zherdev D, Kazanskiy N. Support subspaces method for synthetic aperture radar automatic target recognition. International Journal of Advanced Robotic Systems; 2016; 13(5): 1-11. DOI: 10.1177/1729881416664848.
[9] Pavlov V, Tuzova A, Belov A, Matveev Y. An automated method for finding the optimal parameters of adaptive filters
for speckle denoising of SAR images. Computer Optics 2022; 46(6): 914-920. DOI: 10.18287/2412-6179-CO-1132.
[10] Belov AA, Pavlov VA, Tuzova AA. A method of finding optimal parameters of speckle noise reduction filters. internet of things, smart spaces, and next generation networks and systems. Cham: Springer International Publishing; 2020: 133-141.
[11] Gonzalez R, Woods R. Digital image processing. 2nd ed. Prentice Hall; 2002.
[12] Lee JS. Digital image enhancement and noise filtering by using local statistics. IEEE Trans Pattern Anal Mach Intell 1980; PAMI-2(2): 165-168.
[13] Frost V, Stiles J, Shanmugan K, Holtzman J. A model for radar images and its application to adaptive digital filtering of multiplicative noise. IEEE Trans Pattern Anal Mach Intell 1982, PAMI-4(2): 157-166.
[14] Kuan D, Sawchuk A, Strand T, Chavel P. Adaptive restoration of images with speckle. IEEE Trans Acoust Speech Signal Process 1987; 25(3): 373-383.
[15] Tomasi C, Manduchi R. Bilateral filtering for gray and color images. Sixth Int Conf on Computer Vision (IEEE Cat. No.98CH36271) 1998: 839-846.
[16] Lopes A, Nezry E, Touzi R, Laur H. Structure detection and statistical adaptive speckle filtering in SAR images. Int J Remote Sens 1993; 14(9): 1735-1758.
[17] Perona P, Malik J. Scale-space and edge detection using anisotropic diffusion. IEEE Trans Pattern Anal Mach Intell 1990; 12(7): 629-639.
[18] Chernoff H, Lehmann EL. The use of maximum likelihood estimates in x2 tests for goodness of fit. In Book: Rojo J,
ed. Selected works of E. L. Lehmann. Springer Sci-ence+Business Media; 2012: 541-549.
[19] Pearson K. On the criterion that a given system of deviations from the probable in the case of a correlated system of variables is such that it can be reasonably supposed to have arisen from random sampling. In Book: Kotz S, Johnson NL, eds. Breakthroughs in statistics. Volume II: Methodology and distribution. New York, NY: Springer-Verlag; 1992: 11-28.
[20] Goodfellow I, Bengio Y, Courville A. Deep learning. The MIT Press; 2016.
[21] Haykin S. Neural networks: A comprehensive foundation. 2nd ed. Prentice Hall PTR USA; 1998.
[22] Redmon J, Divvala S, Girshick R, Farhadi A. You only look once: Unified, real-time object detection. IEEE Conf on Computer Vision and Pattern Recognition (CVPR) 2016: 779-788.
[23] Redmon J, Farhadi A. YOLO9000: better, faster, stronger. IEEE Conf on Computer Vision and Pattern Recognition (CVPR) 2017: 6517-6525.
[24] Lin M, Chen Q, Yan S, Network in network. arXiv Preprint. 2013. Source: <https://arxiv.org/abs/1312.4400>.
[25] Redmon J, Farhadi A. YOLOv3: An incremental improvement. arXiv Preprint. 2018. Source: <http://arxiv.org/abs/1804.02767>.
[26] Wei S, Zeng X, Qu Q, Wang M, Su H, Shi J. HRSID: A high-resolution SAR images dataset for ship detection and instance segmentation. IEEE Access 2020; 8: 120234120254.
Приложение А
Табл. 1. Значения MAP для набора из зашумленных изображений
Нейронная сеть а распределения Рэлея MAP, % ЛчБ-Шум, %
TinyYOLO3 0,27 55,53 21,65
0,54 43,95 33,23
0,14 65,89 11,29
Приложение Б
Табл. 2. Значения MAP для набора изображений, обработанных фильтрами с оптимальными параметрами
Фильтр MAP, % ЛШум-Фильтр, % Л ЧБ-Фильтр, %
Медианный 24,65 - 28,88 50,53
Ли 62,49 6,96 14,69
MAP 58,93 3,40 18,25
Фроста 61,34 5,81 15,84
Куана 57,00 1,47 20,18
Билатеральный 56,64 1,11 20,54
Анизотр. диффузии при эксп. g(x) 57,53 2,00 19,65
Анизотр. диффузии при кв. g(x) 62,31 6,78 14,87
Приложение В
Табл. 3. Значения MAP для набора изображений, обработанных фильтрами с неоптимальными параметрами
(ниже на 50 %, чем оптимальные)
Фильтр MAP, % Лшум-Фильтр, % Л ЧБ-Фильтр, % Лоптим-Неоптим, %
Медианный 53,96 - 1,57 23,22 - 29,31
Ли 62,54 7,01 14,64 - 0,05
MAP 63,99 8,46 13,19 - 5,06
Фроста 57,67 2,14 19,51 3,67
Куана 44,19 - 11,34 32,99 12,81
Билатеральный 60,89 5,36 16,29 - 4,25
Анизотр. диффузии при эксп. g(x) 55,69 0,16 21,49 1,84
Анизотр. диффузии при квр. g(x) 55,13 - 0,4 22,05 7,18
Приложение Г
Табл. 4. Значения MAP для набора изображений, обработанных фильтрами с неоптимальными параметрами
(выше на 50 %, чем оптимальные)
Фильтр MAP, % Лшум-Фильтр, % ЛчБ-Фильтр, % Лоптим-Неоптим, %
Медианный 14,19 - 41,34 62,99 10,46
Ли 59,88 4,35 17,3 2,61
MAP 53,63 - 1,9 23,55 5,3
Фроста 64,38 8,85 12,8 - 3,04
Куана 54,42 - 1,11 22,76 2,58
Билатеральный 32,29 - 23,24 44,89 24,35
Анизотр. диффузии при эксп. g(x) 19,02 - 36,51 58,16 38,51
Анизотр. диффузии при квр. g(x) 18,91 - 36,62 58,27 43,4
Сведения об авторах
Павлов Виталий Александрович, 1989 года рождения, к.т.н., ассистент, Институт электроники и телекоммуникаций, Санкт-Петербургский политехнический университет Петра Великого (СПбПУ), Санкт-Петербург. E-mail: pavlov_va@spbstu. ru Orcid: 0000-0003-0726-6613
Белов Андрей Александрович, 1966 года рождения, ведущий инженер, Институт электроники и телекоммуникаций, Санкт-Петербургский политехнический университет Петра Великого (СПбПУ), Санкт-Петербург. E-mail: belov@spbstu.ru Orcid: 0000-0003-0617-4514
Волвенко Сергей Валентинович, 1971 года рождения, старший научный сотрудник, Институт электроники и телекоммуникаций, Санкт-Петербургский политехнический университет Петра Великого (СПбПУ), Санкт-Петербург. E-mail: volk@cee.spbstu.ru Orcid: 0000-0001-7726-8492
Рашич Андрей Валерьевич, 1983 года рождения, к.т.н., доцент, Институт электроники и телекоммуникаций, Санкт-Петербургский политехнический университет Петра Великого (СПбПУ), Санкт-Петербург. E-mail: rashich@cee.spbstu.ru Orcid: 0000-0001-8099-513X
ГРНТИ: 20.53.19
Поступила в редакцию 11 апреля 2023 г. Окончательный вариант - 8 сентября 2023 г.
Application of convolutional neural networks trained on optical images for object detection in radar images
V.A. Pavlov1, A.A. Belov1, S. V. Volvenko1, A.V. Rashich1 1 Peter the Great St.Petersburg Polytechnic University, 195251, Russia, St.Petersburg, Polytechnicheskaya 29
Abstract
Due to the small number of annotated radar image datasets, the use of optical images for training neural networks designed to detect objects in radar images seems promising. However, optical images have some significant differences from radar images and an experimental investigation of this possibility is required. In this work we investigate the applicability of such an approach and show that in the case of detection of ships good results can be achieved. In addition, it is shown that preliminary filtering of speckle noise can improve the results.
Keywords: speckle noise, radar image, SAR, noise reduction, image processing, SSIM, GMSD, object detection, neural networks.
Citation: Pavlov VA, Belov AA, Volvenko SV, Rashich AV. Application of convolutional neural networks trained on optical images for object detection in radar images. Computer Optics 2024; 48(2): 253-259. DOI: 10.18287/2412-6179-CO-1316.
Acknowledgements: The research was funded by the Ministry of Education and Science of the Russian Federation under grant # 075-15-2022-311 awarded from the federal budget for creation and development of world-class scientific centers working in advanced research and technology areas" of April 20, 2022.
Authors' information
Vitalii Alexandrovich Pavlov, (b. 1989), Assistant, Institute of Electronics and Telecommunications, Peter the Great St.Petersburg Polytechnic University, Saint-Petersburg. PhD. E-mail: pavlov_va@spbstu.ru Orcid: 0000-0003-0726-6613
Andrei Alexandrovich Belov, (b. 1966), Lead Engineer, Institute of Electronics and Telecommunications, Peter the Great St.Petersburg Polytechnic University, Saint-Petersburg. E-mail: belov@spbstu.ru Orcid: 0000-0003-0617-4514
Sergei Valentinovich Volvenko, (b. 1971), senior researcher, Institute of Electronics and Telecommunications, Peter the Great St.Petersburg Polytechnic University, Saint-Petersburg. E-mail: volk@cee.spbstu.ru Orcid: 0000-0001-7726-8492
Andrei Valerevich Rashich, (b. 1983), associate professor, Institute of Electronics and Telecommunications, Peter the Great St.Petersburg Polytechnic University, Saint-Petersburg. PhD. E-mail: rashich@cee.spbstu.ru Orcid: 0000-0001-8099-513X
Received April 11, 2023. The final version - September 8, 2023.
