CC BY
0
Сравнение архитектур нейронных сетей для подавления мультипликативного шума на изображениях
В.А. Павлов1, А.А. Белов1, В. Т. Нгуен1, Н. Йовановски1, А. С. Овсянникова1 1 Санкт-Петербургский политехнический университет Петра Великого (СПбПУ), 195251, Россия, Санкт-Петербург, ул. Политехническая, д. 29
Аннотация
В статье сравниваются различные методы фильтрации шумов на изображении с помощью нейронных сетей, при этом обрабатываемые изображения могут содержать как однородные области, так и малоразмерные объекты, и резкие границы. Используются свер-точные и полносвязные нейронные сети. Показано, что различные архитектуры НС требуют существенно разного количества обучающего материала для достижения одинакового качества фильтрации. Приведены примеры сетей с пониженными требованиями к количеству обучающего материала.
Ключевые слова: спекл-шум, РЛИ, РСА, фильтрация шума, обработка изображений, нейронная сеть.
Цитирование: Павлов, В.А. Сравнение архитектур нейронных сетей для подавления мультипликативного шума на изображениях / В.А. Павлов А.А. Белов, В.Т. Нгуен, Н. Йовановски, А. С. Овсянникова // Компьютерная оптика. - 2024. - Т. 48, № 3. - С. 425-431. - DOI: I0.18287/2412-6179-C0-I400.
Citation: Pavlov УА, Belov A А, Nguen VT, Jovanovski N, Ovsyannikova AS. Comparison of neural networks for suppression of multiplicative noise in images. Computer Optics 2024; 48(3): 425-431. DOI: 10.18287/2412-6179-C0-1400.
Введение
Радиолокатор с синтезированной апертурой (РСА) обладает множеством преимуществ по сравнению с оптическим дистанционным зондированием [1]. РСА позволяет получать изображения круглосуточно, в любую погоду, на значительном расстоянии от носителя и в широкой полосе обзора. РСА-оборудование может быть размещено на спутниках, летательных, а в случае гидролокации и на подводных аппаратах. В связи с этим изображения, полученные с помощью РСА, используются во многих областях, таких как картографирование местности, получение данных в интересах лесного и сельского хозяйства, при мониторинге труднодоступных областей и т.п.
Основным недостатком изображений, полученных с помощью РСА, является наличие мультипликативного спекл-шума, который ухудшает качество изображений и снижает эффективность различных автоматизированных методов извлечения информации, включая нейросетевые. Для обработки изображений РСА с целью классификации, сегментации и обнаружения желательно уменьшение уровня спекл-шума. Аналогичные проблемы встречаются при анализе данных гидролокаторов с синтезированной апертурой и ультразвуковых медицинских изображений.
В настоящее время обучение нейронных сетей (НС) для обработки РЛИ часто производится на специально зашумленных оптических изображениях. В этом случае НС вынуждена сочетать в себе функции шумоподавления и обнаружения/классификации. Однако эти функции можно и разделить между двумя НС: шумоподавителем и обнаружителем. Плюсами
такого подхода являются возможность оптимизации шумоподавления, использования для обнаружения/классификации объектов, существующих НС, уже обученных на оптических изображениях, и получение в процессе обработки изображения с уменьшенными шумами, доступного для просмотра и анализа человеком-оператором.
Цель работы заключается в разработке способа фильтрации шумов на изображении с помощью НС малой вычислительной сложности, не требующей большого количества обучающего материала.
Обзор методов фильтрации спекл-шума
Методы фильтрации спекл-шума в общем случае можно разделить на четыре основные категории:
• методы пространственной области [2 - 7],
• вейвлет-методы [8 - 11],
• нелокальные методы [12, 13],
• нейросетевые методы [14 - 19].
К методам, работающим в пространственной области, относятся медианный фильтр [2], фильтр Ли [3], фильтр Фроста [4], фильтр Куана [5], фильтр Пе-рона и Малика [6], билатеральный фильтр [7].
Методы на основе вейвлетов более эффективны, чем методы пространственной области. Они позволяют выполнять анализ изображения в нескольких разрешениях и при нестационарных характеристиках. Данные методы фильтруют изображения в области преобразований, оценивая обесшумленные коэффициенты, а затем применяют обратное преобразование для получения очищенного изображения. В работах [8 - 11] применяется логарифмирование данных для преобразования мультипликативного шума в аддитивный
В то время как локальные методы используют информацию из окон ограниченного размера, нелокальные методы пытаются дополнительно использовать информацию обо всем изображении. В [12] представлен фильтр нелокального среднего (non-local mean, NLM), который вычисляет взвешенное среднее значение всех пикселей изображения, а веса зависят от их сходства с целевым пикселем. Весовые коэффициенты определяются путем вычисления евклидова расстояния между окружающим участком с центром в соседнем пикселе и локальным участком с центром в целевом пикселе. В работе [13] для адаптации нелокального метода был предложен вероятностный алгоритм на основе фрагментов. Авторы разработали меру сходства фрагментов, которая обобщается на случай мультипликативного, негауссового спекл-шума.
В последние годы в области фильтрации спекл-шума на радиолокационных изображениях (РЛИ) стали активно применяться методы глубокого обучения, в частности глубокие нейронные сети. В [14] представлен SAR-CNN, который применяет схожую с DnCNN [15] методику фильтрации спекл-шума и использует гомоморфный подход для работы с мультипликативной моделью шума и новую меру сходства для распределения спекл-шума в качестве функции потерь, а не обычное евклидово расстояние. Чистые данные для обучения получаются путем усреднения разновременных изображений SAR. В [16] предложена остаточная свёрточная сеть (ID-CNN), обученная на синтетических РЛИ, для прямой оценки шума в исходной области. Удаление спекл-шума на изображении получается путем деления зашумленного изображения на оцененный шум. В [17] для удаления спекл-шума предложен метод IDGAN, основанный на генеративной состязательной сети и обученный с использованием взвешенной комбинации евклидовых потерь, перцептивной потери и состязательной потери. В [18] для увеличения поля восприимчивости и улучшения распространения и повторного использования признаков была предложена расширенная сеть с плотными связями (SAR-DDCN), обученная с использованием евклидова расстояния. В [19] была предложена комбинация гибридных расширенных сверток и модулей пространственного и канального внимания с помощью остаточной архитектуры, названной HDRANet, для дальнейшего улучшения возможности извлечения признаков. В [20] предложено одновременное использование нейронной сети на базе свёр-точной архитектуры для увеличения поля восприимчивости с применением механизма автокодировщика для извлечения важных признаков.
Описание архитектуры
Предлагаемый метод базируется на совмещении традиционных и нейросетевых (НС) подходов к фильтрации изображений. Как и в традиционном подходе, обработка ведется в окне небольшого размера. Однако
предсказание центрального пикселя окна производится с помощью специально обученной НС.
Ключевым отличием предлагаемого метода является замена НС, работающей с изображением в целом, на НС, последовательно работающую с участками изображения (окнами). При этом обеспечивается просмотр сетью большего количества локальных особенностей изображения, что обеспечивает большую эффективность обучения при том же наборе данных.
Модель полносвязной НС (ПСНС) представлена на рис. 1. Она состоит из блоков, которые содержат полносвязный слой, пакетную нормализацию и функцию активации ЯеЬи. Размер выходного слоя зависит от типа решаемой задачи: классификация или регрессия. Количество нейронов в скрытых слоях равно размеру входа, который, в свою очередь, кратен п*п, где п - размер скользящего окна.
_;_ 5;
Полносвязный слой Пакетная нормализация ReLU
Выходной слой Пиксель
Рис. 1. Архитектура полносвязного НС-фильтра
В связи с небольшой размерностью такой НС процесс ее обучения вычислительно не сложен и возможен даже без применения аппаратного ускорения на графических процессорах. А малый размер окна приводит к тому, что даже единственное изображение достаточно большого размера содержит в себе большой объем обучающих данных (возможно использование как перекрывающихся, так и неперекрывающихся окон).
В табл. 1 представлена структура ПСНС.
Пример формирования обучающих данных представлен на рис. 2.
Исходное изображение
I I ■ I 1 щ
Зашумленные данные 1 хМ ^ у
Рис. 2. Пример формирования обучающих данных
Зашумленное изображение
Табл. 1. Структура нейросетевого фильтра
Параметры Описание
Количество слоёв N слоёв: • 1 входной слой • N-2 скрытых слоя • 1 выходной слой
Структура входного слоя • Полносвязный слой (количество входов w*h ^ - ширина скользящего окна, h - высота)) • пакетная нормализация • функция активации ЯеЬи
Структура скрытого слоя • Полносвязный слой (количество нейронов совпадает с размером входного слоя) пакетная нормализация • функция активации ЯеЬИ
Структура выходного слоя Полносвязный слой: • 1 нейрон для задачи регрессии • 256 нейронов для задачи классификации
Результаты и обсуждение
Для формирования обучающего и тестового набора необходимо иметь исходные (незашумленные) изображения, изображения с шумом, изображения после обработки фильтрами. В связи с этим необходимо создать синтетические аналоги РЛИ искус-
ственным образом, накладывая на оптические изображения спекл-шум согласно формуле [22]:
I '(х, у )= I (х, у )(1 + п (х, у)),
(1)
где I(х,у) - исходное изображение (неискаженное); п (х, у) - случайный процесс, описывающий спекл-шум.
Для обучения НС-фильтра желательно, чтобы оптическая обучающая выборка примерно соответствовала характеристикам планируемых к обработке изображений (лес, горы, город, море). Если в данный момент недоступны изображения конкретного участка местности, то можно использовать похожие. Поскольку в настоящий момент доступно большое количество оптических изображений различных участков земной поверхности, то такой выбор не должен составлять большой проблемы.
В работе [21] показано, что распределение шума на РЛИ соответствует распределению Рэлея с параметром масштаба 0,27.
На рис. 3а, б представлены примеры исходных оптических изображений, на рис. 3в, г представлены примеры зашумленных изображений, на которых обучались и тестировались фильтры.
Архитектура фильтра на основе свёрточной нейронной сети (СНС) представлена на рис. 4.
В табл. 2 представлена структура фильтра на основе СНС.
Обучение нейросетевых подходов выполнялось на графическом ускорителе ЯТХ 2080 Т1. Параметры обучения ПСНС представлены в табл. 3.
Рис. 3. Примеры оптических изображений
Табл. 2. Структура фильтра на основе СНС
Очищенное изображение Рис. 4. Архитектура фильтра на основе СНС
Параметры Описание
Количество слоёв N слоёв: • 1 входной слой • N-2 скрытых слоя • 1 выходной слой
Структура входного слоя • Свёрточный слой (64 фильтра, размер фильтра - 3*3) • пакетная нормализация • функция активации ЯеЬИ
Структура скрытого слоя • Свёрточный слой (64 фильтра, размер фильтра - 3*3) • пакетная нормализация • функция активации ЯеЬИ
Структура выходного слоя Свёрточный слой (64 фильтра, размер фильтра - 3*3)
Параметры обучения СНС представлены в табл. 4.
В табл. 5 представлены результаты сравнения СНС, ПСНС и фильтров с оптимальными параметрами, взятыми из работы [21] с помощью метрик 881М [23] и вМ8Б [24]. Сравниваются исходные незашумлен-ные оптические изображения и изображения после фильтрации. Размер тестовой выборки - 128 изображений, разрешение - 512*512.
Параметр Тип задачи
Классификация | Регрессия
Кол-во эпох 30
Размер батча 32768 векторов
Скорость обучения 10-3
Размер выборки 5274752 векторов (128 изображений (шаг 3))
Размер обучающей выборки 4219800
Размер валидационной выборки 1054952
Функция потерь Перекрёстная Среднеквадратическая энтропия ошибка
Метод обучения Adam
Скорость
Параметр Значение
Кол-во эпох 100
Размер батча 4 (для N = 20)
Скорость обучения 10 3
Размер обучающей выборки 1024
Размер валидационной выборки 128
Функция потерь Среднеквадратическая ошибка
Метод обучения Adam
выборки
Размер валидационной выборки
Функция потерь
Метод обучения
Метод S SIM GMSD
ПСНС (N = 10, 11x11), классификация 0,871 0,063
ПСНС (N = 20, 11x11), классификация 0,872 0,065
ПСНС (N = 10, 11X11), регрессия 0,873 0,065
ПСНС (N = 20, 11x11), регрессия 0,866 0,065
СНС (N = 10) 0,890 0,057
СНС (N = 20) 0,895 0,056
DnCNN Matlab 0.834 0,067
Билатеральный фильтр 0,818 0,084
Фильтр Перона и Малика (Quad) 0,807 0,079
Фильтр Ли 0,796 0,084
Фильтр Фроста 0,787 0,112
Медианный фильтр 0,747 0,109
Фильтр Куана 0,636 0,112
32768 векторов
10-
5274752 векторов (128 изображений (шаг 3))
4219800
1054952
Перекрёстная энтропия
Среднеквадратическая ошибка
Adam
Табл. 4. Параметры обучения СНС
Параметр
Кол-во эпох
Размер батча
Скорость обучения
Размер обучающей выборки
Размер валидационной выборки
Функция потерь
Метод обучения
Значение
100
4 (для N = 20)
10
1024
128
Среднеквадратическая ошибка
Adam
Табл. 5. Результаты сравнения СНС, ПСНС и фильтров
Метод
ПСНС (N = 10, 11x11), классификация
ПСНС (N = 20, 11x11), классификация
ПСНС (N = 10, 11X11), регрессия
ПСНС (N = 20, 11x11), регрессия
СНС (N = 10)
СНС (N = 20)
DnCNN Matlab
Билатеральный фильтр
Фильтр Перона и Малика (Quad)
Фильтр Ли
Фильтр Фроста
Медианный фильтр
Фильтр Куана
S SIM GMSD
0,871
0,872
0,873
0,866
0,890
0,895
0.834
0,818
0,807
0,796
0,787
0,747
0,636
0,063
0,065
0,065
0,065
0,057
0,056
0,067
0,084
0,079
0,084
0,112
0,109
0,112
На рис. 5а, б представлены результаты фильтрации изображений 3а, б с помощью ПСНС (Ы = 10, 11x11, регрессия). На рис. 5в, г представлены результаты фильтрации изображений 3 а, б с помощью СНС (Ы = 20).
На рис. 6а представлены срезы для рис. 3а, в и 5а, в. По оси абсцисс отложены индексы пикселей, а по оси ординат - нормированная интенсивность. Отметим, что для того чтобы графики не пересекались, они были сдвинуты вдоль оси ординат. На рис. 6б белой линией показано положение среза.
Рис. 5. Результаты фильтрации: а,б) ПСНС (N = 10, 11*11, регрессия), в,г) результаты фильтрации СНС (N = 20)
100 150 200 250 300 350 400 Индексы пикселей вдоль 10 среза
Рис. 6. Срезы исходного, зашумленного и отфильтрованных изображений
Видно, что НС-фильтры хорошо подавляют шум, сохраняя при этом особенности исходного изображения (границы и малоразмерные объекты). Это соответствует высоким значениям метрики 881М и малым значениях ОМ8Б. Комбинация этих метрик, как по-
казала практика, хорошо отражает качество фильтрации, оцениваемое экспертом визуально.
На рис. 7а представлено исходное зашумленное РЛИ (разрешение 512x512) [26], на рис. 7б представлен результат фильтрации ПСНС (Ы = 10,
11x11, регрессия), на рис. 7в - результат фильтрации СНС (N = 20)
Рис. 7. а) Пример РЛИ; результаты фильтрации: б) ПСНС N = 10, 11*11, регрессия), в) результаты фильтрации СНС (Ы = 20)
На рис. 8а - в представлены фрагменты рис. 7а- в. На рис. 9а представлены срезы рис. 8а - в. По оси абсцисс отложены индексы пикселей, а по оси ординат - нормированная интенсивность. Чтобы графики не
пересекались, они были сдвинуты вдоль оси ординат. На рис. 9б белой линией показано положение среза.
Рис. 8. а) Фрагмент рис. 7а; б) фрагмент рис. 7б, в) фрагмент рис. 7в
В табл. 6 представлено сравнение ПСНС (N=10, 11x11, регрессия) и СНС (N = 20), обученных на ограниченном наборе данных (16 изображений). Сравнение выполнялось в двух режимах: на CPU (Intel Core i7-8700K, 3.7 ГГц) и GPU (RTX 2080 TI).
Индексы пикселей вдоль 1D среза
Рис. 9. Срезы зашумленного и отфильтрованных изображений
Табл. 6. Результаты сравнения СНС, ПСНС
Параметр СНС ПСНС, регрессия
Кол-во эпох 100 15
Время обучения на CPU, с 1800 600
Время обучения на GPU, с 148 202
Ср. время обработки изображения (512x512) на CPU, с 0,6 0,4
Ср. время обработки изображения (512x512) на GPU, с 0,001 0,002
Кол-во изображений для обучения 16
Кол-во изображений для тестирования 128
SSIM 0,81 0,852
GMSD 0,088 0,070
Результаты экспериментов показали, что нейросе-тевые подходы превосходят по качеству фильтрации традиционные, при этом подход на основе ПСНС обеспечивает высокое качестве фильтрации при уменьшенном объёме обучающего материала.
Заключение
Описанная методика фильтрации на основе НС позволяет фильтровать шумы на изображениях, которые могут содержать как однородные области, так и малоразмерные объекты, и резкие границы. Рассмот-
рено применение наиболее распространенных в настоящее время стандартных сверточных НС и полносвязных НС небольшой размерности, работающих с небольшими участками изображения (окнами) и предсказывающими только центральный пиксель окна. В последнем случае обработка изображения произвольного размера осуществляется последовательным перемещением скользящего окна по изображению.
Проведенное сравнение ПСНС, СНС и классических фильтров показывает, что нейросетевые подходы превосходят по качеству фильтрации традиционные. Однако существенным недостатком нейросетевых подходов является необходимость использования большого количества обучающего материала. Предложенные архитектуры на основе ПСНС обеспечивают высокое качество фильтрации при существенно уменьшенном объёме обучающего материала по сравнению с СНС, что является их важным преимуществом.
Планируется исследование применения предложенной архитектуры к фильтрации других видов шумов.
Благодарности
Исследования выполнены при финансовой поддержке Минобрнауки России в рамках соглашения о предоставлении гранта в форме субсидий из федерального бюджета на осуществление государственной поддержки создания и развития научных центров мирового уровня, выполняющих исследования и разработки по приоритетам научно-технологического развития от 20 апреля 2022 года №075-15-2022-311.
References
[1] Pavlov VA, Belov AA, Tuzova AA. Implementation of synthetic aperture radar processing algorithms on the Jet-son TX1 Platform. IEEE Int Conf on Electrical Engineering and Photonics (EExPolytech) 2019: 90-93.
[2] Gonzalez R, Woods R. Digital image processing. 2nd ed. Prentice Hall; 2002.
[3] Lee JS. Digital image enhancement and noise filtering by using local statistics. IEEE Trans Pattern Anal Mach Intell 1980; 2(2): 165-168.
[4] Frost V, Stiles J, Shanmugan K, Holtzman J. A model for radar images and its application to adaptive digital filtering of multiplicative noise. IEEE Trans Pattern Anal Mach Intell 1982; 4(2): 157-166.
[5] Kuan D, Sawchuk A, Strand T, Chavel P. Adaptive restoration of images with speckle. IEEE Transactions on Acoustics, Speech, and Signal Processing 1987; 25(3): 373-383.
[6] Perona P, Malik J. Scale-space and edge detection using anisotropic diffusion. IEEE Trans Pattern Anal Mach Intell 1990; 12(7): 629-639.
[7] Tomasi C, Manduchi R. Bilateral filtering for gray and color images. Sixth Int Conf on Computer Vision (IEEE Cat No 98CH36271) 1998: 839-846.
[8] Achim A, Kuruoglu EE, Zerubia J. Sar image filtering based on the heavy-tailed rayleigh model. IEEE Trans Image Process 2006; 15(9): 2686-2693.
[9] Solbo S, Eltoft T. Homomorphic wavelet-based statistical despeckling of sar images. IEEE Trans Geosci Remote Sens 2004; 42(4): 711-721.
[10] Achim A, Tsakalides P, Bezerianos A. SAR image de-noising via bayesian wavelet shrinkage based on heavy-tailed modeling. IEEE Trans Geosci Remote Sens 2003; 41(8): 1773-1784.
[11] Bhuiyan MIH, Ahmad MO, Swamy MNS. Spatially adaptive wavelet-based method using the cauchy prior for de-noising the sar images. IEEE Trans Circuits Syst Video Technol 2007; 17(4): 500-507.
[12] Coll B, Morel J-M. A review of image denoising algorithms, with a new one. Multiscale Model Simul 2005; 4(2): 490-530. DOI: 10.1137/040616024.
[13] Deledalle C, Denis L, Tupin F. Iterative weighted maximum likelihood denoising with probabilistic patch-based weights. IEEE Trans Image Process 2009; 18(12): 26612672.
[14] Chierchia G, Cozzolino D, Poggi G, Verdoliva L. SAR image despeckling through convolutional neural networks. IEEE Int Geoscience and Remote Sensing Symposium (IGARSS) 2017: 5438-5441.
[15] Zhang K, Zuo W, Chen Y, Meng D, Zhang L. Beyond a Gaussian denoiser: Residual learning of deep CNN for image denoising. IEEE Trans Image Process 2017; 26(7): 3142-3155.
[16] Wang P, Zhang H, Patel VM. SAR image despeckling using a convolutional neural network. IEEE Signal Process Lett 2017; 24(12): 1763-1767.
[17] Wang P, Zhang H, Patel VM. Generative adversarial network-based restoration of speckled SAR images. IEEE 7th
Int Workshop on Computational Advances in Multi-Sensor Adaptive Processing (CAMSAP) 2017: 1-5.
[18] Gui Y, Xue L, Li X. SAR image despeckling using a dilated densely connected network. Remote Sensing Lett 2018; 9: 857-866.
[19] Li J, Li Y, Xiao Y, Bai Y. Hdranet: Hybrid dilated residual attention network for SAR image despeckling. Remote Sens 2019; 11(24): 2921.
[20] Zhang Q, Sun R. SAR image despeckling based on convo-lutional denoising autoencoder. arXiv Preprint. 2020. Source: <https://arxiv.org/abs/2011.14627>.
[21] Pavlov V, Tuzova A, Belov A, Matveev Y. An automated method for finding the optimal parameters of adaptive filters for speckle denoising of SAR images. Computer Optics 2022; 46(6): 914-920. DOI: 10.18287/2412-6179-C0-1132.
[22] Tuzova AA, Pavlov VA, Belov AA. Suppressing multiplicative noise in radar images [In Russian]. Journal of the Russian Universities. Radioelectronics 2021; 24(4): 6-18.
[23] Wang Z, Bovik AC, Sheikh HR. Image quality assessment: From error visibility to structural similarity. IEEE Trans Image Process 2004; 13(4): 600-612.
[24] Xue W, Zhang L, Mou X, Bovik AC. Gradient magnitude similarity deviation: A highly efficient perceptual image quality index. IEEE Trans Image Process 2014; 23(2): 684695.
[25] ICEYE. 2023. Source: <https://www.iceye.com/>.
Сведения об авторах
Павлов Виталий Александрович, 1989 года рождения, к.т.н., ассистент, Институт электроники и телекоммуникаций, Санкт-Петербургский политехнический университет Петра Великого (СПбПУ), Санкт-Петербург. E-mail: pavlov_va@spbstu.ru Orcid: 0000-0003-0726-6613
Белов Андрей Александрович, 1966 года рождения, ведущий инженер, Институт электроники и телекоммуникаций, Санкт-Петербургский политехнический университет Петра Великого (СПбПУ), Санкт-Петербург. E-mail: belov@spbstu.ru Orcid: 0000-0003-0617-4514
Нгуен Вьет Тхэм, 1994 года рождения, ассистент, Институт электроники и телекоммуникаций, Санкт-Петербургский политехнический университет Петра Великого (СПбПУ), Санкт-Петербург. E-mail: nguen_vt@spbstu.ru Orcid: 0009-0006-6061-0005
Йовановски Ненад, 1995 года рождения, инженер-исследователь, Институт электроники и телекоммуникаций, Санкт-Петербургский политехнический университет Петра Великого (СПбПУ), Санкт-Петербург. E-mail: _ jovanovski_n@spbstu.ru
Овсянникова Анна Сергеевна, 1997 года рождения, ассистент, Институт электроники и телекоммуникаций, Санкт-Петербургский политехнический университет Петра Великого (СПбПУ), Санкт-Петербург. E-mail: ovsyannikova_as@spbstu.ru Orcid: 0000-0002-3401-2718
ГРНТИ: 20.53.19
Поступила в редакцию 20 июля 2023 г. Окончательный вариант - 21 сентября 2023 г.
Comparison of neural networks for suppression of multiplicative noise in images
V.A. Pavlov1, A.A. Belov1, V.T. Nguen1, N. Jovanovski1, A.S. Ovsyannikova1 1 Peter the Great St. Petersburg Polytechnic University, 195251, Russia, St. Petersburg, Polytechnicheskaya 29
Abstract
The paper compares several neural network (NN) architectures for suppression of multiplicative noise. The images may contain sharp boundaries and large homogeneous areas. Convolutional and fully connected networks are investigated. It is shown that different architectures require significantly different amount of training data to reach the same noise suppression quality. Examples of NN requiring lower amounts of training data are presented.
Keywords: speckle noise, radar image, SAR, noise reduction, image processing, neural network.
Citation: Pavlov VА, Belov AА, Nguen VT, Jovanovski N, Ovsyannikova AS. Comparison of neural networks for suppression of multiplicative noise in images. Computer Optics 2024; 48(3): 425-431. DOI: I0.18287/2412-6179-C0-I400.
Acknowledgements: The research was financially supported by the Ministry of Education and Science of the Russian Federation under a federal grant for creation and development of world-class scientific centers for developing advanced research and technology, No. 075-15-2022-311 of April 20, 2022.
Authors' information
Vitalii Pavlov, (b. 1989), Assistant, Institute of Electronics and Telecommunications, Peter the Great St.Petersburg Polytechnic University, Saint-Petersburg. PhD. E-mail: pavlov_va@spbstu.ru Orcid: 0000-0003-0726-6613
Andrei Belov, (b. 1966), Lead Engineer, Institute of Electronics and Telecommunications, Peter the Great St.Petersburg Polytechnic University, Saint-Petersburg. E-mail: belov@spbstu.ru Orcid: 0000-0003-0617-4514
Viet Them Nguen, (b. 1994), Assistant, Institute of Electronics and Telecommunications, Peter the Great St.Petersburg Polytechnic University, Saint-Petersburg. E-mail: nguen_vt@spbstu.ru Orcid: 0009-0006-6061-0005
Nenad Jovanovski, (b. 1995), Research engineer, Institute of Electronics and Telecommunications, Peter the Great St.Petersburg Polytechnic University, Saint-Petersburg. E-mail: _ jovanovski_n@spbstu.ru
Anna Ovsyannikova, (b. 1997), Assistant, Institute of Electronics and Telecommunications, Peter the Great St.Petersburg Polytechnic University, Saint-Petersburg. E-mail: ovsyannikova_as@spbstu.ru Orcid: 0000-0002-34012718
Received July 20, 2023. The final version - September 21, 2023.
