CC BY
19
Системы управления,связи и безопасности
Systems of Control, Communication and Security
№ 3. 2023
ISSN 2410-9916
УДК 528.8.04:004.932
Оценка эффективности применения специализированных нейронных сетей для повышения разрешения изображений, получаемых при дистанционном зондировании Земли
Фомина Е. С.
Постановка задачи: изображения, получаемые с устройств дистанционного зондирования земли, могут отличаться низким качеством из-за несовершенства установленных систем технического зрения и недостаточной ширины канала для их передачи в режиме реального времени. Известные классические методы цифровой обработки изображений, не подходят для увеличения разрешения изображений. Задача суперразрешения таких изображений может быть решена с использованием альтернативных методах, основанных на глубоком машинном обучении. Целью работы является оценка качества и эффективности повышения разрешения изображений с использованием различных моделей нейронных сетей, что позволит сделать вывод о применимости известных метрик при выборе нейросетевых решений для различных категорий изображений. Используемые методы: классификация изображений с применением методов спектрального анализа изображений. Решение задачи суперразрешения и использованием методов машинного обучения, с применением генеративно-состязательных и сверточных нейронных сетей. В качестве метрик оценки эффективности использованы эталонные коэффициенты, основные на пиксельном сравнении, неэталонные (PIQE, NIQE, BRISQUE), работа которых основана на статистической оценке, а также метрики на основе подобия изображений, для расчета которых используется взаимокоррелционный и спектральный анализ. Новизна: элементами новизны представленного решения являются использование классификации изображений на основе энергии высокочастотных зон спектра. Также к элементам новизны стоит отнести определение зависимости использования метрик для оценки эффективности использования специализированных нейронных сетей при повышении разрешения для разных категорий изображений, получаемых с систем технического зрения устройств дистанционного зондирования земли. Результат: проведение вычислительного эксперимента на 10000 изображений показало изменение оценки эффективности повышения разрешения в 4 раза неэталонными метриками в зависимости от категории изображения. Выявлено ограничение использования коэффициентов PSNR и SSIM при оценке эффективности решения задачи суперразрешения. Проведенное исследование показывает потенциальную возможность использования метрик, основанных расчете эксцесса и подобия спектров, в качестве дополнения к классическим неэталонным, а также раскрывает перспективы разработки новых метрик на их основе. Практическая значимость: представленные в исследовании результаты предлагается использовать для принятия решения об эффективности применения методов машинного обучения при увеличении разрешения снимков и для определения допустимости перехода от этапа предобработки изображений, получаемых с устройств дистанционного зондирования земли, к последующей обработке.
Ключевые слова: дистанционное зондирование земли, системы технического зрения, суперразрешение, методы машинного обучения, спектральный анализ изображений.
Библиографическая ссылка на статью:
Фомина Е. С. Оценка эффективности применения специализированных нейронных сетей для повышения разрешения изображений, получаемых при дистанционном зондировании Земли // Системы управления, связи и безопасности. 2023. № 3. С. 71-90. DOI: 10.24412/2410-9916-2023-3-71-90 Reference for citation:
Fomina E. S. Assessment of the feasibity of the use of specialized neural networks to increase the resolution of images obtained by remote sensing of the Earth. Systems of Control, Communication and Security, 2023, no. 3, pp. 71-90 (in Russian). DOI: 10.24412/2410-9916-2023-3-71-90
DOI: 10.24412/2410-9916-2023-3-71-90
Системы управления,связи и безопасности № 3. 2023
Systems of Control, Communication and Security ISSN 2410-9916
Актуальность
Системы дистанционного зондирования земной поверхности (ДЗЗ) в последнее время встречаются все чаще, и уже не являются частью строго научных и высокотехнологичных разработок. Основным источником данных и объектом анализа при проведении ДЗЗ является изображение. В общем случае к таким изображениям можно отнести аэрофотоснимки, спутниковые снимки, а также любые данные, получаемые с систем технического зрения аппаратов и технических комплексов, применяемых при ДЗЗ различных категорий (летательных, подводных, надводных и наземных), в том числе автономных. Любая комплексная система дистанционного зондирования земли должна быть оснащена соответствующим оборудованием и программным обеспечением, реализующим алгоритмы цифровой обработки изображений (ЦОИ). Можно сделать обоснованный вывод о том, что эффективность ДЗЗ будет зависеть от результатов полученных при обработке изображений. Вопросы, связанные с ЦОИ, рассматриваются применительно к различным областям науки и техники. В рамках ДЗЗ особое внимание уделяется предобработке - улучшению снимков, получаемых в процессе дистанционного зондирования.
Для решения задач поиска и определения форм объектов на изображениях (снимках), классификации зон, расчета расстояния необходимы изображения высокого разрешения. Ранее считалось, что главным способом получения изображений с высоким разрешением является использование технически совершенного оборудования, существующего на данный момент времени. Но это не всегда возможно, что связано со стоимостью оборудования, и не всегда верно, что зависит от взаимного расположения системы ДЗЗ и объекта исследования. Например, при большом удалении системы ДЗЗ от анализируемого объекта, также существенно зависит относительное разрешение получаемых изображений. В случаях, когда необходимо производить обработку снимков в реальном времени, ограничение накладывает также ширина канала связи между центром обработки и устройством, выполняющим ДЗЗ, [1-3]. Организовать стабильную связь с подвижным устройством для передачи широкоформатных снимков в высоком разрешении, каждое из которых может достигать размера до нескольких сотен мегабайт, пока не представляется технически возможным. Поэтому в таком случае ширина канала накладывает свои ограничения, допуская передачу в реальном времени только снимков в низком разрешении.
В итоге все перечисленное выше приводит к тому, что изображения ДЗЗ не всегда обладают достаточным качеством для проведения последующей обработки.
Задача повышения разрешения изображений носит также название суперразрешение или Super Resolution, обладает особенностями, не позволяющими эффективно применять классические методы ЦОИ, такие как интерполяционные функции, для ее решения, поэтому для повышения разрешения изображений требуются применение альтернативных методов, [4-5].
Перспективным является использование подходов, основанных на глубоком машинном обучении - нейросетевых методах, которые в последние годы
DOI: 10.24412/2410-9916-2023-3-71-90
Системы управления,связи и безопасности № 3. 2023
Systems of Control, Communication and Security ISSN 2410-9916
доказали практическую эффективность при решении различных научных задач. Такие методы, позволяют получить изображение высокого разрешения из изображения с низким разрешением.
Большое количество искусственных нейронных сетей (моделей) различной архитектуры и размера, обладающих разной эффективностью, разработанных в настоящее время для решения задачи повышения разрешения, неизбежно приводит к тому, что важным становится вопрос о выборе оптимальной модели нейронной сети при реализации конкретного прикладного решения в рамках ДЗЗ.
В данной работе проведено исследование, целью которого является оценка качества и эффективности повышения разрешения изображений с использованием различных моделей нейронных сетей.
Специализированные нейронные сети
Для анализа решения задачи SuperResolution были выбраны несколько нейросетевых решений: BSRGAN, ESRGAN, SwinIR. Выбранные решения относятся к категории SISR - Single Image Super-Resolution - которая реализует механизм восстановления качества масштабируемого изображения по одному снимку, а не из серии снимков (что применяется, например, для повышения разрешения видео-фрагментов путем анализа нескольких последовательных кадров).
BSRGAN, [6] - относительно сложная модель генеративно-состязательной сети (generative adversarial network, GAN), отличительной особенностью которой является комбинация случайных характеристик размытия, понижения дискретизации и снижения уровня шума. Размытие апроксимируется двумя свертками с ядрами Гаусса, применяется билинейная и бикубическая интерполяция, шумовая составляющая обрабатывается с помощью конвейерной обработки изображения.
ESRGAN, [7] - еще одна модель GAN, отличающейся применяемой моделью деградации для более эффективного применения этой сети на реалистичных изображениях, также используется модификация с применением дискриминатора U-Net для стабилизации динамики обучения.
SwinIR, [8] - нейронная сеть, построенная на архитектуре трансформера: в такой архитектуре сведены к минимуму последовательные вычисления. Работа SwinIR состоит из трех частей: извлечение поверхностных признаков на изображении, выделение «глубоких» признаков и реконструкция изображения на основе выделенных признаков.
Классические эталонные методы оценки качества изображений
Согласно [9], к основным показателям качества изображений, после воздействия на них различных искажений, относится четкость. Четкость зависит от разрешающей способности (разрешения) и оценивается количеством различимых глазом штриховых линий изображения. В процессе сжатия наблюдается
DOI: 10.24412/2410-9916-2023-3-71-90
Системы управления,связи и безопасности
Systems of Control, Communication and Security
№ 3. 2023
ISSN 2410-9916
эффект размытия мелких деталей, что ухудшает визуальное качество изображения, что приводит также к снижению резкости границ крупных деталей изображения.
На современном этапе развития все методы оценки качества классифицируются согласно схеме, представленной на рис. 1 [10].
Субъективные критерии оценки качества изображений осуществляется человеком. Объективные критерии оценки качества изображений позволяют производить оценку алгоритмически. Такой алгоритм может использовать оригинал изображения для оценки качества, то есть быть эталонным, или может определять качество без наличия неискаженной копии изображения, то есть быть неэталонным.
Рис. 1. Классификация современных критериев оценки качества изображений
К эталонным показателям относятся известные метрики PSNR и SSIM. Пиковое отношение сигнал-шум (peak signal-to-noise ratio, PSNR) часто используется для измерения уровня искажений при сжатии изображений. PSNR определяется как отношение максимальное значение пикселя изображения Ыг к среднеквадратичному отклонению MSE:
PSNR = 20 log
10
л/MSE
Индекс структурного сходства (structural similarity index measure, SSIM) показывает степень сходства двух изображений. Алгоритм SSIM сводится к определению степени сходства соответствующих квадратных участков (окон) сравниваемых изображений по трем составляющим: яркости, контраста и структуры. Его значение лежит в диапазоне от -1 до 1, значение SSIM равное единице означает, что выполнено сравнение двух одинаковых изображений. Индекс основан на локальных оценках s между двумя окнами х и y размером N х N пикселей, рассчитанных вокруг соответствующих пикселей на изображениях A и B согласно формуле [11]:
DOI: 10.24412/2410-9916-2023-3-71-90
Системы управления,связи и безопасности
Systems of Control, Communication and Security
№ 3. 2G23
ISSN 2410-9916
s( x y) =
(2Ц x Ц y + ni)(2Cxy + n2) 2 2 2 2 (Ц2 +Ц y + ni)(a 2 +ay + П2)
где: - среднее значение составляющей (яркости, контраста или структуры) в
2 2 окне х; цy - среднее значение в окне y; aх - дисперсия в окне х; ay - дисперсия в окне y; Cxy - ковариация окон х и y.
Глобальный индекс SSIM для изображений A и B рассчитывается как среднее арифметическое локальных оценок по формуле:
1 ^
SSIM (A, B) = —X 5 (х, y),
m х, y
где: A и B - два изображения одинакового размера; m - количество окон.
Неэталонные алгоритмы оценки качества подразделяются на две группы: алгоритмы, для работы которых необходима априорная информация о типе искажения, и универсальные алгоритмы, которые работают без использования дополнительной информации об искажениях.
В первую группу входят алгоритмы, измеряющие «силу» определенного типа искажения: размытия, шума, артефактов при сжатии и других повреждений. Большинство таких алгоритмов во время работы используют процедуру выделения границ на изображении.
Особое внимание на современном этапе развития ЦОИ уделяется синтезу неэталонных алгоритмов оценки качества из второй группы, работа которых не ограничивается априори известным видом искажений. Такие алгоритмы в наибольшей степени востребованы на практике. К ним относятся метрики, основанные на статистике естественных изображений. Статистика может быть рассчитана в пространственной области, в пространстве коэффициентов дискретного косинусного преобразования или в пространстве вейвлет-преобразования. Другой подход в разработке универсальных алгоритмов неэталонной оценки качества состоит в определении параметров искаженного изображения, которые непосредственно отражаются на его качестве.
Авторами в работе рассматриваются следующие неэталонные алгоритмы, не учитывающие априорную информацию (также называются бессылочными):
1. Метрика BRISQUE - использует структуру модели статистических характеристик естественных изображений с локально нормализированными коэффициентам яркости и количественно определяет «натуральность» с использованием параметров, [12]. Модель рассматриваемой метрики действует по алгоритму, состоящему из декомпрессии исходного значения, прогнозировании и настройке векторов. Алгоритмы BRISQUE имеют низкую вычислительную сложность, что делает их подходящими для использования в приложениях с вычислениями в реальном времени. Подробнее о вычислении метрики представлено в работах [13-14].
DOI: 10.24412/2410-9916-2023-3-71-90
Системы управления,связи и безопасности № 3. 2023
Systems of Control, Communication and Security ISSN 2410-9916
2. Метрика NIQE - анализирует только измеримые отклонения от статистических закономерностей, наблюдаемых в изображениях. В метрике не используется обучение алгоритма, сам алгоритм основан на построении качественной базы статистических характеристик изображений в пространственной области. Эти функции получены из библиотеки естественных неискаженных изображений. Согласно [15], метрика имеет неточности на темных и однотонных кадрах. Подробнее о вычислении метрики представлено в работах [16-17].
3. Метрика PIQE - данная метрика использует заранее обученную модель и получила название метрики оценки качества изображения на основе восприятия. С помощью данной метрики можно измерить качество изображений с производным искажением. PIQE использует средний коэффициент нормализации вычитания контраста, оценивает поблочное искажение и замеряет локальную дисперсию заметно искаженных блоков для вычисления показателей качества. Это основывается на принципах человеческого восприятия: зрительное внимание человека более чувствительно к контрастным точкам изображения и пространственно активным областям, воспринимаемое человеком качество изображения основывается на локальном качестве на уровне блока размером N х N, где N = 16. Подробнее о вычислении метрики представлено в работах [18-19].
Метрики BRISQUE и NIQE рассчитывают показатель изображения с высокой эффективностью, PIQE менее эффективна с вычислительной точки зрения, однако она обеспечивает локальные измерения качества в дополнение к общему показателю качества. Все бессылочные метрики обычно превосходят эталонные метрики с точки зрения согласования с субъективной оценкой человеческого зрения [20].
В работе [9] авторами представлена метрика вычисления коэффициента детальности (detail factor level, FDL), который оценивает количество мелких деталей на изображении. Для расчета коэффициента детальности вначале производится идентификация микроструктур в микроблоках размером 3*3 пикселя, в результате чего принимается решение о наличии или отсутствии в микроблоке мелких структур. Через количество микроблоков с мелкими структурами Nm и
с равномерным изменением цветности и/или яркости NF определяется коэффициент детальности FDL по формуле:
N
FDL =-m-100%.
(Nm + NF )
По мнению авторов, коэффициент детальности позволяет оценивать ухудшение четкости оригинального изображения, возникающее в процессе его обработки.
DOI: 10.24412/2410-9916-2023-3-71-90
Системы управления,связи и безопасности № 3. 2023
Systems of Control, Communication and Security ISSN 2410-9916
Анализ метрик на основе подобия изображений
Известны методы оценки подобия изображений, основанные на методах цифровой обработки сигналов и спектрального анализа.
Корреляционный анализ изображений относится к эталонным методам анализа. Дискретная двумерная корреляционная функция представляется следующей конечной суммой:
1 m-1 n-1
Rk,l = £ £ Xi+k,j+lEi,j , m ■ n i-i j-i
где: X - векторизованное исходное изображение целевого объекта размером M х N; E - векторное изображение эталона; m х n - размеры матрицы эталона E; к, l- индексы: к = 0, ..., (М - 1), l = 0, ..., - 1).
Результат корреляционной функции близкий к 1 говорит о схожести анализируемых изображений.
В работах [21-22] предложен и рассмотрен показатель спектрального подобия (spectral similarity measure, SSM) как альтернатива известным методам объективной оценки качества изображений. Авторами SSM определяется как доля амплитудного спектра изображения, попадающая в заданную окрестность универсального опорного спектра. Дополнительно к SSM, определяемому как процент попадания амплитуд в заданный диапазон, можно использовать оценку спектрального подобия как среднее квадратичное отклонение значений амплитуд спектра от амплитуд спектра "идеального" изображения. Универсальный опорный спектр может быть определен как окрестность: FJ2 < Fi < 2 F0,
где: F0 - спектр оригинального изображения; F - спектр восстановленного изображения.
Для оценки степени восстановления изображения применяют также характеристику распределения симметричности Фурье-спектра изображения (эксцесс Фурье-спектра). Количественно характеристика эксцесса спектра изображения характеризует плосковершинность и островершинность симметричной функции, [23-24].
Описание эксперимента
Оценка эффективности рассмотренных выше нейронных сетей проводилась на серии фотоизображений в количестве 10000 образцов. Разрешение каждого изображения составило 1280*720 точек. Изначально изображения сохранялись в несжатом формате RAW или ARW и впоследствии преобразовывались в формат BMP.
Эффективность метрик оценивалась за счет сравнения субъективной оценки и объективной оценки полученной посредством метрики.
На первом этапе была проведена классификация изображений в соответствии с распределением энергии на функции изображения в спектральной области.
DOI: 10.24412/2410-9916-2023-3-71-90
Системы управления,связи и безопасности № 3. 2023
Systems of Control, Communication and Security ISSN 2410-9916
Область энергетического спектра изображения можно исследовать непосредственно целиком или частично. В данной работе авторами выбрана классификация изображений путем вычисления общей энергии на выбранной области изображений, как показано на рис. 2.
Область 4
Область 3 Область 2 Область 1
Рис. 2. Сегментация спектра изображений
Для последующей классификации выбраны области 3 и 4. Весь набор изображений был поделен на 4 категории, где в категорию № 1 помещены изображения с минимальной энергией в зонах 3 и 4, а в категорию № 4 - с максимальной энергией в соответствующей зоне. Энергия для изображений в анализируемых зонах категории 1 в 4 раза отличается от энергии в зонах 3 и 4 для изображений 4-й категории.
Процесс анализа эффективности применения нейросетевых методов заключался в выполнении этапов:
1) каждое изображение для каждой категории (далее - исходное изображение), рис. За, сжималось по вертикали и горизонтали в 4 раза (далее - сжатое изображение), рис. ЗЬ;
2) сжатое изображение доводится до исходного размера путем попик-сельного масштабирования (далее масштабированное изображение), рис. Зс;
3) для исходного изображение получают значения различных метрик;
4) для полученного на втором этапе масштабированного изображения получают значения различных метрик;
5) масштабированное изображения пропускают через различные модели нейронных сетей, а также проводят улучшение качества с помощью метода бикубической интерполяции. На выходе получаем восстановленное изображение;
6) для восстановленного изображения получают значения различных метрик;
7) проводится анализ полученных результатов.
DOI: 10.24412/2410-9916-2023-3-71-90
Системы управления,связи и безопасности № 3. 2023
Systems of Control, Communication and Security ISSN 2410-9916
abc Рис. 3. Порядок обработки изображений (фрагмент): a - исходное, b - сжатое в 4 раза, c - масштабированное
Анализ результата применения классических метрик
Расчет показателей классических метрик оценки качества изображений для каждой категории представлен в таблице 1. В таблице представлено среднее значение по анализируемой категории для сжатого, оригинального и масштабированного изображений путем бикубической интерполяции, и для изображений, восстановленных с применением нейронных сетей ESRGAN, BSRGAN и SwirIR.
Согласно [18], PIQE, NIQE, BRISQUE определяют изображение как более качественное при стремлении значения метрики к меньшему значению. По такому принципу, лучший показатель восстановления изображения у сети BSRGAN у всех категорий изображений. Однако, стоит отметить, что сеть ESRGAN предоставляет результаты, близкие к метрикам оригинального изображения.
Также в результате проведения вычислительного эксперимента выявлено, что метрики PIQE, NIQE, BRISQUE имеют тенденцию к понижению значения от категории изображений № 1 к категории № 4. Это позволяет предположить, что данные метрики оценивают изображения, энергия которых в секторах спектра 3 и 4 выше, как более качественные. Однако тенденция к увеличению значения этих метрик на восстановленных путем использования нейросетевых решений и бикубической интерполяции изображениях не сохраняется.
Индекс структурного подобия SSIM имеет достаточно небольшой разброс для изображений, восстановленных разными способами, для всех категорий изображений.
Его значение не позволяет сделать вывод о качестве восстановленного изображения. Так, в работе [25], подтверждается невозможность использования данного индекса для определения качества изображения, а только для сходства двух изображений. Причем даже для его использования в качестве коэффициента оценки сходства применимость данной метрики крайне ограничена.
DOI: 10.24412/2410-9916-2023-3-71-90
Системы управления,связи и безопасности № 3. 2023
Systems of Control, Communication and Security ISSN 2410-9916
Таблица 1 - Сводные значения характеристик классических метрик
Категория Метрика Сжатое Интерполированное Исходное ESRGAN BSRGAN SwinIR
1 PIQE 66,35 86,77 39,61 39,64 24,02 30,18
NIQE 4,08 5,17 3,43 3,17 2,76 2,89
BRISQUE 40,25 54,86 37,76 32,98 30,43 33,15
PSNR 32,41 28,77 29,91 31,56 31,07
SSIM 0,88 0,76 0,81 0,83 0,83
2 PIQE 63,39 86,8 37,81 40,11 23,95 29,66
NIQE 4,11 5,20 3,19 2,96 2,56 2,67
BRISQUE 37,70 54,7 34,32 30,36 27,74 29,97
PSNR 29,57 29,02 28,31 29,36 28,78
SSIM 0,82 0,77 0,78 0,78 0,78
3 PIQE 60,70 86,82 36,65 40,45 24,99 30,24
NIQE 4,30 5,17 3,01 2,77 2,43 2,51
BRISQUE 36,81 54,95 32,00 27,86 25,55 27,43
PSNR 27,18 28,83 26,68 27,09 26,37
SSIM 0,77 0,77 0,74 0,73 0,73
4 PIQE 56,22 86,68 35,32 39,11 24,69 30,34
NIQE 4,81 5,19 2,90 2,67 2,43 2,39
BRISQUE 38,61 54,54 30,01 28,30 24,28 24,97
PSNR 23,87 28,80 23,65 23,45 22,55
SSIM 0,68 0,76 0,64 0,63 0,62
В работе [26] приведена аналитическая зависимость пикового отношения сигнала к шуму PSNR и индекса SSIM и экспериментально показана близость этих оценок в случае сравнения эталонных изображений с их копиями, подвергнутыми гауссовому размытию.
Это позволяет предположить, что PSNR можно использовать только для оценки сходства двух изображений в случаях, когда известен и подтвержден факт наличия шумовой составляющей, в условиях отсутствия пространственной и временной избыточности изображений.
При визуальном анализе элементов изображений, представленных на рис. 4, наилучший результат восстановления замечен у SwinIR. Данная нейронная сеть лучше восстановила текстуру предметов, изображенных на фотографиях, несущественно для человеческого глаза изменив форму. Однако при восстановлении изображений всех категорий эта сеть, наряду с остальными, рис. 4, потеряла значительный объем визуальной информации за счет многочисленных сглаживаний.
DOI: 10.24412/2410-9916-2023-3-71-90
Системы управления,связи и безопасности № 3. 2023
Systems of Control, Communication and Security ISSN 2410-9916
Рис. 4. Результаты восстановления изображений (фрагмент): a -исходное, Ь - BSRGAN, c - ESRGAN, d - SwmIR
Анализ результата применения метрик на основе подобия изображений
Срезы взаимокорреляционных функций исходных и восстановленных изображений по максимуму по шкале X и Y для изображений всех категорий приведены на рис. 5.
Однако полученные графики не позволяют соотнести имеющийся шум и искажения на изображении и выделить наиболее достоверный вариант. Также представленные графики позволяют сделать вывод о том, что на результаты корреляции будут оказывать негативное влияние все яркостные неоднородности исследуемых изображений, что не позволяет выделить зависимости взаимокорреляционных функций изображений, находящихся в одной категории.
DOI: 10.24412/2410-9916-2023-3-71-90
Системы управления,связи и безопасности № 3. 2023
Systems of Control, Communication and Security ISSN 2410-9916
c d
Рис. 5. Взаимокорреляционные функции оригинального и восстановленного изображения из категории: а - № 1, b - № 2, c - № 3, d - № 4
При выполнении анализа показателя спектрального подобия изображений для наглядности отображения на графике (рис. 6) представлена функция натурального логарифма амплитудного спектра изображений.
Процент попадания амплитуд, что представлено в таблице 2, в заданный диапазон выше у изображений, восстановленных нейросетевыми решениями SwinIR и BSRGAN. Отклонение модулей Фурье-спектра относительно Фурье-спектра оригинального изображения меньше у изображений, восстановленных с применением ESRGAN.
Метрики на основе корреляционного анализа и спектрального оценивания обладают малым динамическим диапазоном для однозначного выделения отличительных признаков эффективности работы той или иной модели нейронной сети при решении задачи Single Image Super-Resolution.
DOI: 10.24412/2410-9916-2023-3-71-90
Системы управления,связи и безопасности № 3. 2023
Systems of Control, Communication and Security ISSN 2410-9916
c d
Рис. 6. Опорный спектр для определения SSM и амплитудный спектр фрагментов восстановленного изображения из категории: а - № 1, b - № 2, c - № 3, d - № 4
Таблица 2 - Сводные значения характеристик SSM и СКО SSM
Категория Метрика Сжатое Интерполированное Оригинальное ESRGAN BSRGAN SwinIR
1 SSM 0,096 0,090 0,378 0,587 0,588 0,588
СКО SSM 0,00018 0,00024 0,00013 0,00020 0,00019 0,00019
2 SSM 0,124 0,138 0,203 0,525 0,553 0,553
СКО SSM 0,00014 0,00015 0,00012 0,00013 0,00015 0,00015
3 SSM 0,093 0,085 0,244 0,579 0,591 0,591
СКО SSM 0,00042 0,00037 0,00021 0,00023 0,00027 0,00027
4 SSM 0,216 0,212 0,475 0,637 0,637 0,637
СКОSSM 0,00014 0,00015 0,00008 0,00016 0,00015 0,00015
Расчет эксцесса проводился для амплитудного спектра оригинального и восстановленных изображений, далее производился анализ полученного вектора, который состоит из значений эксцесса для каждого столбца двумерного массива. В таблице 3 приведено СКО нормированных векторов эксцесса исходного и восстановленных изображений. Огибающая вектора эксцесса спектра для изображения всех категорий представлена на рис. 7.
DOI: 10.24412/2410-9916-2023-3-71-90
Системы управления,связи и безопасности
Systems of Control, Communication and Security
№ 3. 2023
ISSN 2410-9916
Таблица 3 - Сводные значения характеристик СКО эксцесса
Категория Метрика Сжатое Интерполированное ESRGAN BSRGAN SwinIR
1 СКО эксцесса 0,098 0,150 0,095 0,061 0,063
2 0,1912 0,1921 0,175 0,110 0,110
3 0,082 0,079 0,095 0,096 0,096
4 0,097 0,102 0,074 0,073 0,077
Original Scaled
Bicubic interpolation
ВSRCAN ESRGAN SwinlR
c d
Рис. 7. Огибающая эксцесса анализируемых изображений из категории:
а - № 1, Ь - № 2, c - № 3, d - № 4
Оценивая результаты применения метрик на основе подобия можно сделать вывод о том, что применительно к рассматриваемым изображениям с указанной классификацией наиболее предпочтительным является применение оценки величины СКО нормированных векторов эксцесса. Для представленных категорий изображений получено следующее:
1) изображения категорий №№ 1-2 восстанавливаются лучше всего с помощью моделей нейронных сетей BSRGAN и SwinIR;
DOI: 10.24412/2410-9916-2023-3-71-90
Системы управления,связи и безопасности № 3. 2023
Systems of Control, Communication and Security ISSN 2410-9916
2) изображения категории № 3 лучше всего восстанавливаются с помощью интерполяционных методов. Нейронные сети дают одинаковые, но худшие результаты;
3) изображения категории № 4 лучше всего восстанавливаются с помощью моделей нейронных сетей. Качество восстановления можно считать одинаковым. Но при этом стоит отметить, что эффективность восстановления с помощью нейронных сетей для изображений 4 категории выше, чем для изображений 2 и 3 категории.
Немаловажным так же является тот факт, что любые из представленных метрик оценки на основе подобия дают более качественную оценку изображений сжатых, масштабированных и оригинальных по сравнению с классическими эталонными методами оценивания.
Выводы
Наряду с классическими методами оценки качества изображений, основанных на определении пикового отношения сигнал-шум и индексе структурного сходства, перспективами использования в нейросетях, решающих задачу SISR являются метрики BRISQUE, NIQE, PIQUE. Анализируя полученные данные, можно сказать о недостаточности использования эталонных метрик SSIM и PSNR для принятия решения об эффективности рассматриваемых нейросете-вых решений при решении задачи SISR. Совпадение субъективного оценивания по сравнению с объективными метриками обладают малым корреляционным свойством. При этом наблюдается малый динамический диапазон для различных изображений при наличии существенных различий в качестве.
Метрики, разработанные на основе подобия изображений в спектральной области, обладают потенциалом и могут быть применены дополнительно к классическим метрикам оценки качества изображений.
Литература
1. Слюсар В. И. Передача данных с борта БПЛА: стандарты НАТО // Электроника: Наука, технология, бизнес. 2010. № 3(101). С. 80-87.
2. Боев Н. М., Шаршавин П. В., Нигруца И. В. Построение систем связи беспилотных летательных аппаратов для передачи информации на большие расстояния // Известия ЮФУ. Технические науки. 2014. № 3(152). С. 147-158.
3. Моисеев В. С. Групповое применение беспилотных летательных аппаратов. Монография. - Казань: Редакционно-издательский центр «Школа», 2017. - 572 с.
4. Kokoshkin A. V., Korotkov V. A., Novichikhin E. P. Comparison of interpolation methods when achieving super-resolution of images based on the analysis of several frames // Радиоэлектроника. Наносистемы. Информационные технологии. 2019. № 11(1). C. 85-91.
5. Сенов А. А. Глубокое обучение в задаче реконструкции суперразрешения изображений // Стохастическая оптимизация в информатике. 2017. Т. 13. № 2. С. 38-57.
DOI: 10.24412/2410-9916-2023-3-71-90
Системы управления,связи и безопасности № 3. 2023
Systems of Control, Communication and Security ISSN 2410-9916
6. Zhang K., Liang J., Van Gool L., Timofte R. Designing a practical degradation model for deep blind image super-resolution // IEEE/CVF International Conference on Computer Vision (ICCV), Montreal, Canada, 2021. P. 1-10.
7. Wang X., Xie L., Dong Ch., Shan Y. Real-esrgan: Training real-world blind super-resolution with pure synthetic data // IEEE/CVF International Conference on Computer Vision (ICCV), Montreal, Canada, 2021. P. 1-13.
8. Liang J., Cao J., Sun G., Zhang K., Van Gool L., Timofte R. SwinIR: Image restoration using swin transformer // IEEE/CVF International Conference on Computer Vision (ICCV), Montreal, Canada, 2021. P. 1-12.
9. Сай С. В. Способ оценки четкости фотореалистичных изображений с высоким разрешением // Компьютерная оптика. 2022. Т. 46. № 1. С. 121-129.
10. Матвеев Д. В., Седов А. Г., Хрящев В. В., Приоров А. Л. Оценка качества цифровых изображений и видеоданных: учебно-методическое пособие - Ярославль: ЯрГУ, 2018. - 76 с.
11. Wang Zh., Bovik A. C., Sheikh H. R., Simoncelli E. P. Image quality assessment: from error visibility to structural similarity // IEEE transactions on image processing. 2004. Vol. 13. No. 4. P. 600-612.
12. Mittal A., Moorthy A. K., Bovik A. C. No-reference image quality assessment in the spatial domain // IEEE Transactions on image processing. 2012. Vol. 21. No. 12. P. 4695-4708.
13. Chow L. S., Rajagopal H. Modified-BRISQUE as no reference image quality assessment for structural MR images // Magnetic resonance imaging. 2017. Vol. 43. P. 74-87.
14. Wani A. R., Bora A., Pandey N., Rana A. Meta-Brisque: Cost Efficient Image Spoofing Detection for Realtime Applications // 8th International Conference on Reliability, Infocom Technologies and Optimization (ICRITO) IEEE, Noida, India, 2020. P. 944-947.
15. Mittal A., Soundararajan R., Bovik A. C. Making a "completely blind" image quality analyzer // IEEE Signal processing letters. 2012. Vol. 20. No. 3. P. 209-212.
16. Zvezdakova A., Kulikov D., Kondranin D., Vatolin D. Barriers towards no-reference metrics application to compressed video quality analysis: on the example of no-reference metric // CEUR Workshop Proceedings, Bryansk, Russia, 2019. P. 1-6.
17. Khan M. U., Mehmood I., Luo M. R. Experiment Based No-Reference Objective Image Quality Metric for Testing Performance of Different Tone Mapped Images // 10th China Academic Conference on Printing and Packaging, Xi'an, China, 2020. P. 3-10.
18. Venkatanath N., Praneeth D., Bh M. C., Channappayya S. S., Medasani S. S. Blind image quality evaluation using perception based features // 2015 twenty first national conference on communications (NCC), Bombay, India, 2015. P. 1-6.
19. Chan R. W., Goldsmith P. B. A psychovisually-based image quality evaluator for JPEG images // 2000 IEEE international conference on systems, man and cybernetics, Nashville, Tennessee, USA, 2000. P. 1541-1546.
DOI: 10.24412/2410-9916-2023-3-71-90
Системы управления,связи и безопасности № 3. 2023
Systems of Control, Communication and Security ISSN 2410-9916
20. Ревина Д. С., Левченко Р. Р., Маликов А. Ю., Власюк И. В., Егоров Д. А. Анализ эффективности безреференсных метрик оценки качества видео последовательности // Системы синхронизации, формирования и обработки сигналов. 2022. Т. 13. № 2. С. 41-53.
21. Кокошкин А. В. Оценка спектрального подобия цифровых изображений // Журнал радиоэлектроники. 2020. № 8. С. 1-15.
22. Wu Y. G., Tai S. C. Medical image compression by discrete cosine transform spectral similarity strategy // IEEE Transactions on Information Technology in Biomedicine. 2001. Vol. 5. No. 3. P. 236-243.
23. Васильев А. С., Тимофеев А. Н., Васильева А. В., Ряпосов С. А. Критерии оценки качества процесса комплексирования изображений в многоспектральных оптико-электронных системах // Известия высших учебных заведений. Приборостроение. 2017. Т. 60. № 7. С. 647-653.
24. Caviedes J., Gurbuz S. No-reference sharpness metric based on local edge kurtosis // International conference on image processing IEEE, New York, USA, 2022. P. 53-36.
25. Старовойтов В. В. Индекс SSIM не является метрикой и плохо оценивает сходство изображений // Системный анализ и прикладная информатика. 2019. № 2. С. 12-17.
26. Hore A., Ziou D. Image quality metrics: PSNR vs. SSIM // 2010 20th international conference on pattern recognition, Istanbul, Turkey, 2010. P. 23662369.
References
1. Sliusar V. I. Peredacha dannyh s borta BPLA: standarty NATO [Data transmission from UAV: NATO standards]. Elektronika: Nauka, tekhnologiya, biznes, 2010, vol. 101, no. 3, pp. 80-87 (in Russian).
2. Boev N. M., Sharshavin P. V., Nigrutsa I. V. UAVs Communication systems for long-distance information transmittion. Izvestiya YUFU. Tekhnicheskie nauki, 2014, vol. 152, no. 3, pp. 147-158 (in Russian).
3. Moiseev V. S. Gruppovoe primenenie bespilotnyh letatel'nyh apparatov. Monografiya [Group use of unmanned aerial vehicles. Monography]. Kazan, Redakcionno-izdatel'skij centr «Shkola» Publ., 2017. 572 p. (in Russian).
4. Kokoshkin A. V., Korotkov V. A., Novichikhin E. P. Comparison of interpolation methods when achieving super-resolution of images based on the analysis of several frames. RENSIT: Radioelectronics. Nanosystems. Information technologies, 2019, vol. 1, no. 11, pp. 85-91 (in Russian).
5. Senov A. A. Glubokoe obuchenie v zadache rekonstrukcii superrazresheniya izobrazhenij [Deep learning in the problem of image super-resolution reconstruction]. Stohasticheskaya optimizaciya v informatike, 2017, vol. 13, no. 2, pp. 38-57 (in Russian).
6. Zhang K., Liang J., Van Gool L., Timofte R. Designing a practical degradation model for deep blind image super-resolution. IEEE/CVF International Conference on Computer Vision (ICCV), Montreal, Canada, 2021, pp. 1-10.
DOI: 10.24412/2410-9916-2023-3-71-90
Системы управления,связи и безопасности № 3. 2023
Systems of Control, Communication and Security ISSN 2410-9916
7. Wang X., Xie L., Dong Ch., Shan Y. Real-ESRGAN: Training real-world blind super-resolution with pure synthetic data. IEEE/CVF International Conference on Computer Vision (ICCV), Montreal, Canada, 2021, pp. 1-13.
8. Liang J., Cao J., Sun G., Zhang K., Van Gool L., Timofte R. SwinIR: Image restoration using swin transformer. IEEE/CVF International Conference on Computer Vision (ICCV), Montreal, Canada, 2021, pp. 1-12.
9. Sai S. V. A method for assessing photorealistic image quality with high resolution. Computer Optics, 2022, vol. 46. no. 1, pp. 121-129 (in Russian).
10. Matveev D. V., Sedov A. G., Khriashchev V. V., Priorov A. L. Assessing the quality of digital images and video data. Yaroslavl, YArGU Publ., 2018, 76 p. (in Russian).
11. Wang Zh., Bovik A. C., Sheikh H. R., Simoncelli E. P. Image quality assessment: from error visibility to structural similarity // IEEE transactions on image processing. 2004. Vol. 13. No. 4. P. 600-612.
12. Mittal A., Moorthy A. K., Bovik A. C. No-reference image quality assessment in the spatial domain. IEEE Transactions on image processing, 2012, vol. 21, no. 12, pp. 4695-4708.
13. Chow L. S., Rajagopal H. Modified-BRISQUE as no reference image quality assessment for structural MR images. Magnetic resonance imaging, 2017, vol. 43, pp. 74-87.
14. Wani A. R., Bora A., Pandey N., Rana A. Meta-Brisque: Cost Efficient Image Spoofing Detection for Realtime Applications. 8th International Conference on Reliability, Infocom Technologies and Optimization (ICRITO) IEEE, Noida, India, 2020, pp. 944-947.
15. Mittal A., Soundararajan R., Bovik A. C. Making a "completely blind" image quality analyzer. IEEE Signal processing letters, 2012, vol. 20, no. 3, pp. 209212.
16. Zvezdakova A., Kulikov D., Kondranin D., Vatolin D. Barriers towards no-reference metrics application to compressed video quality analysis: on the example of no-reference metric. CEUR Workshop Proceedings, Bryansk, Russia, 2019, pp. 1-6.
17. Khan M. U., Mehmood I., Luo M. R. Experiment Based No-Reference Objective Image Quality Metric for Testing Performance of Different Tone Mapped Images. 10th China Academic Conference on Printing and Packaging, Xi'an, China, 2020, pp. 3-10.
18. Venkatanath N., Praneeth D., Maruthi Ch. Bh., Channappayya S. S., Medasani S. S. Blind image quality evaluation using perception based features. 2015 twenty first national conference on communications (NCC), Bombay, India, 2015, pp. 1-6.
19. Chan R. W., Goldsmith P. B. A psychovisually-based image quality evaluator for JPEG images. 2000 IEEE international conference on systems, man and cybernetics, Nashville, Tennessee, USA, 2000, pp. 1541-1546.
20. Revina D. S., Levchenko R. R., Malikov A. IU., Vlasiuk I. V., Egorov D. A. Analiz effektivnosti bezreferensnyh metrik ocenki kachestva video posledovatel'nosti [Analysis of the effectiveness of non-reference metrics for
DOI: 10.24412/2410-9916-2023-3-71-90
Системы управления,связи и безопасности № 3. 2023
Systems of Control, Communication and Security ISSN 2410-9916
evaluating the quality of a video sequence]. Sistemy sinhronizacii, formirovaniya i obrabotki signalov, 2022, vol. 13, no. 2, pp. 41-53 (in Russia).
21. Kokoshkin A. V. Ocenka spektral'nogo podobiya cifrovyh izobrazhenij [Estimation of spectral similarity of digital images]. Zhurnal radioelektroniki, 2020, no. 8, pp. 1-15 (in Russia).
22. Wu Y. G., Tai S. C. Medical image compression by discrete cosine transform spectral similarity strategy. IEEE Transactions on Information Technology in Biomedicine, 2001, vol. 5, no. 3, pp. 236-243.
23. Vasilev A. S., Timofeev A. N., Vasileva A. V., Riaposov S. A. Quality assessment criteria for image fusion in multispectral optical-electronic systems. Journal of Instrument Engineering, 2017, vol. 60, no. 7, pp. 647-653 (in Russian).
24. Caviedes J., Gurbuz S. No-reference sharpness metric based on local edge kurtosis. International conference on image processing IEEE, New York, USA, 2022, pp. 53-36.
25. Starovoitov V. V. The SSIM index is not a metric and it is badly evaluate the simility of images. System analysis and applied information science, 2019, no. 2, pp. 12-17 (in Russian).
26. Hore A., Ziou D. Image quality metrics: PSNR vs. SSIM. 2010 20th international conference on pattern recognition, Istanbul, Turkey, 2010, pp. 23662369.
Статья поступила 13 июля 2023 г.
Информация об авторе
Фомина Екатерина Сергеевна - соискатель ученой степени кандидата технических наук. Старший преподаватель кафедры вычислительной техники. Тихоокеанский Государственный Университет. Область научных интересов: системы технического зрения; цифровая обработка сигналов и изображений. Email : fominaekt@gmail .com
Адрес: 680035, Россия, г. Хабаровск, ул. Тихоокеанская, д. 136.
Assessment of the feasibity of the use of specialized neural networks to increase the resolution of images obtained by remote sensing
of the Earth
E. S. Fomina
Purpose. Images obtained from earth remote sensing devices may be of low quality due to the imperfection of the installed vision systems and insufficient channel width for their transmission in real time. Known classical methods of digital image processing are not suitable for increasing the resolution of images. The problem of super resolution of such images can be solved using alternative methods based on deep machine learning. The purpose of the present paper is to evaluate the quality and efficiency of image resolution enhancement using various neural network models, which will allow us to conclude that the known metrics are applicable when choosing neural network solutions for various categories of images. Methods. Im-
DOI: 10.24412/2410-9916-2023-3-71-90
Системы управления,связи и безопасности № 3. 2023
Systems of Control, Communication and Security ISSN 2410-9916
age classification using spectral image analysis methods. Solving the problem of super resolution and using machine learning methods, using generative-adversarial and convolutional neural networks. Reference coefficients, based on pixel comparison, non-reference coefficients (PIQE, NIQE, BRISQUE), whose work is based on statistical evaluation, as well as metrics based on image similarity, for the calculation of which cross-correlation and spectral analysis is used, were used as performance evaluation metrics. Novelty. The novelty of the presented solution is the use of image classification based on the energy of the high-frequency zones of the spectrum. Also, the elements of novelty include the determination of the dependence of the use of metrics to assess the effectiveness of the use of specialized neural networks while increasing the resolution for different categories of images obtained from the technical vision systems of earth remote sensing devices. Results. Carrying out a computational experiment on 10,000 images showed a change in the estimate of the efficiency of increasing the resolution by 4 times by non-standard metrics, depending on the category of the image. A limitation of the use of the PSNR and SSIM coefficients in evaluating the efficiency of solving the superresolution problem is revealed. The study shows the potential use of metrics based on the calculation of kurtosis and similarity of spectra as an addition to classical non-reference ones, and also reveals the prospects for developing new metrics based on them. Practical relevance. The results presented in the study are proposed to be used to decide on the effectiveness of the application of machine learning methods when increasing the resolution of images and to determine the admissibility of the transition from the stage of preprocessing of images obtained from remote sensing devices to subsequent processing.
Key words: earth remote sensing, vision systems, super resolution, machine learning methods, image spectral analysis.
Information about Author
Ekaterina Sergeevna Fomina - Doctoral Student. Lecturer at the Department Computer Science. Pacific National University. Field of research: systems of technical vision; digital processing of signals and images. E-mail: fominaekt@gmail.com Address: Russia, 680035, Khabarovsk, Tikhookeansky st., 136.
DOI: 10.24412/2410-9916-2023-3-71-90
