CC BY
124УДК 004.932.4
Информационные технологии
Гилязетдинов Е. В., студент магистратуры 2 курс, факультет «Информатика и системы управления» МГТУ имени Н.Э.Баумана, Россия, г. Москва Коновалов Б. Д.,студент магистратуры 2 курс, факультет «Информатика и системы управления» МГТУ имени Н.Э.Баумана, Россия, г. Москва
УСТРАНЕНИЕ ШУМОВ В ИЗОБРАЖЕНИЯХ С ПОМОЩЬЮ
НЕЙРОННЫХ СЕТЕЙ
Аннотация: Цифровые изображения используются повсеместно, однако при их обработке возникает проблема устранения шумов. В статье предлагается решение задачи устранения шумов в изображениях с помощью нейронных сетей. Проанализированы возможности устранения шумов с помощью нейронной сети. В процессе разработки метода шумопонижения реализован набор данных для обучения с учителем и построена модель сверточной нейронной сети. Проведено сравнение качества работы обученной нейронной сети и классических методов шумопонижения.
Ключевые слова: шумопонижение, цифровой шум, цифровое изображение, изображения, сверточная нейронная сеть.
Annotation: Digital images are used everywhere, but there is the denoising problem when you need to process them. The article proposes a solution to the problem of eliminating noise in images using neural networks. Analyzed the possibility of eliminating noise using a neural network. In the process of developing a noise reduction method, a set of data for teaching with a teacher was implemented and a convolutional neural network model was constructed. Was made comparison of
the quality of work of the trained neural network and classical methods of noise reduction.
Keywords: noise reduction, digital noise, digital image, images, convolutional neural network.
Введение
В наше время аппаратура для регистрации изображений повсеместно распространена. Практически на каждом шагу можно встретить смартфоны с фронтальными и тыловыми камерами, видеокамеры в автомобилях, на улицах, общественном транспорте, жилых домах, магазинах и т.д.
Как и многие электронные устройства, светочувствительные матрицы в аппаратуре для регистрации изображений характеризуются показателем сигнал-шум, уменьшение которого приводит к искажению изображений.
Эти искажения могут не вносить значимые изменения в изображения, однако, в некоторых случаях, они могут сильно искажать изображение, качество которого может иметь определяющее значение в области использования фоторегистрирующей аппаратуры. Поэтому использование различных методов устранения шумов в изображениях для редактирования изображений в различных предметных областях является, несомненно, актуальной задачей.
Задача шумопонижения в изображениях существует достаточно долгое время. В данный момент алгоритмы шумопонижения можно разделить на две группы. Первая группа, алгоритмы, показывающие наилучшие результаты шумопонижения и требующие ручной корректировки параметров для каждого изображения. Вторая группа, алгоритмы, которые имеют меньшее качество шумопонижения, но обладающие простой реализацией.
Целью данной работы является задача гибридизации положительных качеств работы двух групп алгоритмов. Задачей данной работы является апробация нового подхода для устранения шумов в изображениях. Для реализации поставленной задачи авторы предлагают использовать сверточные
нейронные сети [1], а в качестве среды разработки прикладных программ -MatLab [2].
Методы оценки качества работы алгоритмов
Качество работы алгоритмов можно определить с помощью метрик качества. Это, прежде всего: оценка качества устранения шумов, время необходимое на выполнение данных алгоритмов, а также используемые ресурсы аппаратных средств на которой происходит обработка изображений.
В общем случае, для оценки качества можно использовать два типа оценок: экспертные и математические. В случае оценки качества изображений такие метрики позволяют оценить получившийся результат как со стороны адекватности изображения для восприятия человеком, так и со стороны максимальной точности работы алгоритмов.
Оценка качества работы алгоритма в экспертной метрике, основывается на личном мнении группы специалистов, которые рассматривают результаты работы алгоритма на одинаковых данных.
Математическая метрика оценивает качество работы алгоритма в виде функции разницы восстановленного и исходного изображения. В частности, такой метрикой может быть среднеквадратичное отклонение от эталонного изображения.
Аппаратные метрики и метрики временных затрат, позволяют оценить используемые ресурсы различных аппаратных средств, а также требуемое на выполнение операций время.
Алгоритмы локального усреднения
В основе алгоритмов локального усреднения лежит предположение о том, что математическое ожидание цвета в окрестности некоторого пикселя не меняется при добавлении шума на изображение. Иными словами, в некоторой окрестности пикселя число пикселей, поврежденных шумом, меньше, чем число неповрежденных пикселей [3].
Реализуется данный алгоритм путем нахождения математического ожидания цвета в некоторой окрестности искомого пикселя. Различные
реализации рассматриваемого метода предполагают различные способы и размеры усредняющей матрицы, что напрямую влияет на качество работы алгоритма.
Алгоритмы, основанные на амплитудно-частотной характеристике
изображения
В основе данной группы алгоритмов лежит предположение о том, что подавляющее число полезной информации на изображении является низкой или среднечастотной в то время как, в высокочастотной составляющей изображения преобладает шум.
Существует большое количество различных способов реализации этой группы алгоритмов, одним из которых является использование быстрого преобразования Фурье для перевода изображения в АЧХ [4], удаление высокочастотных компонент и выполнение обратного преобразования Фурье [4]. Но у рядов Фурье есть недостатки, в частности, все вычисления приходится производить с комплексными числами, ряды очень медленно сходится [5], при обработке контрастных изображений может потеряться некоторая часть информации [6].
Предлагаемый алгоритм шумопонижения
Авторами предлагается алгоритм, который анализирует все каналы цветного изображения одновременно, на основании сделанного в [7] предположения, о том, что каждый цветовой канал коррелирует с другими. Эта взаимосвязь может позволить восстановить зашумленное изображение из канала, наименее поврежденного шумом.
Для того, чтобы реализовать такой подход, была применена сверточная архитектура нейронной сети [8; 9]. Сверточная нейронная сеть получает на вход цветовую информацию по трем каналам, нормализованную в пределах от 0 до 1. Эта информация обрабатываются матрицей с некоторым коэффициентами, которую называют ядром свертки. Ядро свертки последовательно продвигается по изображению и обрабатывает его по всем трем цветовым каналам (рис. 1).
Все сравнения, сделанные далее, будут проводиться на основе одного зашумленного изображения, на которой присутствуют объекты разного размера и сложности. На рис. 2 представлены два изображения:2а - исходное -зашумленное изображение и 2б - обработанное нейронной сетью. Все изображения представлены в виде монотонного серого представления полноцветного исходного изображения.
Ви)Дно< кюбрйлаок ( крти по ими» Вшолкх июбриаас
Рис. 1. Архитектура нейронной сети
Рис. 2. Сравнение изображений: а - исходное изображение, б - после обработки сверточной нейронной сетью
Обучающая выборка формировалась путем аугментации данных [10], а именно добавлением искусственных шумов с нормальным распределением и математическим ожиданием М[X] = 0, в различные каналы ранее не зашумленного изображения. Для того, чтобы генерировать разный уровень зашумленности, выбиралось случайное среднеквадратическое отклонение этого нормального распределения. Эта методика позволила создать набор обучающих данных из пар изображений, одно из которых являлось эталонным, а другое зашумленным. Вследствие этого появилась возможность использовать
алгоритмы машинного обучения, а именно метод обучения с учителем. Ввиду того, что исходные изображения обладают высоким разрешением, а ядро свертки имеет небольшой размер, набор данных для обучения составил около 1500 изображений, которые имеют различное качество, из-за различных условий съемки, различных характеристик аппаратуры и разного освещения. Изображения имеют разный сюжет и не объединены по смыслу.
Визуальное сравнение качества работы эталонных реализаций
алгоритмов
В качестве эталонных реализаций алгоритмов для проведения сравнений была выбрана библиотека OpenCV [11], реализующая классические методы шумоподавления, а также алгоритмы шумоподавления, реализованные в пакетах прикладного программного обеспечения (ПО) Photoshop [12], и некоторых других. Из-за сложностей с набором фокус группы для проведения экспертной оценки качества работы эталонных реализаций алгоритмов, большая часть сравнений была выполнена математическими методами.
Непосредственное качество шумоподавления оценивалось по двум критериям. Прежде всего, это среднеквадратичное отклонение яркости изображения и его отдельных каналов, рассчитанное попиксельно, а также дисперсия этого значения.
Помимо качества непосредственного шумоподавления, необходимо также убедиться в том, что работа алгоритма не вносит заметных искажений в обработанное изображение, относительно его эталонного варианта. Для этого были выдвинуты статистические гипотезы о неизменности локального и глобального контраста на изображении, цветового охвата, отсутствии цветового смещения и смещения тоновой насыщенности, а также о сохранении общей яркости изображения.
Для оценки качества цветопередачи, и отклонения гипотезы о смещении цветового спектра от эталонного значения рассчитывались значения математического ожидания яркости по каждому из трех каналов цвета.
Сначала было проведено сравнение предложенного метода шумопонижения с адаптивным взвешенным ранговым фильтром, представляющим из себя один из видов фильтров локального усреднения. На рис. 3 представлено парное сравнение изображений, обработанных сверточной нейронной сетью и реализацией фильтра локального усреднения.
Предлагаемый авторами алгоритм сравнивался с различными пакетами прикладного ПО, такими как Adobe Photoshop, Camera RAW [13]. Все пакеты прикладного ПО показали сравнимые результаты, зависящие в большой степени от настроек шумоподавления, чем от конкретного вида ПО. Для сравнения с нейронной сетью был выбран Photoshop, в силу того, что он является наиболее распространённым ПО для обработки изображений. На рис. 4 представлено сравнение результатов работы сверточной нейронной сети (рис. 4 а) и алгоритма, используемого в Photoshop (рис. 4 б).
Рис. 3. Сравнение изображений обработанных: а - сверточной нейронной сетью,
б - фильтром локального усреднения
Рис. 4. Сравнение результатов работы: а- сверточной нейронной сети, б - алгоритма, используемого в Photoshop
Как видно из представленных рисунков, сверточная нейронная сеть хорошо справляется с шумопонижением, заметно улучшая визуальное восприятие. В отличие от классической реализации медианного фильтра, сверточная нейронная сеть не так сильно понижает резкость изображения. В сравнении с алгоритмом, реализованным в ПО Photoshop, нейронная сеть демонстрирует более сглаженное изображение на монотонных областях.
Математическое сравнение качества шумоподавления Качество устранения шумов оценивалось по двум критериям. Первый критерий - это среднеквадратичное отклонение яркости каналов цветов изображения, которое было рассчитано попиксельно. Второй критерий - это дисперсия этого значения. Для вычисления критериев были составлены вектора ошибок для каждого из оцениваемых алгоритмов. Так же необходимо удостовериться в адекватности полученного изображения.
В табл. 1 приведено математическое сравнение всех рассматриваемых в работе методов.
Таблица 1. Математическое сравнение методов
Исследуем ый метод Среднек вадратич ная ошибка Средне квадрат ичное отклон ение Гипотеза о нормальност и распределен ия ошибки Гипотеза о нулевом математическом ожидании ошибки (доверительный интервал)
Сверточная нейронная сеть 0,3525 10,2918 Подтвержде на для всех 3-х цветовых каналов Отклонена (0,57; 0,61)
Медианный фильтр 8,2212 17,0247 Подтвержде на Отклонена (-2,90; -2,82)
Photoshop, максимальн о возможное шумоподав ление 0,6999 19,0536 Подтвержде на для всех 3-х цветовых каналов Отклонена (-0,87; -0,79)
Photoshop, стандартны е настройки шумоподав ления 1,7418 20,6765 Подтвержде на для всех 3-х цветовых каналов Отклонена (-1,36; -1,27)
Проанализировав результаты, представленные в табл. 1, можно заметить, что значения среднеквадратической ошибки и дисперсии значительно меньше, чем у остальных методов. Это говорит об эффективности устранения шумов алгоритмом, основанного на сверточной нейронной сети. При этом у всех исследуемых алгоритмов была отвергнута гипотеза, о нулевом математическом ожидании ошибки. Таким образом, полученные после операции шумоподавления изображения, станут либо более светлыми, как в случае с методом на основе нейронной сети, либо более темным в случае с остальными методами.
Выводы
По результатам проведённого математического сравнения, а так же по результатам визуального сравнения, представленный в данной статье метод, с использованием сверточных нейронных сетей, показал лучшее качество работы по сравнению с стандартными методами устранения шумов. Полученный результат говорит о том, что при для обработки изображений, а именно для задачи шумопонижения можно достаточно эффективно использовать глубокое обучение. В данной статье были представлены результаты работы со сверточными нейронными сетями, при этом направление дальнейших исследований продолжается в направлении изучения таких архитектур нейронных сетей, как автоэнкодеры [14]. Такие архитектуры нейронных сетей можно использовать для шумопонижения и уменьшения разрешений изображений, а подвид этой архитектуры - вариационные автоэнкодеры [15] могут решать не только задачи шумопонижения [16], но также задачи дорисовки и генерации изображений [17].
Библиографический список:
1. Burger H. C., Schuler C. J., Harmeling S. Image denoising: Can plain neural networks compete with BM3D? //2012 IEEE conference on computer vision and pattern recognition. - IEEE, 2012. - С. 2392-2399.
2. Jackson L. B. Digital Filters and Signal Processing: With MATLAB® Exercises. - Springer Science & Business Media, 2013.
3. Tomasi C., Manduchi R. Bilateral filtering for gray and color images //Iccv. - 1998. - Т. 98. - №. 1. - С. 2.
4. Преобразование Фурье. Линейная фильтрация в частотной области //http://wiki.technicalvision.ru URL: http://wiki.technicalvision.ru/index.php/ Преобразование_Фурье._Линейная_фильтрация_в_частотной_области (дата обращения: 20.04.2019).
5. Прэтт У. Цифровая обработка изображений (ч. 2). - 1982.
6. Воскобойников Ю. Е., Гочаков А. В., Колкер А. Б. Фильтрация сигналов и изображений: Фурье и вейвлет алгоритмы. - 2010.
7. Gunturk B. K., Altunbasak Y., Mersereau R. M. Color plane interpolation using alternating projections //IEEE transactions on image processing. -2002. - Т. 11. - №. 9. - С. 997-1013.
8. LeCun Y. et al. Object recognition with gradient-based learning //Shape, contour and grouping in computer vision. - Springer, Berlin, Heidelberg, 1999. - С. 319-345.
9. Vedaldi A., Lenc K. Matconvnet: Convolutional neural networks for matlab //Proceedings of the 23rd ACM international conference on Multimedia. -ACM, 2015. - С. 689-692.
10. Wong S. C. et al. Understanding data augmentation for classification: when to warp? //2016 international conference on digital image computing: techniques and applications (DICTA). - IEEE, 2016. - С. 1 -6.
11. Laganiere R. OpenCV Computer Vision Application Programming Cookbook Second Edition. - Packt Publishing Ltd, 2014.
12. Evening M. Adobe Photoshop CS5 for Photographers: a professional image editor's guide to the creative use of Photoshop for the Macintosh and PC. -Taylor & Francis, 2013.
13. Fraser B., Schewe J. Real World Camera Raw with Adobe Photoshop CS4. - Peachpit press, 2010.
14. Ипатов А. А. и др. ФИЛЬТРАЦИЯ ЦИФРОВЫХ ИЗОБРАЖЕНИЙ НА ОСНОВЕ АВТОЭНКОДЕРА //Цифровая обработка сигналов. - 2016. - №. 3. - С. 79-83.
15. Doersch C. Tutorial on variational autoencoders //arXiv preprint arXiv:1606.05908. - 2016.
16. Xie J., Xu L., Chen E. Image denoising and inpainting with deep neural networks //Advances in neural information processing systems. - 2012. - С. 341-349.
17. Yeh R. A. et al. Semantic image inpainting with deep generative models //Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. - 2017. - С. 5485-5493.
