CC BY
1
Оценка структурной устойчивости растровых изображений
М.М. Алкхасонех
Национальный исследовательский Мордовский государственный университет
имени Н.П. Огарёва, Саранск
Аннотация: Представлен эмпирический подход оценки структурной устойчивости растровых изображений. Оценка устойчивости связывается с предварительным расчетом таких характеристик растровых изображений как минимальное значение, среднее арифметическое, медиана, стандартное отклонение и модус пикселей изображения цветового пространства RGB/RGBA. В качестве метрики оценки устойчивости применена относительная среднеквадратическая ошибка характеристик исходного изображения и объектов, полученных в результате применения фильтрации и морфологических преобразований.
Ключевые слова: растровое изображение, фильтрация, морфология, статистические характеристики изображения, относительная среднеквадратическая ошибка rrmse, OpenCV, Python.
Введение
Растровые изображения занимают значительное место в различных областях человеческой деятельности. При этом, результаты цифровой обработки изображений используются как в науке [1, 2], так и в производственно-исследовательских процессах [3-5] как в России, так и за рубежом [6, 7]. Можно отметить специфические, но важные приложения обработки изображений [8, 9]. Растровые изображения цветовых моделей RGB/RGBA являются наиболее значимыми при их компьютерной обработке [1, 10, 11]. Именно эти цветовые модели (цветовые пространства) положены в основу оценки структурной устойчивости при их последовательной обработке на основе фильтрации заданных изображений и морфологических операций [1]. В результате обработки изображений фиксируются такие показатели, как их минимальное значение пикселей, среднее, медиана, стандартное отклонение и модус (мода). Возможный сдвиг указанных характеристик положен в основу эвристического подхода к оценке структурной устойчивости растровых изображений с применением операций фильтрации и морфологии.
Материалы и методы
В качестве объектов исследования приняты файлы растровых изображений следующих форматов: .webp, .jpg (.jpeg), .jp2, .bmp, .png, .tif (.tiff). Существуют базы растровых изображений, которые указаны, например, в [12]. Для иллюстрации результатов структурной устойчивости растровых изображений приняты изображения, показанные на рис. 1(а-г) и рис. 2-3.
1я 1 1 1
а) Картинка черного цвета б) Картинка белого цвета в) Картинка синего цвета г) Картинка красного цвета
Рис. 1. - Примеры одноцветных тестовых изображений Картинки, приведенные на рис. 1, даны в уменьшенном размере. Далее на рис. 2-3 представлены эмблемы некоторых футбольных клубов России.
Рис. 2. - Первая группа эмблем футбольных клубов России На рис. 3 представлена вторая группа растровых изображений, эмблем футбольных клубов России. Указанные группы изображений приняты в качестве тестовых изображений, которые объединены одной тематикой.
М Инженерный вестник Дона, №5 (2024) ivdon.ru/ru/magazine/arcliive/n5y2024/9204
Рис. 3. - Вторая группа эмблем футбольных клубов России
Приведенные на рис. 2 - 3 изображения, также даны в уменьшенных размерах.
Для определения характеристик (минимума, среднего арифметического, медианы, стандартного отклонения, модуса или моды) изображения были использованы следующие методы языка программирования Python при подключении модуля SciPy: scipy.ndimage.minimum(), scipy.ndimage.mean(), scipy.ndimage.median(), scipy.ndimage.standard_deviation(), scipy.stats.mode().
Для осуществления фильтрации и морфологических операций над изображением были применены методы модуля opencv-python (OpenCV) cv2.GaussianBlur(), cv2.medianBlur(), cv2.blur(), cv2.erode(), cv2.dilate().
Общая расчетная схема оценки структурной устойчивости растровых изображений представлена на рис. 4.
и
Рис. 4. - Схема оценки структурной устойчивости изображений В соответствии со схемой рис. 4, была разработана программа на языке Python. Программа позволяет анализировать (загружать) либо одно изображение, либо группу изображений из заданной директории.
Первый этап работы программы заключается в определении параметров (характеристик) изображения - минимального, среднего арифметического, медианы, стандартного отклонения, моды (модуса). Фиксируются параметры исходного изображения в виде списка языка Python, например, под именем original.
Следующий этап заключается в фильтрации изображения и выполнения морфологических операций эрозии (cv2.erode) и дилатации (cv2.dilate). Соответственно, рассчитываются параметры изображения, прошедшего фильтрацию и морфологических операций. Для изображения, прошедшего операции фильтрации и морфологии, также фиксируются параметры в виде отдельных списков, например, ansí, ans2, ans3, ans4, ans5.
и
При этом, как показали экспериментальные исследования, целесообразно взять среднее списков ans4 и ans5. Результат пусть будет с именем ans45.
Этап определения метрик (rrmse) заключается в расчете относительного среднеквадратической ошибки приближения списка original относительно ans1, ans2, ans3, ans45. Метрика rrmse - это относительная среднеквадратическая ошибка представляет собой среднеквадратичную ошибку, нормализованную среднеквадратичным значением, где каждый остаток масштабируется относительно фактического значения [13] и вычисляется по формуле:
rrmse =
1 n
nt=1
I (У - zt )2
n -) I (zt )2
(1)
¡=1
где п - количество числовых данных, у1 - исходные (оригинальные) значения данных, 2 - сравниваемые данные.
В случае, когда основной знаменатель в (1) равен нулю, то применяется среднеквадратическая ошибка гтзв:
rmse =
11 (У, - zt )2. (2)
n
nt=1
Метрика ггш8в обычно выражается в процентах и качество изображения определяется в виде неравенств, представленных в табл. 1.
Таблица № 1
Диапазоны изменения метрики ггш8в
Диапазон rrmse ~ ^
Заключение о структурной устойчивости изображений в процентах_____
0 < rrmse < 10 Изображение структурно устойчиво на отлично (5)
10 < rrmse < 20 Изображение структурно устойчиво на хорошо (4)
20 < rrmse < 30 Изображение допустимо структурно устойчиво (3)
rrmse > 30 Изображение структурно неустойчиво
Таблица вида табл. 1 может быть использована также о степени приближения регрессионной модели данным эксперимента.
Для визуализации результатов использовались графики списков характеристик изображений в декартовой системе координат, оси которой размечены значениями интенсивности яркости цветовой модели RGB/RGBA в пределах от 0 до 255.
Результаты экспериментов
Как было указано выше, в качестве тестовых изображений приняты те, которые показаны на рис. 1-3.
Вопросам оценки качества изображений посвящено достаточно большое количество публикаций. Здесь можно отметить [5, 10]. Часто оценку качества изображений находят с помощью эталонных изображений [7, 11]. Объективные методы оценки качества изображений освещены в [2]. В [14] приводится методика ранжирования группы растровых изображений.
В работе [15] приведен подход оценки структурно-яркостных свойств растровых изображений. В основе подхода лежат только цветовые фильтры, реализованные в системе MATLAB. Поэтому данная работа заметно отличается от [15], как в методике оценки качества структурных свойств изображений, так и в более распространенных средств программирования (Python) и цифровой обработке растровых изображений (OpenCV). Еще следует отметить, что в данной работе применяется условная эталонная оценка структурной устойчивости качества на основе условий метрики rrmse в табл. 1. В качестве такого эталонного изображения выступает исходное изображение со своими характеристиками. Относительно характеристик исходного изображения и выполняется заключение в соответствии с табл. 1.
Для тестовых изображений, показанных на рис. 1, получены оценки их структурной устойчивости, приведенные в табл. 2.
И Инженерный вестник Дона, №5 (2024) ivdon.ru/ru/magazine/arcliive/n5y2024/9204
Таблица № 2
Результаты оценки первой группы тестовых изображений
Имя файла изображения, геометрический размер в пикселях Значение rrmse, % Заключение о структурной устойчивости
Черный^^, 800x450 0,0 Устойчиво на отлично
Белый^^, 960x540 0,0 Устойчиво на отлично
Красный.bmp, 512x384 0,0 Устойчиво на отлично
Синий.png, 626x425 0,0 Устойчиво на отлично
На рис. 5-6 показаны графики изменения характеристик исходного
изображения и прошедшего операции фильтрации и морфологии.
Файл: Черный.р!^ Относительная среднеквадратическая ошибка изменения (ггтэе)
100
к н
о §
&
л н о о К со
и
И
<и н Я
И
80
60
40
20
—о— Базовая прямая
/
/
20 40 60 80
Интенсивность яркости
100
Рис. 5. - Диаграмма значений характеристик черной картинки
Как видно, все значения характеристик (маркеры в виде звездочек) совпали с базовой прямой линией, соответствующей параметрам исходного
И Инженерный вестник Дона, №5 (2024) ivdon.ru/ru/magazine/arcliive/n5y2024/9204
изображения. Следует отметить, что для формата .jpg графики свойств черного изображения вырождаются в точку для всех рассмотренных вариантов фильтрации и морфологии. Соответственно, rrmse (относительная среднеквадратическая ошибка изменения свойств) для черного изображения формата .jpg также равна нулю.
Файл: KpacHbm.png
Относительная среднеквадратическая ошибка изменения (rrmse) -
30 40 50 60 70 80 90 100
Интенсивность яркости Рис. 6. - Диаграмма значений характеристик красной картинки
На рис. 6 также видно, что графики характеристик (маркеры в виде звездочек) совпали с базовой прямой линией.
Для тестовых изображений, показанных на рис. 2 (эмблемы футбольных клубов), получены оценки их структурной устойчивости, которые приведены в табл. 3.
Таблица № 3
Результаты оценки первой группы эмблем изображений
Имя файла изображения, геометрический размер в пикселях RGB/RGBA модели Значение rrmse, % Заключение о структурной устойчивости
Спартак.р^, 600x403x4 0,808474 Устойчиво на отлично
Динамо.род, 373x658x4 0,335451 Устойчиво на отлично
ЦСКА.род, 560x761x3 2,500566 Устойчиво на отлично
Локомотив.р^, 200x236x4 1,367852 Устойчиво на отлично
В табл. 3 цветовая модель RGB соответствует только ЦСКА^^. Остальные имеют цветовую модель RGBA - с альфа каналом.
Для тестовых изображений, показанных на рис. 3, получены оценки их структурной устойчивости, приведенные в табл. 4.
Таблица № 4
Результаты оценки второй группы эмблем изображений
Имя файла изображения, геометрический размер в пикселях RGB/RGBA модели Значение rrmse, % Заключение о структурной устойчивости
Зенит.р^, 600x657x4 0,549560 Устойчиво на отлично
Рубин^^, 756x1016x4 0,270012 Устойчиво на отлично
Ростов.р^, 600x600x4 13,603264 Устойчиво на хорошо
Сочи.род, 282x300x4 2,734550 Устойчиво на отлично
Сравнение результатов табл. 3 и табл. 4 показывает, что наиболее структурно устойчивое изображение есть Рубин.р^ с метрикой ггш8в, равной 0,270012. Менее устойчивое изображение является эмблема клуба Ростов (Ростов.р^) с метрикой ггш8в, равной 13,603264. Как показывают результаты тестовых экспериментов, для структурно устойчивых изображений характерны малые значения метрик ггш8в. При этом, заключение об устойчивости того или иного растрового изображения можно делать независимо от других сравниваемых изображений на основе диапазонов изменения метрики ггш8в из табл. 1.
На рис. 7 приводится диаграмма параметров менее устойчивого изображения Ростов.р^.
Файл: Ростов.р!^ Относительная среднеквадратическая ошибка изменения (гпше)
О 50 100 150 200 250
Интенсивность яркости Рис. 7. - Графики значений характеристик Ростов.png
Видимые отклонения на рис. 7 означают характеристики изображения (минимум, среднее, медиана, стандартное отклонение, модус), над которым выполнены операции фильтрации и морфологии. Соответственно, базовая прямая (легенда графика) построена для оригинального изображения.
На рис. 8 приводится диаграмма значений характеристик наиболее устойчивого изображения - Рубин^^, для которого видно, что характеристики (маркеры на графике) преобразованного изображения практически совпадают с базовой прямой.
И Инженерный вестник Дона, №5 (2024) ivdon.ru/ru/magazine/arcliive/n5y2024/9204
Файл: Рубин.png Относительная среднеквадратическая ошибка изменения (rrmse)
О 50 100 150 200 250
Интенсивность яркости Рис. 8. - Диаграмма значений характеристик Рубин.р^
Заключение
На основе экспериментальных исследований разработан подход, позволяющий выполнять оценку структурной устойчивости растровых изображений цветовых моделей RGB и RGBA достаточно оперативно, применяя достаточно устойчивые графические фильтры и морфологические операции. Полученные результаты могут быть использованы для создания изображений с возможно более устойчивыми структурными свойствами. Кроме того, можно выяснить устойчивость известных графических форматов (типа .bmp, .png и т.д.) для одного и того же изображения, его сцены. Это позволит остановиться на выборе соответствующего графического формата.
Литература
1. Гонсалес Р., Вудс Р. Цифровая обработка изображений. М.: Техносфера, 2012. 1104 с.
2. Бабкин П.С., Павлов Ю.Н. Анализ и сравнение объективных методов оценки качества изображений // Наука и образование: научное издание МГТУ им. Н.Э. Баумана. 2014. № 9. С. 203-215.
3. Захаров А.А., Жизняков А.Л., Титов В.С. Метод нахождения соответствий на изображениях с использованием структур дескрипторов // Компьютерная оптика. 2019. Т. 43. № 5. С. 810-817.
4. Щетинин Е.Ю. Обнаружение коронавирусной инфекции COVID-19 на основе анализа рентгеновских снимков грудной клетки методами глубокого обучения // Компьютерная оптика. 2022. Т. 46. С. 963-970.
5. Черушова Н.В., Митина Е.А., Касимкина М.М., Афонин В.В., Ерофеев В.Т. Оценка изменения декоративных свойств лакокрасочных материалов под воздействием эксплуатационных факторов // Вестник Мордовского университета. 2008. Т. 18. № 4. С. 124-127.
6. Z. Hu, L. Hu, P. Bauer, T. J. Harris, and J. P. Allebach, "Relation between image quality and scan resolution: Part i", Proceedings of the Electronic Imaging, pp. 3221-3227, Jan. 2020. DOI: 10.2352/ISSN.2470-1173.2020.9.IQSP-322.
7. Zhai, G. Perceptual image quality assessment: a survey // Science China Information Sciences. 2020. Vol. 63. № 11. Pp. 83-135.
8. Д.М. Коробкин, В.С. Щербинин, С.А. Фоменков, А.С. Тозик. Анализ графических изображений патентных документов // Инженерный вестник Дона. 2023. № 12. URL: ivdon.ru/ru/magazine/archive/n12y2023/8865.
9. А.В. Турицына. Использование методов компьютерного зрения для создания графологического сервиса, определяющего характер человека по его почерку // Инженерный вестник Дона. 2023. № 5. URL: ivdon.ru/ru/magazine/archive/n5y2023/8412.
10. Ерофеев В.Т., Афонин В.В., Касимкина М.М. Влияние пластификаторов на изменение цветности ЛКМ под воздействием агрессивных сред // Лакокрасочные материалы и их применение. 2011. № 6. С. 38-41.
11. Афонин В.В., Ерофеева И.В., Зоткина М.М., Емельянов Д.В., Подживотов Н.Ю. Эталонная оценка качества изображений композиционных материалов, подверженных воздействию положительных и отрицательных температур // Вестник МГСУ. 2019. Т. 14. Вып. 1. С. 83-93. DOI: 10.22227/1997-0935.2019.1.83-93
12. Ponomarenko N. [et al.] Image database TID2013: peculiarities, results and perspectives // Signal Processing: Image Communication. 2015. Vol. 30. Pp. 57-77.
13. Орлов А. И. Прикладная статистика. М.: Экзамен, 2006. 671 с.
14. Афонин В.В., Савкина А.В., Никулин В.В. Алгоритм и методика ранжирования группы растровых изображений // Вестник Астраханского государственного технического университета. Серия: Управление, вычислительная техника и информатика. 2021. № 4. С. 58-67. DOI: 10.24143/2072-9502-2021 -4-58-67
15. Афонин В.В., Савкина А.В., Никулин В.В. Оценка устойчивости структурно-яркостных свойств при цифровой обработке изображений // Вестник Астраханского государственного технического университета. Серия: Управление, вычислительная техника и информатика. 2021. № 2. С. 39-46. DOI: 10.24143/2072-9502-2021 -2-39-46
M Инженерный вестник Дона, №5 (2024) ivdon.ru/ru/magazine/arcliive/n5y2024/9204
References
1. Gonsales R., Vuds R. Cifrovaya obrabotka izobrazhenij [Digital image processing]. M.: Texnosfera, 2012. 1104 p.
2. Babkin P.S., Pavlov Yu.N. Nauka i obrazovanie: nauchnoe izdanie MGTU im. N.E\ Baumana. 2014. № 9. pp. 203-215.
3. Zaxarov A.A., Zhiznyakov A.L., Titov V.S. Komp'yuternaya optika. 2019. T. 43. № 5. pp. 810-817.
4. Shhetinin E.Yu. Komp'yuternaya optika. 2022. T. 46. pp. 963-970.
5. Cherushova N.V., Mitina E.A., Kasimkina M.M., Afonin V.V., Erofeev V.T. Vestnik Mordovskogo universiteta. 2008. T. 18. № 4. pp. 124-127.
6. Z. Hu, L. Hu, P. Bauer, T. J. Harris, and J. P. Allebach, "Relation between image quality and scan resolution: Part i", Proceedings of the Electronic Imaging, pp. 3221-3227, Jan. 2020. DOI: 10.2352/ISSN.2470-1173.2020.9.IQSP-322.
7. Zhai, G. Science China Information Sciences. 2020. Vol. 63. № 11. Pp. 83135.
8. D.M. Korobkin, V.S. Shherbinin, S.A. Fomenkov, A.S. Tozik. Inzhenerny'j vestnik Dona. 2023. № 12. URL: ivdon.ru/ru/magazine/archive/n12y2023/8865.
9. A.V. Turicyna. Inzhenerny'j vestnik Dona. 2023. № 5. URL: ivdon.ru/ru/magazine/archive/n5y2023/8412.
10. Erofeev V.T., Afonin V.V., Lakokrasochny'e materialy' i ix primenenie. 2011. № 6. pp. 38-41.
11. Afonin V.V., Erofeeva I.V., Zotkina M.M., Emel'yanov D.V., Podzhivotov N.Yu. Vestnik MGSU. 2019. T. 14. Vy'p. 1. pp. 83-93. DOI: 10.22227/1997-0935.2019.1.83-93
12. Image database TID2013: Signal Processing: Image Communication. 2015. Vol. 30. Pp. 57-77.
13. Orlov A. I. Prikladnaya statistika[Applied Statistics]. M.: Ekzamen, 2006. 671 p.
и
14. АЮпт У.У., Savkina Л.У., МШт У.У. УеБ1п1к Astraxanskogo gosudarstvennogo texnicheskogo universiteta. Seriya: Upravlenie, vy,cЫsHteГnaya texnika i informatika. 2021. № 4. рр. 58-67. БОГ 10.24143/2072-9502-2021 -4-58-67
15. ЛЮШП У.У., Savkina А.У., Nikulin У.У. Vestnik Astraxanskogo gosudarstvennogo texnicheskogo universiteta. Seriya: Upravlenie, vy,cЫsHteГ пауа texnika i informatika. 2021. № 2. рр. 39-46. БО1: 10.24143/2072-9502-2021 -2-39-46.
Дата поступления: 17.03.2024 Дата публикации: 30.04.2024
