CC BY
33
УДК 004; 004.93
Ю. И. ГОЛУБ
СЖАТИЕ ШИРОКОГО ДИНАМИЧЕСКОГО ДИАПАЗОНА ЯРКОСТИ РАДАРНЫХ СНИМКОВ
Государственное научное учреждение «Объединенный институт проблем информатики Национальной академии наук Беларуси»
В статье представлены результаты экспериментов по сжатию широкого динамического диапазона яркости 16-битовых радарных снимков. Цели работы: сравнить и применить известные подходы сжатия широкого динамического диапазона яркости радарных снимков; выбор оптимальных параметров для алгоритмов сжатия динамического диапазона яркости радарных снимков; выбор безэталонной меры для оценки качества снимков после сжатия динамического диапазона. Были опробованы такие подходы тонального преобразования, как гамма-коррекция, оператор Ашихмина, ц-преобразование, а также безэталонные оценки качества. Результаты экспериментов представлены в статье. Был сделан вывод, что необходимы дальнейшие исследования и анализ различных функций и подходов к сжатию динамического диапазона яркости радарных снимков, т. к. описанные в статье подходы не дают стабильных и положительных результатов на всех имеющихся радарных изображениях. Также был сделан вывод о том, что после преобразования 16-битовых снимков очень сложно оценить, какое изображение лучше подходит для визуального восприятия человеком, и необходимо использовать безэталонную количественную оценку качества изображения.
Ключевые слова: радарные изображения, оператор тонального преобразования, сжатие динамического диапазона, безэталонная оценка качества изображений, SDR, HDR
Введение
В настоящее время данные с радарных спутников все чаще используются при решении различных задач, например, для измерения смещений и деформации поверхности земли и сооружений, для мониторинга разливов нефти или ледовой обстановки. Стали появляться снимки с уникальными характеристиками, доступные ранее лишь для военных. Достоинством радарных снимков (SAR - Synthetic-aperture radar) является то, что съёмка со спутников может осуществляться независимо от условий облачности, времени суток и времени года. А также то, что радарные снимки могут отображать не только поверхность, но и то, что под ней (коммуникации, трубопровод и т. п.).
Получаемые радарные снимки со спутников имеют широкий динамический диапазон (HDR - High Dynamic Range), т. е. количество яркостей в таких снимках составляет 65 536 (216). Большинство устройств отображения данных (мониторы, телевизоры, проекторы, принтеры и т. п.) работают со стандартным динамическим диапазоном (SDR - Standard Dynamic
Range) это - 256 (28) градаций яркости. Возникает важная задача - как корректно отображать 16-битовые радарные снимки на устройствах со стандартным динамическим диапазоном яркости. Для решения этой задачи необходимо широкий диапазон яркости преобразовать (сжать) к стандартному динамическому диапазону. Для этого применяются различные функций преобразования яркости или операторы/ алгоритмы тонального преобразования (TMO -Tone Mapping Operation).
При этом необходимо сохранить максимальное количество деталей на изображении (как в светлых областях, так и в темных областях), а также - локальный контраст полученного изображения, коррелирующий с визуальным восприятием человека. Также выбранный алгоритм сжатия должен обеспечивать отсутствие артефактов обработки изображения.
После сжатия динамического диапазона радарных снимков визуально очень сложно оценить, какое изображение лучше подходит для визуального восприятия человеком (рис. 1, 4). И возникает еще одна важная задача при рабо-
Рис. 1. Радарные изображения после гамма-коррекции с разными значениями коэффициента гамма: 0,2, 0,4, 0,6, соответственно
те с радарными снимками - выбор безэталонной меры для оценки качества снимка после сжатия широкого диапазона яркости.
Размер радарных снимков может составлять 25 000x35 000 пк (спутники Sentinel-1A и ALOS-2). Поэтому для работы с такими изображениями очень важными критериями для выбора алгоритма преобразования динамического диапазона яркости являются: затрачиваемые время и объем памяти.
Для решения задачи отображения 16-битовых радарных снимков на SDR-устройствах вывода информации были поставлены следующие задачи:
1. Выбрать несложный алгоритм сжатия динамического диапазона яркости.
2. Определить оптимальные параметры выбранного алгоритма сжатия.
3. Выбрать меру для оценки и сравнения полученных результатов после сжатия.
В литературе используют различную классификацию тональных операторов [1, 2]. Так, их разделяют на глобальные (пространственно-независимые) и локальные (пространственно-зависимые), линейные и нелинейные, а также градиентные, частотные и т. п.
При использовании глобальных операторов преобразования динамического диапазона яркости каждый пиксель изображения преобразуется на основании его интенсивности и глобальных характеристиках изображения, независимо от положения пикселя. Примером глобального типа тонального преобразования является тональная кривая (tonal curve). Достоинство таких операторов - это быстрота их выполнения. Недостаток данных подходов -это то, что все пиксели изображения преобразуются одинаково, без учёта того, находятся ли
они в тёмной или светлой области. Это часто приводит к тому, что обработанные изображения теряют локальные детали. Потеря (уменьшение) контрастности и яркости - это общая проблема для глобальных операторов.
В свою очередь, локальные операторы принимают во внимание положение пикселя на изображении. Т. е. в соответствии с локальными особенностями, полученными из значений соседних пикселей, определяются соответствующие параметры преобразования изображения. Таким образом, сохраняется локальный контраст, т. е. пиксели равной интенсивности после преобразования будут иметь разные значения, в зависимости от того, в светлой или тёмной части они находились.
Недостатки локальных операторов тонального преобразования: большой объем вычислений (что увеличивает время обработки и объем необходимой памяти), а также - появление искусственных искажений в результирующем изображении [2].
Для различных задач и видов изображений предлагаются разные походы к преобразованию динамического диапазона яркости изображений [1-9]: аппроксимация логарифмическими, степенными [4], ^-образными или сиг-моидными функциями [5]; логарифмическое сжатие контраста [6,7]; преобразования, основанные на работе с гистограммами [8] и градиентом [9].
В ходе экспериментов было показано, что не все существующие преобразования динамического диапазона яркости и меры качества могут работать корректно для всех видов изображений - радарных снимков, фотографий, медицинских снимков, аэроснимков и т. п. Был проведен эксперимент, в котором динамиче-
Рис. 2. Примеры графиков зависимости значения коэффициента гамма от значения меры качества Значения среднеквадратичного отклонения радарных снимков
Порог Размер фильтра Гаусса
2 3 4 5 6 7 8 10 15 20 30 40
0,1 0,1620 0,1652 0,1863 0,1761 0,1793 0,1803 0,1831 0,1872 0,1969 0,2060 0,2227 0,2406
0,4 0,1644 0,1741 0,1986 0,1972 0,2128 0,2143 0,2258 0,2379 0,2629 0,2868 0,3282 0,3644
0,5 0,1645 0,1748 0,1989 0,1962 0,2158 0,2186 0,2341 0,2518 0,2870 0,3208 0,3797 0,4618
0,6 0,1643 0,1747 0,199 0,1955 0,2161 0,2187 0,2361 0,2557 0,2992 0,3425 0,4171 0,476
0,7 0,1642 0,1741 0,1991 0,1954 0,2157 0,218 0,2347 0,2537 0,2979 0,3412 0,4132 0,4721
0,9 0,1641 0,1739 0,1988 0,1954 0,2143 0,2166 0,2325 0,2515 0,2957 0,3388 0,4108 0,4693
1 0,1641 0,1738 0,1988 0,1954 0,2141 0,2164 0,2322 0,2513 0,2954 0,3385 0,4103 0,4684
ский диапазон яркости радарных снимков был преобразован к стандартному диапазону при помощи гамма-коррекции (коэффициент гамма изменялся в диапазоне [0,2; 2,6], шаг изменений - 0,2). Примеры полученных изображений представлены на рис. 1.
Для объективной оценки результатов сжатия было опробовано 72 меры качества изображений (из них 34 меры описаны в [10]). По полученным данным для каждого изображения были построены графики, представленные на рис. 2. Наиболее качественными с точки зрения визуальной оценки должны быть изображения соответствующие экстремуму на графике.
Эксперимент показал что, ожидаемый тип графика наблюдался редко. Т. е. можно сделать вывод, что совместное применение гамма-коррекции и упомянутых выше мер качества - это не лучший вариант для выполнения сжатия динамического диапазона яркости радарных снимков и объективной оценки качества результата сжатия.
Также были выполнены эксперименты, в которых к радарным снимкам применялся оператор тонального сжатия Ашихмина. В зарубежной литературе его часто используют для сжатия широкого динамического диапазона яркости фотографий [1, 11].
Данное преобразование выполняется в три этапа [2]: 1 - локально оценивается яркость в каждой точке изображения, 2 - сжимается динамический диапазон яркости изображения до заданного, 3 - восстанавливаются мелкие деталей изображения, которые были потеряны на предыдущих этапах.
Для фотографий с широким динамическим диапазоном в статье [2] указаны следующие оптимальные параметры тонального оператора Ашихмина: размер фильтра Гаусса - 10, порог яркости - 0,5. Экспериментальные исследования с радарными снимками показали, что данное преобразование с указанными параметрами дает изображения плохого качества. Были определены другие параметры преобразования: размер фильтра Гаусса 20, порог яркости - 0,1. Для объективной оценки результатов сжатия было выбрано среднеквадратичное отклонение яркости (STD - Standard Deviation). Данная мера часто упоминается в литературе, как мера оценки контраста изображений [13]. Результаты вычислений среднеквадратичного отклонения для преобразованных радарных снимков приведены в таблице. Анализ таблицы показал, что нет пиков в полученных значениях среднеквадратичного отклонения. Был сделан вывод, что среднеквадратич-
г д е
Рис. 3. а - исходное 16-битовое радарное изображение, медианное значение яркости изображения - 17; б-е -радарные изображения после ц-преобразования при значениях коэффициента k равным 5, 500, 3000, 5500, 10500 соответственно, медианные значения яркости изображений - 10, 85, 120, 129, 134, 137
а б
Рис. 4. а - исходное 16-битовое радарное изображение, медианное значение яркости - 49; б - результат ^-преобразования при k = 8000 (визуально наиболее контрастный), медианное значение яркости - 73
ное отклонение не целесообразно использовать в качестве количественной оценки результатов применения оператора Ашихмина к 16-битовым радарным снимкам.
Далее были проведены эксперименты, в которых в качестве оператора тонального сжатия использовалось ц-преобразование (1), основанное на т-законе.
М(х) = 255 1п(1 + кх) / 1п(1 + к), (1)
где к - коэффициент, варьировавшийся от 50 до 20000. Коэффициент 255 необходим для растя-
жения преобразованного сигнала в восьмибитовое представление с последующим округлением до целых значений.
В телекоммуникационных приложениях ц-закон широко используется для сжатия аналогового сигнала [14]. На рис. 3 представлены исходное изображение и его варианты после ц-преобразования при разных коэффициентах к. Для отображения исходных 16-битовых радарных снимков в данной статье используется следующий подход - значения яркости большие 255, приравниваются к 255.
Рис. 5. Исходное 16-битовое радарное изображение (медианное значение яркости - 81) и графики зависимости значения коэффициента k (1) от значения мер качества
Рис. 6. Исходное 16-битовое радарное изображение (медианное значение яркости - 36) и графики зависимости значения коэффициента k (1) от значения мер качества
Изменяя значение коэффициента k, можно влиять на качество результирующего изображения. В данной группе изображений более качественным с визуальной точки зрения является изображение с коэффициентом k равным 3000. Однако для других изображений наилуч-
ший вариант, с точки зрения визуальной оценки, получается при других значениях k (рис. 4).
Для объективной оценки качества результатов ц-преобразования радарных снимков использовались: мера «натуральности» (NATU) [15], широко используемая в литературе для
оценки качества фотографий, и еще девять мер отобранных из предыдущих экспериментов (CON3, CRET, LVAR, PB, STD, SVDM, SVDO, TMQI, WU).
Исследования показали, что эти меры дают некорректные результаты при оценке радарных снимков (рис. 5-6, на графиках мер качества нет пиков одновременно для всех изображений).
Заключение
Проведенные эксперименты показали, что:
- глобальные (линейные) преобразования динамического диапазона яркости радарных снимков дают плохие результаты, т. к. 80-90% пикселей имеют значения в диапазоне [0-255];
- очень сложно визуально определить какой радарный снимок (после сжатия динамического диапазона при различных параметрах тонального оператора) лучше. Для оценки качества полученных результатов необходимы количественные (объективные) меры;
- не все существующие операторы преобразования динамического диапазона яркости и меры качества работают корректно на радарных снимках;
- применение гамма-коррекции не лучший вариант для выполнения сжатия динамического диапазона яркости радарных снимков;
- для радарных снимков наилучшими параметрами оператора Ашихмина являются следующие - размер фильтра Гаусса 20, порог яркости - 0,1;
- среднеквадратичное отклонение (STD) не подходит для объективной оценки результатов применения оператора Ашихмина к радарным снимкам;
- данные меры - CON3, CRET, LVAR, NATU, PB, STD, SVDM, SVDO, TMQI, WU, не достаточно эффективны для объективной оценки результатов сжатия диапазона яркости радарных снимков с использованием ц-преобразования (1).
Работа частично выполнена в рамках проекта БРФФИ Ф16СРБГ-004.
Литература
1. Hoefflinger, B. High-Dynamic-Range (HDR) Vision: Microelectronics, Image Processing, Computer Graphics / B. Hoef-flinger // Springer Science & Business Media. - 16 февр. 2007 г. - 241 p.
2. Ashikhmin, M. A Tone Mapping Algorithm for High Contrast Images / M. Ashikhmin // Eurographics Workshop on Rendering. - 2002. - P. 1-11.
3. Starovoitov, V. Comparative Analysis of Some Dynamic Range Reduction Methods for SAR Image Visualization / V. Staro-voitov // Pattern Recognition and Information Processing. - February 2017. - P. 63-76.
4. Tumblin, J. et al. Tone reproduction for realistic images / J. Tumblin, H. Rushmeier // IEEE Computer Graphics and Applications. - Nov. 1993. - Vol. 13, № 6. - P. 42-48.
5. Ferwerda, J. A. et al. An adaptation model for realistic image synthesis / J. A. Ferwerda, S. N. Pattanaik, P. Shirley, D. P. Greenberg // In SIGGRAPH '96 Proceedings. - P. 249-258.
6. Stockham, T. G. Image processing in the context of a visual model / T. G. Stockham // Proceedings of the IEEE. - July, 1972. - Vol.60, № 7. - P. 828-842.
7. Drago, F. Adaptive Logarithmic Mapping For Displaying High Contrast Scenes / F. Drago, K. Myszkowski, T. Annen, N. Chiba // EUROGRAPHICS. - September, 2003. - Vol. 22, № 3. - P. 419-426.
8. Gregory, W. et al. A visibility matching tone reproduction operator for high dynamic range scenes / G. W. Larson, H. Rushmeier, C. Piatko // IEEE Transactions on Visualization and Computer Graphics. - Vol.3, № 4. - Oct-Dec 1997. -P. 291-306.
9. Fattal, R. et al. Gradient Domain High Dynamic Range Compression / R. Fattal, D. Lischinski, M. Werman // Proceedings of the 29th annual conference on Computer graphics and interactive techniques, San Antonio, Texas. - July 23-26, 2002. - P. 249-256.
10. Старовойтов, В. В. Сравнительный анализ безэталонных мер оценки качества цифровых изображений / В. В. Старовойтов, Ф. В. Старовойтов // Системный анализ и прикладная информатика. - 2017. - № 1. - С. 24-32.
11. Lambers, M. Adaptive Dynamic Range Reduction for SAR Images / M. Lambers, A. Kolb // 7th European Conference on Synthetic Aperture Radar. - 2008. - P. 1-4.
12. Mane, T. Tone Mapping Methods: A Survey / T. Mane, S. S. Tamboli // International Conference on Recent Innovations in Engineering and Management. - 23 March 2016.
13. Волков, А. В. Методы оценки качества фильтрации цифровых изображений / А. В. Волков // Молодежный научно-технический вестник. - № 3. - Март 2014. - C. 1-7.
14. ITU-R BT.709-5: Parameter values for the HDTV standards for production and international programme exchange, June 2015. https:// www.itu. int/rec/R-REC-BT.709/en.
15. Yeganeh, H. Objective quality assessment of tone-mapped images / H. Yeganeh, Z. Wang // IEEE Transactions on Image Processing. - 2013. - Т. 22. - №. 2. - С. 657-667.
References
1. Hoefflinger, B. High-Dynamic-Range (HDR) Vision: Microelectronics, Image Processing, Computer Graphics / B. Hoef-flinger // Springer Science & Business Media. - 16 февр. 2007 г. - 241 p.
2. Ashikhmin, M. A Tone Mapping Algorithm for High Contrast Images / M. Ashikhmin // Eurographics Workshop on Rendering. - 2002. - P. 1-11.
3. Starovoitov, V. Comparative Analysis of Some Dynamic Range Reduction Methods for SAR Image Visualization / V. Starovoitov // Pattern Recognition and Information Processing. - February 2017. - P. 63-76.
4. Tumblin, J. et al. Tone reproduction for realistic images / J. Tumblin, H. Rushmeier // IEEE Computer Graphics and Applications. - Nov. 1993. - Vol. 13, № 6. - P. 42-48.
5. Ferwerda, J. A. et al. An adaptation model for realistic image synthesis / J. A. Ferwerda, S. N. Pattanaik, P. Shirley, D. P. Greenberg // In SIGGRAPH '96 Proceedings. - P. 249-258.
6. Stockham, T. G. Image processing in the context of a visual model / T. G. Stockham // Proceedings of the IEEE. - July, 1972. - Vol.60, № 7. - P. 828-842.
7. Drago, F. Adaptive Logarithmic Mapping For Displaying High Contrast Scenes / F. Drago, K. Myszkowski, T. Annen, N. Chiba // EUROGRAPHICS. - September, 2003. - Vol. 22, № 3. - P. 419-426.
8. Gregory, W. et al. A visibility matching tone reproduction operator for high dynamic range scenes / G. W. Larson, H. Rushmeier, C. Piatko // IEEE Transactions on Visualization and Computer Graphics. - Vol.3, № 4. - Oct-Dec 1997. - P. 291-306.
9. Fattal, R. et al. Gradient Domain High Dynamic Range Compression / R. Fattal, D. Lischinski, M. Werman // Proceedings of the 29th annual conference on Computer graphics and interactive techniques, San Antonio, Texas. - July 23-26, 2002. - P. 249-256.
10. Starovoitov, V. Comparative Analysis of Some Dynamic Range Reduction Methods for SAR Image Visualization / V. Starovoitov // Pattern Recognition and Information Processing. - February 2017. - P. 63-76.
11. Lambers, M. Adaptive Dynamic Range Reduction for SAR Images / M. Lambers, A. Kolb // 7th European Conference on Synthetic Aperture Radar. - 2008. - P. 1-4.
12. Mane, T. Tone Mapping Methods: A Survey / T. Mane, S. S. Tamboli // International Conference on Recent Innovations in Engineering and Management. - 23 March 2016.
13. Volkov, A. V. Methods for assessing the quality of image filtering / A. V. Volkov // Molodezhnyj nauchno-tehnicheskij vestnik. - № 3. - Mart 2014. - P. 1-7.
14. ITU-R BT.709-5: Parameter values for the HDTV standards for production and international programme exchange, June 2015. https:// www.itu. int/rec/R-REC-BT.709/en.
15. Yeganeh, H. Objective quality assessment of tone-mapped images / H. Yeganeh, Z. Wang // IEEE Transactions on Image Processing. - 2013. - Т. 22. - №. 2. - С. 657-667.
Поступила После доработки Принята к печати
22.01.2018 02.03.2018 15.03.2018
Y. I. Golub
COMPRESSION OF HIGH DYNAMIC RANGE OF SAR IMAGES
United Institute of Informatics Problems of the National Academy of Sciences of Belarus
The paper presents results of our experiments on compression of the high dynamic range SAR images. The range is equal to 16-bit. Objectives of study were comparison of known approaches to compression of the high dynamic range images; selection of optimal parameters for compression algorithms, and selection of a no-reference measure for image quality assessment after compression. Tone-mapping transformations like gamma correction, Ashikhmin-operator, mu-transformation, as well as no-reference image quality assessment measures were tested. The results of the experiments are presented in the article.
It was concluded that further research and analysis of various functions and approaches to compression of dynamic range of SAR images is necessary, since including in the article approaches do not give stable and positive results on all SAR images. It was also concluded that after transformation 16-bit images, it is very difficult to estimate which image is better, and it is necessary to use no-reference image quality assessment measure.
Голуб Юлия Игоревна - кандидат технических наук, старший научный сотрудник государственного научного учреждение «Объединенный институт проблем информатики Национальной академии наук Беларуси», E-mail: [email protected].
Yuliya I. Golub - PhD, Senior Research Fellow at the State Scientific Institution « United Institute of Informatics Problems of the National Academy of Sciences of Belarus».
E-mail: [email protected].
