CC BY
9
УДК 621.397.13
ИССЛЕДОВАНИЕ МЕТОДА ДИФФЕРЕНЦИАЛЬНОЙ СПЕКТРОЗОНАЛЬНОЙ ВИЗУАЛИЗАЦИИ
Н.П.Корнышев, М.А.Калитов, А.С.Сенин*
STUDY OF THE METHOD OF DIFFERENTIAL SPECTRAL VISUALIZATION
N.P.Kornyshev, M.A.Kalitov, A.S.Senin*
Институт электронных и информационных систем НовГУ, Nikolai.Kornishev@novsu.ru
*ЗАО «ЭЛСИ», Великий Новгород
Рассматриваются вопросы применения дифференциального метода спектрозональной визуализации. Оценивается соответствие результатов обработки спектральных электрических сигналов результатам формирования спектральных зон оптическими методами. Приводятся результаты моделирования c использованием изображений реальных объектов. Ключевые слова: спектрозональная визуализация, обработка спектрозональных изображений
This paper considers the problems of using the method of differential spectral visualization. The correspondence between differential spectral electric signals and spectral zones formed by optical methods are estimated. The results of simulation using the images of real objects are presented.
Keywords: spectral visualization, spectral image processing
Методы спектрозональной визуализации в настоящее время представляют большой интерес, поскольку позволяют в значительной мере расширить возможности оптико-электронных систем (ОЭС), формирующих изображения в различных диапазонах спектра, за счет извлечения дополнительной визуальной информации о наблюдаемых объектах интереса. В литературе, например в [1-9], достаточно полно представлен арсенал таких методов.
Один из данных методов, а именно метод дифференциальной спектрозональной визуализации, заключающийся в формировании дополнительных разностных изображений, соответствующих узким участкам спектрального диапазона, из исходных широкодиапазонных изображений [2], представляет особый интерес, поскольку позволяет получить дополнительную видеоинформацию без увеличения аппаратных затрат. Это обстоятельство является немаловажным при оптимизации ОЭС.
Сущность метода дифференциальной спектро-зональной визуализации заключается в том, что из светового потока в общем спектральном интервале оптическим путем выделяют п спектрозо-нальных световых потоков в расширенных зонах регистрации, соответствующих интервалам длин волн
акс? ак^ Ап * ^мак^ прИЧем А1^А2. •-^^п^^макс.
Затем формируют электрические сигналы, пропорциональные яркости света в элементах спектрозо-нальных изображений, и получают соответствующие цифровые коды иь и2 ...ип, из которых формируют
разностные выходные цифровые коды ивых ) = и - и2,
ивых 2 = и2 ивых п =ии-1 -ип , соответствую-
щие узким зонам регистрации А1*А2, А2*А3, ..., Ап-1*Ап [2].
Таким образом, в отличие от выделения спектральных интервалов оптическими методами рассматриваемый метод предполагает работу не со спектральными потоками излучения, а с их функ-
циями — электрическими сигналами, пропорциональными этим потокам. Если для выделения узкой зоны регистрации из пары перекрывающихся расширенных зон в оптическом канале реализуется фактически перемножение спектральных характеристик (коэффициентов пропускания на соответствующих частотах), то в рассматриваемом способе эквивалентное выделение реализуется вычитанием электрических сигналов, получаемых от соответствующих диапазонов спектра и соответствующих пространственному распределению яркости в этих диапазонах.
В связи с указанным выше различием в процессах формирования спектрозональных сигналов — оптическом и электрическом, возникает необходимость проверки их эквивалентности. Иными словами, возникают вопросы: является ли визуальная информация, получаемая при использовании дифференциального метода, в достаточной мере адекватной, в какой степени получаемый разностный сигнал соответствует видеоинформации, имеющейся в узкой зоне регистрации, выделяемой оптическим путем?
В известной литературе этому обстоятельству не уделено достаточного внимания, кроме того, отсутствуют практические рекомендации по данному методу, имеется также явный дефицит в опубликованных результатах его моделирования и применения.
Целью данной статьи является ознакомление с результатами компьютерного моделирования метода дифференциальной спектрозональной визуализации и качественной оценкой соответствия получаемых результатов оптическому методу формирования спек-трозональных сигналов.
Для оценки соответствия получаемой визуальной информации по дифференциальному методу формируются три узкие зоны регистрации, соответствующие трехкомпонентному цветовому восприятию зрительным анализатором человека, а именно, соот-
Рис.1. Структурная схема телевизионной установки для моделирования дифференциального метода спектрозональной визуализации: 1 — объектив, 2 — телевизионная камера, 3 — сменные светофильтры, 4 — устройство ввода изображений, 5 — ПЭВМ
ветствующие компонентам красного, зеленого и синего (R, G и B). Для этого подбираются 4 исходных расширенных зоны регистрации с границами ^-400 нм., Х2~500 нм, Х3~600 нм, Х4~700 нм и Хмакс~1000 нм, что обеспечивает формирование узких зон регистрации R=600-700 нм, G = 500-600 и B = 400-500 нм. Максимумы основных цветов в системе RGB: R = 655 нм, G = 520 нм и B = 470 нм соответствуют данным интервалам.
Методика эксперимента
Моделирование процесса получения цветного изображения из нескольких широкодиапазонных спектрозональных изображений с перекрывающимися зонами спектра Исходные изображения были получены от телевизионной установки (структурная схема рис.1),
состоящей из черно-белой телевизионной камеры 2 стандартной чувствительности с объективом 1 и линейкой 3 сменных светофильтров, размещаемых в заднем рабочем отрезке объектива, устройства ввода изображений 4 и ПЭВМ 5.
В линейке использовались светофильтры из набора стандартных цветных стекол типа КС19, КС11, ЖС18 и ЖС4, имеющих крутые перепады спектральной характеристики, а также расширенные зоны регистрации вплоть до ближней инфракрасной области спектра при спектральных характеристиках, достаточно близких к прямоугольным.
На рис.2 приведены спектральные характеристики стандартных светофильтров типа КС19, КС11, ЖС18, ЖС4 с расширенными спектральными интервалами ^—^мак» ^Э^^мак» ^4—^макс в общем
диапазоне длин волн Х1-Хмакс.
Рис.2. Спектральные характеристики стандартных светофильтров типа КС19 КС11 ЖС18 ЖС4 для расширенных спектральных интервалов Л1-Л„акс, Л2-Л„акс, Лз-Л„акс, Л4-Л„акс в общем диапазоне длин волн Л1-Л„акс
а б в г
Рис.3. Исходные спектрозональные телевизионные изображения с расширенными зонами регистрации, соответствующими спектральным характеристикам: ЖС4 (а), ЖС18 (б), КС11 (в) и КС19 (г)
Указанным выше расширенным спектральным интервалам соответствуют исходные световые потоки, преобразуемые в цифровые коды Ub U2, U3, U4, пропорциональные яркости для соответствующих элементов исходных спектрозональных телевизионных изображений, представленным на рис.3.
При приведенном выше выборе расширенных спектральных интервалов формирование разностных изображений Ui-U2, U2-U3, U3-U4 обеспечивает их соответствие красной, зеленой и синей областям спектра. Таким образом, формирование RGB компонент в соответствии с выражениями R = U - U2, G = U2 - U3, B = U3 - U4 и результирующего RGB изображения позволяет проверить адекватность цветопередачи визуализируемого объекта.
зеленый желтый
красный
Рис.4. RGB изображение, полученное из исходных спектрозональных телевизионных изображений с расширенными зонами регистрации
красный
т <
-■ желть
/1
зеленый
Результирующее RGB изображение, полученное при моделировании путем вычитания с последующей дополнительной яркостной коррекцией и балансом белого, приведено на рис.4. В нем наблюдается эффект цветопередачи визуализируемого объекта. Однако полного соответствия цветопередачи при этом не достигается. Отмечается также недостаток в насыщенности получаемых цветов. Таким образом, дифференциальный метод может быть использован, в частности, для получения цветного изображения из широкодиапазонных спектрозо-нальных изображений с целью расширения функциональных возможностей спектрозональной аппаратуры при отсутствии жестких требований по его качеству.
Моделирование процессов получения разностных изображений из RGB компонент цветного изображения
Ниже приведены результаты моделирования процессов получения разностных изображений и RGB компонент цветного изображения с целью оценки возможности и целесообразности извлечения из них дополнительной спектрозональной информации рассматриваемым дифференциальным методом.
При моделировании из исходного цветного изображения выделялись RGB компоненты (рис.5) и формировались разностные изображения: R-G, G-B и B-R (рис.6). Разностные изображения характеризуются сужением зоны регистрации, что обеспечивает цветовую селекцию объектов в соответствии с их спектральными свойствами.
Рис.5. Исходное цветное изображение (слева) и его RGB компоненты
Рис.6. Разностные изображения, полученные из исходных RGB компонент: R-G (слева), G-B (в центре), B-R (справа)
Рис.7. Разностные изображения, полученные из исходных RGB компонент: R-G-B (слева), G-B-R (в центре), B-R-G (справа)
Действительно, в разностном изображении R-G наблюдается только красный объект, разностном изображении G-B наблюдается желтый и зеленый объект, причем уровень сигнала от желтого объекта является преобладающим, а в разностном изображении B-R наблюдается только синий и зеленый объект, причем преобладающим является уровень сигнала от синего объекта.
Таким образом, дифференциальный метод может быть использован, в частности, для цветовой селекции объектов при использовании RGB компонент цветного изображения.
Кроме этого, формировались разностные изображения R-G-B, G-B-R и B-R-G (рис.7) с дополнительно суженными зонами регистрации. Дополнительное сужение зон регистрации проявляется, в частности, в подавлении сигнала от желтого объекта в зеленой области спектра и в подавлении сигнала от зеленого объекта в синей области спектра.
Практический интерес представляет оценка возможности и целесообразности применения дифференциального метода для пар взаимно перекрывающихся спектрозональных изображений с диапазонами Х1—ХмаксЪ ^2—^макс2, причем ^1<^максЪ ^2<^макс2
при Х2<Хмакс1. Ниже рассматривается моделирование
данного процесса при использовании RGB компонент.
Пара взаимно перекрывающихся изображений Ui, U2 с условием Х1<Хмакс1, ^2<^макс2 при ^2<^макс1 была сформирована следующим образом: U1 = B+G, U2 = R. Моделировались следующие варианты получения разностных изображений
UBbK 1 =Ui-U2, UBbK 2 =U2-Ui, UBых 3 = Ui —U2, где U1 — инверсия U1, а также вариант получения половины суммы U^ 4 = (U1 — U2)/2 .
Полученные изображения сравнивались между собой на предмет выявления в них различий, а также соответствия преобладающего в них сигнала исходному цвету объектов. Исходные и результирующие изображения для рассматриваемого случая приведены на рис.8.
Поскольку варианты разностных изображений соответствуют трем суженым зонам регистрации, а именно красной, зеленой и сине-зеленой зоне, то в них доминируют объекты соответствующих цветов, что свидетельствует об адекватности выделения дифференциальным методом сигналов для трех узких зон из пары взаимно перекрывающихся спектрозо-нальных изображений.
Ниже приводятся примеры применения данного подхода для визуализации смежных перекрывающихся участков в видимой и ближней инфракрасной (ИК) области спектра.
Моделирование процессов получения разностных изображений на смежных перекрывающихся участках видимой и ближней инфракрасной области спектра
В качестве визуализируемого объекта использовался фрагмент иконы. Спектрозональные изображения, полученные в смежных перекрывающихся участках видимого и ближнего ИК диапазона спектра, взаимно вычитались и формировались следующие разностные изображения: ивьк 1 = ^25нм - ^90™,
ивых2 =и910нм - U870нм, ивых 3 = и505нм-и470нм. Перекрывающиеся области спектра для рассмотренных пар изображений примерно оцениваются -25-30 нм и располагаются между соответствующими, указанными в нижних индексах при переменной и максимумами.
Дополнительно формировались изображения соответственно суммы и разности при инверсии
первого изображения: ивЫх 1 = и625Ш + и 590 нм,
ивых 1 = и625 нм - и590 нм, ивых2 = и910 нм + и870 нм,
ивых2 = и910 нм - и870 нм, ивых3 = и505 нм + и470 нм,
и^ыхз = и505 нм - и470нм . Полученные изображения визуально сравнивались между собой на предмет выявления в них различий.
Результаты моделирования приведены на рис.9. Из него видно, что сформированные дифференциальным методом изображения имеют существенные отличия в деталях и несут дополнительную зрительную информацию об объекте визуализации. В частности, такая информация может быть использована при изучении объектов культурного наследия и при проведении с ними реставрационных работ наряду с традиционными методами телевизионной визуализации [10-13].
Выводы
1. Проведенное моделирование процессов преобразования изображений по дифференциальному методу спектрозональной визуализации [2] показывает дополнительные возможности его эффективного использования с целью расширения сервисных функций телевизионной спектрозональной аппаратуры.
2. При соответствующем выборе расширенных зон регистрации метод обеспечивает дополнительную возможность цветопередачи визуализируемого объекта.
3. Применение дифференциального метода для RGB компонент цветного сигнала обеспечивает возможность цветовой селекции визуализируемых объектов.
4. Применение дифференциального метода спектрозональной визуализации для обработки изображений на смежных участках видимого и инфра-
„красный
U вых 1 = U-U 2
Uвых 2 = U2 -U
U вых 3 = U1 -U 2
U вых 4 = (U-U 2)/2
Рис.8. Изображения (нижний ряд), полученные из исходных RGB компонент (верхний ряд), на основе дифференциального метода
Рис.9. Результаты моделирования: 1 — изображения исходные, 2 — разностные, 3 — сумма при инверсии, 4 — разность при
инверсии. Верхний ряд соответствует диапазонам U6:
средний ряд — U9.
, нижний ряд — U6:
1
2
3
4
красного диапазона спектра обеспечивает возможность получения дополнительной визуальной информации об исследуемых объектах.
1. Зубарев Ю.Б., Сагдуллаев Ю.С., Сагдуллаев Т.Ю. Спек-трозональные методы и системы в космическом телевидении // Вопросы радиоэлектроники. Сер.: Техника телевидения. 2009. Вып. 1. С.47-64
2. Сагдуллаев Ю.С., Сагдуллаев Т.Ю. К вопросу выбора зон регистрации в спектрозональном телевидении // Вопросы радиоэлектроники. 2011. Сер.: Техника телевидения. Вып.2. С.20.
3. Быков Р.Е. Основы телевидения и видеотехники: учебник для студентов вузов. М.: Горячая линия-Телеком, 2006. 399 с.
4. Зубарев Ю.Б., Селькин В.В. Перестраиваемый ПЗС датчик в спектрозональной телевизионной системе. // Техника средств связи. Сер.: Техника телевидения. 1980. №5. С.30-34.
5. Зубарев Ю.Б., Зайцева З.В., Главач А.А. и др. Оптимизация спектрального фильтра в оптическом звене прикладной телевизионной системы. // Техника средств связи. Сер.: Техника телевидения. 1991. Вып.3. С.33-41.
6. Козин С.Д., Сагдуллаев Ю.С. Спектрозональное телевидение и тепловидение в задачах селекции и идентификации объектов // Вопросы радиоэлектроники. Сер.: Техника телевидения. 2013. Вып.2. С.123-135.
7. Dyer J., Verri G., Cupitt J. Multispectral Imaging in Reflectance and Photo-induced Luminescence modes: A User Manual. The British Museum, 2013. 192 с.
8. Levenson R.M. et al. Multiplexing with Multispectral Imaging: From Mice to Microscopy // ILAR J. 2008. Вып.49(1). С.78-88.
9. MacDonald L. et al. Multispectral Imaging of Degraded Parchment // Proc. 4th Int. Workshop on Computational Color Imaging (CCIW 2013). Chiba, 2013. P.143-157.
10. Корнышев Н.П., Ляховицкий Е.А., Родионов И.С. Оптико-электронные и телевизионные методы и средства в историко-бумаговедческих исследованиях рукописно-книжных памятников // Фотография. Изображение. Документ. 2013. Вып.4(4). С.65-72.
11. Корнышев Н.П., Лифар А.В., Ляховицкий Е.А. и др. Телевизионные и оптико-электронные методы исследования исторических бумаг // Системы и средства связи телевидения и радиовещания. 2013. №1-2. С.153-158.
12. Корнышев Н.П., Лифар А.В., Ляховицкий Е.А. и др. Телевидение в исследовании исторических бумаг // Вопросы радиоэлектроники. Сер.: Техника телевидения. 2014. Вып 1. С.30-37.
13. Корнышев Н.П. Новые возможности телевизионных спектральных систем // Фотография. Изображение. Документ. 2015. Вып.6(6). C.89-93.
References
1. Zubarev Iu.B., Sagdullaev Iu.S., Sagdullaev T.Iu. Spektro-zonal'nye metody i sistemy v kosmicheskom televidenii [Multi-wave-zones methods and systems in space TV]. Vo-prosy radioelektroniki. Ser. Tekhnika televideniia - Questions of radio-electronics. The TV equipment series, 2009, no. 1, pp. 47-64.
2. Sagdullaev Iu.S., Sagdullaev T.Iu. K voprosu vybora zon reg-istratsii v spektrozonal'nom televidenii [To the question of the choice of zones of registration in spectrozonal television]. Voprosy radioelektroniki. Ser. Tekhnika televideniia - Questions of radio-electronics. The TV equipment series, 2011, no. 2, p. 20.
3. Bykov R.E. Osnovy televideniia i videotekhniki [Foundations of television and video technology]. Moscow, "Goriachaia liniia-Telekom" Publ., 2006. 399 p.
4. Zubarev Iu.B., Sel'kin V.V. Perestraivaemyi PZS datchik v spektrozonal'noi televizionnoi sisteme [Tunable CCDs for spectrozonal television systems]. Tekhnika sredstv sviazi. Ser. Tekhnika televideniia, 1980, no. 5, pp. 30-34.
5. Zubarev Iu.B., Zaitseva Z.V., Glavach A.A. et al. Optimizat-siia spektral'nogo fil'tra v opticheskom zvene prikladnoi
televizionnoi sistemy [Optimization of spectral filters in the optical sector of application-oriented television system]. Tekhnika sredstv sviazi, seriia Tekhnika televideniia, 1991, no. 3, pp. 33-41.
6. Kozin S.D., Sagdullaev Iu.S. Spektrozonal'noe televidenie i teplovidenie v zadachakh selektsii i identifikatsii ob"ektov [Spectrozonal television and thermovision in problems of 11. selection and identification of objects]. Voprosy radioelek-troniki. Ser. Tekhnika televideniia - Questions of radio-electronics. The TV equipment series, 2013, no.2, p.123-135.
7. Dyer J., Verri G., Cupitt J. Multispectral Imaging in Reflectance and Photo-induced Luminescence modes: A User Man- 12. ual. The British Museum Publ., 2013. 192 p.
8. Levenson R.M. et al. Multiplexing with multispectral imaging: From mice to microscopy. ILAR Journal, 2008, no. 49(1), pp. 78-88.
9. MacDonald L. et al. Multispectral imaging of degraded 13. parchment. Proc. 4th Int. Workshop on Computational Color Imaging (CCIW 2013). Chiba, 2013, pp. 143-157.
10. Kornyshev N.P., Liakhovitskii E.A, Rodionov I.S. Optiko-elektronnye i televizionnye metody i sredstva v istoriko-
bumagovedcheskikh issledovaniiakh rukopisno-knizhnykh pamiatnikov [Optical-electronic and television methods of historical researches of hand-written and book monuments]. Fotografiia. Izobrazhenie. Dokument - Photograph. Image. Document: Collection of Scientific Articles, 2013, no. 4(4), pp. 63-72.
Kornyshev N.P., Lifar A.V., Liakhovitskii E.A. et al. Televizionnye i optiko-elektronnye metody issledovaniia istoricheskikh bumag [Television and optical-electronic methods of studying historical papers]. Sistemy i sredstva sviazi televideniia i radioveshchaniia, 2013, no.1-2, pp. 153-158.
Kornyshev N.P., Lifar A.V., Liakhovitskii E.A. et al. Televidenie v issledovanii istoricheskikh bumag [Television in study of the history papers]. Voprosy radioelektroniki. Ser. Tekhnika televideniia - Questions of radio-electronics. The TV equipment series, 2014, no. 1, pp. 30-37. Kornyshev N.P. Novye vozmozhnosti televizionnykh spek-tral'nykh system [New possibilities of television spectrum systems]. Fotografiia. Izobrazhenie. Dokument - Photograph. Image. Document: Collection of Scientific Articles, 2015, no. 6(6), pp. 89-93.
