Визуализация данных в спектрозональных телевизионных системах Текст научной статьи по специальности «Компьютерные и информационные науки»

Т Телевидение и обработка изображений

УДК 615.471.03:616-072/073

Р. Е. Быков, Л. А. Манило

Санкт-Петербургский государственный электротехнический

университет "ЛЭТИ" Г. В. Папаян

Санкт-Петербургский государственный медицинский университет

Канг Ук, Бэ Су-Джин, В. Б. Березин

Корейский электротехнический исследовательский институт,

Республика Корея

| Визуализация данных в спектрозональных телевизионных системах

Рассмотрены методы представления данных в спектрозональных телевизионных системах. На примере спектрозональной системы с четырьмя спектральными каналами регистрации рассмотрены принципы построения систем, использующих цветовые признаки и сегментирование информативных объектов. Приведены данные о применении рассмотренной системы в биологическом эксперименте.

Спектрозональные телевизионные системы, визуализация изображений, цветовая фильтрация, анализ цветных изображений

Синтез спектрозональной системы анализа изображений и выбор методов оптической и цифровой обработки видеосигналов определяются целевым назначением проектируемого устройства. При этом, как правило, производятся выбор количества спектральных зон регистрации О, спектральных характеристик чувствительности преобразователей вI , метризация рабочего пространства анализатора (перевод нечисловой информации

о цветности в числовую) и построение решающих правил. Для исследования серии сформированных спектрозональных изображений при визуальном и при автоматическом анализах могут использоваться различные методы [1].

При визуальном анализе с использованием цветного дисплея можно применить оптическое или цифровое совмещение двух или трех изображений различных спектральных зон, окрашенных в определенные цвета, т. е. аддитивное формирование цветного изображения в условных или естественных цветах. Анализ изображений при использовании трех спектральных зон (О = 3) может быть осуществлен колориметрическими методами. При реализации подобного автоматического спектрозонального регистратора не накладывается особых ограничений на вид функции вг (X) и их положение по спектру (например, они могут охватывать инфракрасную, ультрафиолетовую и другие области спектра). Выбор О и функций вг- (Х) в этом случае определяется задачами исследований.

При О > 3 задача формирования цветного изображения требует выбора способа представления данных четвертой и последующих спектральных зон (начиная с последова-

© Быков Р. Е., Манило Л. А., Папаян Г. В., Канг Ук, Бэ Су-Джин, Березин В. Б., 2009

43

х

X, нм

>

300

х

Рис. 1

тельного просмотра отдельных изображений (рис. 1, 1, 2, ..., й) и кончая использованием сложных алгоритмов формирования результирующего изображения на базе отдельных спектрозональных изображений). Отдельные изображения исследуемого объекта в различных спектральных зонах во времени могут формироваться как одновременно, так и последовательно, например изменением спектрального состава источника освещения (/1 или /2 на рис. 1) с последующим совмещением формируемых изображений.

В прикладных системах часто используют серийные видеокамеры, предназначенные для формирования цветного изображения, и различные процедуры формирования сигналов изображения дополнительных каналов регистрации [1], [2]. В качестве последних могут рассматриваться каналы, чувствительные в инфракрасной, ультрафиолетовой или в других областях спектра, а также полученные в результате особого способа освещения и регистрации излучения от объекта (флуоресценция, поляризация и др.). Дополнительный канал также может формироваться в выходном изображении на базе нескольких исходных спектрозональ-ных изображений. Алгоритм формирования изображения в этом случае, как правило, основан на использовании нескольких заданных признаков (цветность, яркость, текстура и др.) [2].

Цветность и яркость являются признаками, которые относятся к каждому элементу изображения (пикселю), в то время как текстура, размеры, форма границы и ряд других признаков относятся к группам элементов или к участкам изображения. Это накладывает особые условия на процедуры использования указанных признаков. Динамические характеристики (распределение скоростей, векторов движения, форма траектории и др.), как правило, относятся к группе кадров. Это также накладывает определенные ограничения на формирование группы признаков, используемых для выделения "зоны интереса". В большинстве прикладных исследований рассматривается многоклассовая задача (число классов больше двух).

Выбор числа признаков и оптимизация вида решающих правил часто не приводят к требуемому качеству распознавания объектов в поле изображения. Это связано с тем, что выбранные признаки отбираются интуитивно или опытным путем и не несут существенной для распознавания информации. Вопрос формирования признакового пространства,

======================================Известия вузов России. Радиоэлектроника. 2009. Вып. 1

позволяющего оптимизировать процедуру построения решающих правил, подробно рассмотрен в работах [3], [4].

Представление данных в спектрозональных системах при П = 3. Математическое определение цвета и цветности можно использовать для отображения спектральных характеристик излучения в пространствах, подобных цветовым [5]. Формирование таких пространств основано на том, что для каждой функции W (X), отражающей спектральный состав излучения, как и в колориметрии, с помощью фиксированной непрерывной финитной функции вI (Х) можно найти число тг, принадлежащее некоторому множеству М:

да

т1 (Ж,вг)=|W(Х)вг (X)dX. (1)

0

Поскольку W (X) - фиксированная и интегрируемая на конечном интервале функция, а также в силу финитности вг- (Х), интеграл (1) может быть взят по некоторому конечному интервалу. Если г = 1, 2, то функции W (X) можно сопоставить двухмерное число т {т^ т2}, если I = 1,3, то трехмерное: т \т\, т2, т3 }. При I = О имеем т {т1, т2, ... , то }. Выбор конечного набора функций вг- (X приводит к классификации спектров излучений в й-мерном

пространстве Мт2, ..., тО} или, после нормировки по величине входной энергии, в пространстве МО 1 с координатами

да

IW Швг- (X) dX

т = -°-,

1 Ода

W (X)вг■ (X) d X

г=1 о

О да

где ^ | W(X)вг■ (X)dX = т1 + т2 + ... + тО . г=1 о

При таком подходе функцию W (X) можно рассматривать как линейный функционал на некотором пространстве функций. Набор функций вг (X можно выбрать различным образом. При зафиксированном наборе функций вг- (X, г = 1, О, множество функций W (X) отображается в пространстве МО, образующем бесконечное счетное множество f: W ^ МО.

Базисом пространства МО может быть система любых линейно-независимых векторов. Выбор базиса позволяет реализовать отображение УО: Мда ^ МО или, при введении нормировки, УО—1: Мда ^МО 1. Так как число спектральных элементов О<да, то полным прообразом каждого элемента из МО 1 является совокупность всех спектраль-

ных характеристик, приводящих к равным тг. Объединением в один класс всех элементов

из М, образы которых в М О 1 совпадают, реализуется некоторое разбиение спектральных характеристик излучения на классы.

При формировании изображения на трехцветном дисплее число входных сигналов, а следовательно, и спектральных зон Овх, должно быть той же величины, что и в колориметрии: О = 3 . В этом случае, как было показано, не накладывается особых ограничений на вид функций вI и на их положение на спектре. Как отмечено, выбор О и функций вг определяется задачами исследований. При реализации автоматического спектрозонального регистратора вг м - это спектральные характеристики преобразователей изображения.

Таким образом, каждый элемент выбранного цветового (рабочего) пространства, описываемого трехсигнальной моделью с основными цветами Мц, М2, М3, отображает все вариации спектральных характеристик, несмещающие его в рассматриваемой системе оценивания спектрального распределения энергии излучения. Принятую систему можно использовать для классификации спектров излучения различных участков исследуемого изображения. При изучении изображений измерения преследуют цель наиболее полного отображения информации и простой интерпретации полученных результатов. При решении данных задач определяющее значение, как это следует из теории функционального анализа, имеет метризация "запаса точек" тг, т^, тп рабочего пространства.

При оценке цветовых ощущений оказалось удобным использовать равноконтраст-ную диаграмму цветности, расстояния между точками на которой соответствуют степени различия в цветовых ощущениях [1]. При построении автоматических систем, чувствительных к спектральным параметрам поля изображения, в большинстве случаев отсутствует необходимость базироваться на различиях, адекватных цветовым ощущениям. При выбранных спектральных характеристиках преобразователей изображения реакция автоматической системы может быть связана непосредственно с относительными изменениями цветоделенных сигналов. В этом случае требования равноконтрастности оказываются неоправданными. Рабочим пространством может служить колориметрическая система трехзонального преобразователя изображения М (т?1, т2 ), где т1 = Е^(Е1 + Е2 + Е3 ) ; т2 = Е2/(Е1 + Е2 + Е3 ) ; Е1, Е2, Е3 - сигналы изображения соответствующих преобразователей.

В качестве примера на рис. 2 приведены реальные цветовые характеристики участков четырех фрагментов в мазке крови человека -Е (эритроцита), LP (плазмы лейкоцита), LN

Рис. 2

т2

0.4

0.3

0.2

0.1

В

0е г 7

у LN

0.2

0.3

0.4

т1

(ядра лейкоцита) - нанесенном на стеклянную подложку B. Результаты представлены в виде Х-эллипсов, построенных на основе статистических исследований при принятии гипотезы о нормальности распределений: P (Х) = 0.865. Приведенные данные используют при выборе решающего правила в спектрозональном автоматическом телевизионном классификаторе форменных элементов крови человека. Наряду с цветовыми характеристиками в классификаторе, как правило, используют геометрические, топологические и амплитудные признаки.

Выбор рабочего пространства спектрозональных анализаторов изображения определяется задачами исследования или измерения. Связь между свойствами рабочего пространства анализатора и физическими характеристиками изучаемых сцен устанавливается для каждой конкретной системы ее характеристиками. При проведении однотипных исследований используют стандартизацию этих характеристик.

Представление данных в спектрозональных системах при П > 3. При Q > 3 необходимо выбрать способ представления данных четвертой и других дополнительных спектральных зон. Один из вариантов такого представления может состоять в локальной замене (полной или частичной) в цветном изображении определенных участков фрагментами изображения дополнительных зон их совмещением (возможно с весовыми коэффициентами) или замещением с помощью ключа KEY (рис. 3). При необходимости выделенный участок изображения можно обрабатывать независимо от основной части поля изображения. Эффективным вариантом представления спектрозональных данных является использование в дополнительном канале фильтрации видеосигналов цветности [1], [2], [5].

Конкретизируем задачу применительно к достаточно распространенной схеме регистрации, включающей два трехзональных преобразователя изображения (например, две видеокамеры цветного телевидения) VQ и VC2 (рис. 3). Видеокамера VC1 используется для формирования сигналов цветного изображения. В таком формирователе сигналов изображения можно использовать спектральные характеристики трехзональной системы как совпадающей с колориметрической, так и отличной от нее. Для общности обозначим эти сигналы Ei, E2, E3 (рис. 3). Для форми-

рования сигнала в дополнительном канале регистрации Е4 используем источник сигналов цветного изображения VC2.

Рассмотрим задачу обнаружения и селекции объектов заданной цветности в изображении, формируемом источником VC2, с целью совмещения их с изображением, формируемым источником VC\ (пример конкретной задачи такого типа будет приведен далее). Задача решается применением цифрового фильтра цветности FC, формирующего ключевой сигнал

EB VCj EG VCJ ER VCj

E3

q VCl

VC2

E2

El

ЕВвых ЕОвых ЕКвых

E4

KEY

Ekey

FC

ER VC2

EB VC2 eG VC

2

Рис. 3

E^gy для управления коммутатором сигналов изображения KEY. На выходе спектрозо-нальной системы образуются сигналы изображения ER , Eg , Er , несущие ин-

^вых ивы^ ивых

формацию о содержании входного изображения: {Er^^, Eq^^ , Er^^ } = f {Ei, E2, E3}.

Формирование ключевого сигнала. Центральным звеном системы является формирователь ключевого сигнала E^gy (рис. 3). В окрестности любой точки цветовой диаграммы может быть задана область в общем случае произвольной формы, выделяющая из всего пространства цветности подпространство P(mo,5) . В частности, в качестве такой области может быть выбрана прямоугольная область:

P(mo,5) = {m: mo еM, (m^o-5)< mi <(m^o +5); (m2o-5)< m2 <(m2o +5)} .

Фильтр цветности FC разделяет пространство цветности на два подпространства: H е M и M \ H (разность М и Н). Основными характеристиками фильтра наряду с координатами его центра m^o, m2o являются форма границы и размеры окна. Границы H выбираются в зависимости от конкретных задач с учетом статистики распределения цветности в исследуемых изображениях.

Для описания фильтра цветности введем двоичную переменную Y (m) и соответствующий ей во временной области сигнал Ey(t):

Y (m) = fr m е H, Ey (tU1, m (!H,

(o, m £ H; yW [o, m (t)g H.

Фильтр цветности FC в многоспектральной системе (см. рис. 3) выделяет элементы изображений, цветность которых соответствует области, заданной окном H. Сигнал Ey

может использоваться для формирования ключевого сигнала Ekgy , управляющего коммутатором сигналов изображения KEY (рис. 3), передающим на выход сигналы Ei, E2, E3 при Ey (t) = 1, соответствующие участкам изображения, для которых цветность m е H . Сигнал Ey может использоваться также для построения гистограмм распределения элементов изображении по цветности или непосредственно для формирования зон, занятых элементами заданной цветности, и в других целях.

Для прямоугольного окна цветности без границы двузначный предикат Y (m) представим в виде

4

Y (m) = П Y (m) = Pr [(^iimi + a^m2 + ai3 > o) П (a2imi + a22m2 + a23 > o) П

i=i

П(aз1П1 + aз2m2 + aзз > 0) П (a4^m\ + a42m2 + a4з > 0)] = 1, (2)

где Yi (m) - решающие двухзначные предикаты, соответствующие четырем прямым, образующим окно; Рг [•] - отображение, ставящее в соответствие истинным предикатам зна-

чение Y (т ) = 1, а ложным Y (т) = 0; ар - коэффициенты, описывающие прямые - границы окна цветности (г = 1,4 - номер границы; р = 1,3).

Коэффициенты а^р могут быть рассчитаны через координаты вершин окна та, т^,

тс , т^. Например для окна с координатами вершин та =(0.3;0.4) , т^ =(0.4;0.3), тс = (0.35;0.25), т^ = (0.25;0.35) (рис. 4), расчет в соответствии с выражениями (2) дает Y(т) = [(0.7-тх-т2 > 0)П(тх + т2-0.6 > 0)П(0.1-т1 -т2 > 0)П(тх-т2 + 0.1 > 0)] = 1.

В случае дихотомии (разделения диаграммы на две полуплоскости)

Y (т) = (ахтх + а2т2 + аз > 0) = 1.

Если выражение (2) представить через сигналы преобразователей изображения, то 4

Y (т) = П (ацЕх + аг2Е2 + а^Е^ > 0) = 1, где Е^ = Ех + Е2 + Е3 .

г =1

Построение фильтра цветности с помощью операций суммирования и определения знака суммарного сигнала сопоставлением с порогом позволяет реализовать его программно или простыми техническими средствами.

С помощью набора фильтров цветности 1, 2, ..., г, ..., N могут быть сформированы

двоичные сигналы изображения Y (^) , соответствующие более сложным по форме окнам в плоскости цветовой диаграммы.

Визуализация спектрозональных изображений на базе фильтрации по цветности. Выделение изображения объектов, расположенных на относительно однородном по цветности фоне, широко используется в устройствах цветовой рирпроекции [6], при обнаружении и измерении параметров объектов с заданными спектральными характеристиками [7] и др. Рассмотрим применение метода к решению более сложных задач, возникающих при спектрозональной регистрации биологических изображений, в частности в дерматологической практике. Оптические методы исследования, в том числе флуоресцентная диагностика, позволяют выявлять патологические участки ткани по изменению яркости и спектральных характеристик свечения.

Все ткани под действием ультрафиолетового или синего света в той или иной степени обладают способностью к флуоресценции. Это свойство используется для оценки функционального состояния органов и диагностики ряда заболеваний. Флуоресценция кожи может быть обусловлена как эндогенными веществами, вызывающими автофлуоресценцию ткани, так и введенными в организм извне флуоресцентными красителями, которые обусловливают способность к вторичной флуоресценции. Введение флуоресцентных красителей в кровеносную систему позволяет следить за циркуляцией крови и герметичностью сосудов, а при-

Рис. 4

менение специальных флуоресцентных маркеров, накапливающихся в опухолевых тканях, - решать задачи ранней диагностики онкологических заболеваний.

Базой для проведения модельных экспериментов явился флуоресцентный видеодер-матоскоп, предназначенный для диагностики кожных заболеваний [8]. Флуоресцентное изображение кожи в этом приборе формируется в нескольких спектральных зонах. Прибор обеспечивает получение высококачественного колориметрически точного телевизионного изображения в видимой части спектра при освещении исследуемого участка кожи белым светом. Для этого используется RGB-видеокамера VCl, формирующая цветоде-ленные сигналы ^ у^ , EG у^ , Eв у^ (см. рис. 3). Заметим, что формально преобразователь такого типа можно отнести к спектрозональному (О = 3). В процессе эксперимента имелась возможность изменения спектральной характеристики любого из каналов регистрации по желанию экспериментатора.

Устройство представляет собой компактный ручной прибор со встроенным светодиодным осветителем, цветной телевизионной камерой с прогрессивным сканированием и цифровым выходом. Видеосигналы регистрируются и обрабатываются на компьютере. Прибор позволяет проводить количественную оценку яркостных и цветовых особенностей объекта. Флуоресцентное изображение регистрируется второй камерой УС2, формирующей цветоделенные сигналы ER ус2 , EG ус2 , Eв ус2 3. Имелась возможность совмещать

изображения регистрируемого участка, полученные в белом свете, и в свете флуоресценции (микширование). В этом случае происходило суммирование (при необходимости с использованием весовых коэффициентов) сигналов, соответствующих двум изображениям. Однако визуальный анализ результирующего изображения при этом затруднен вследствие разрушения цветовой и морфологической картин изображения исследуемого участка, полученных в белом свете.

Применение рассмотренной методики представления данных нескольких спектрозо-нальных изображений позволяет произвести селекцию интересующих исследователя объектов по цветности и совместить их с изображением исследуемого участка, полученного в белом свете. Преобразование цветоделенных сигналов ER ус2 , EG ус2 , Eв ус2 , формирующих четвертый канал регистрации в свете флуоресценции, с помощью фильтра цветности FC позволяет сформировать ключевой сигнал Ekey, обеспечивающий с помощью

ключа KEY замену сигналов изображения El, E2, Eз на сигнал E4 на участках изображения, имеющих цветность, заданную одним фильтром цветности или несколькими.

В качестве примера на рис. 5 представлены монохромные варианты изображений исследуемого участка кожи человека, полученные в белом свете (рис. 5, а), в свете флуоресценции (рис. 5, б) и изображение, полученное с использованием преобразований, произведенных по схеме, представленной на рис. 3 (рис. 5, в). Для наглядности на рис. 5, в преоб-

3 В использованном в эксперименте приборе флуоресцентное изображение и изображение в белом свете формировались одной камерой последовательно с использованием процессора памяти на кадр. 50

разованиям подвергнута только левая половина поля изображения (заключенная в фигурные скобки), а правая половина включает лишь фоновое изображение (без включения информативных фрагментов флуоресцентного изображения).

Целью прикладной части исследования явилось выявление мест возможной колонизации бактерий P. acnes, которые по современным представлениям вызывают угревую болезнь (acne) - одно из самых распространенных заболеваний кожи. Бактерии P. acnes вырабатывают порфирины, обладающие характерной оранжево-красной собственной флуоресценцией, которая может служить индикатором их присутствия. Применение метода анализа цветных флуоресцентных цифровых изображений кожи с успехом используется для обнаружения проблемных зон кожи и для оценки эффективности терапии [9].

Картина, регистрируемая в белом свете (рис. 5, а), позволяет видеть (в виде темных пятен) только места расположения сальных фолликулов, в которых возможна колонизация бактерий различной природы. Картина, регистрируемая в свете флуоресценции, позволяет обнаружить аномальное оранжево-красное свечение на некоторых участках кожи (рис. 5, б), предположительно связанных порфириновой флуоресценцией P. acnes. Но только из совмещенной картины, представленной на рис. 5, в, однозначно следует, что такое аномальное свечение находится в местах расположения фолликул, а это является еще одним подтверждением их бактериальной природы, вызванной наличием P. acnes.

Предложенный метод представления данных в спектрозональных телевизионных системах позволяет совместить морфоло-

Рис. 5

гическую информацию об объекте, получаемую в обычном отраженном свете, с биохимической информацией, которую дает регистрация в свете флуоресценции. Цветовые признаки могут быть дополнены морфологическими данными (размеры, форма, текстура и др.), в целях повышения избирательности процедуры селекции и эффективности анализа изображения. Рассмотренная методика имеет большое значение для диагностики многих заболеваний, в том числе при обнаружении злокачественных опухолей на ранних стадиях.

Предложенный в работе подход к решению задачи визуализации спектрозональных изображений, основанный на использовании цветовых признаков для селекции информативных участков изображения и совмещении их с фоновым изображением исследуемого участка, полученного в белом свете, позволяет в интерактивном режиме одновременно визуализировать информативные участки нескольких спектрозональных изображений. Экспериментальные исследования рассматриваемого метода на примере исследования биологических микрообъектов привели к положительным результатам.

Библиографический список

1. Быков Р. Е. Основы телевидения и видеотехники: учебник для вузов. М: Горячая линия-Телеком. 2006. 399 с.

2. Бочко В. А., Быков Р. Е. Многоспектральная интерактивная система обнаружения и измерения параметров объектов // Изв. вузов России. Радиоэлектроника. 1998. Вып. 1. С. 50-54.

3. Манило Л. А. Упорядочение спектральных признаков по эмпирическим оценкам межгруппового расстояния в задачах классификации биосигналов // Изв. вузов России. Радиоэлектроника. 2006. Вып. 3. С. 20-29.

4. Манило Л. А. Преобразование пространства спектральных признаков с использованием весовых функций в задачах распознавания сигналов // Изв. вузов России. Радиоэлектроника. 2007. Вып. 2. С. 37-42.

5. Быков Р. Е., Гуревич С. Б. Анализ и обработка цветных и объемных изображений. М.: Радио и связь, 1984. 248 с.

6. Быков Р. Е., Игнатьева Н. В. Метод и экспериментальная система цветовой рирпроекции // Техника кино и телевидения. 1981. № 11. С. 52-55.

7. Быков Р. Е. Спектральные характеристики и построение цветовых пространств // Исследование Земли из космоса. 1991. № 1. С. 84-88.

8. Флуоресцентный видеодерматоскоп / Канг Ук, Г. В. Папаян, Бэ Су-Джин и др. // Опт. журн. 2008. Т. 75, № 1. С. 32-38.

9. Оценка эффективности наружной терапии акне путем анализа цветных флуоресцентных изображений кожи / Г. В. Папаян, Н. Н. Петрищев, Е. Р. Аравийская и др. // Актуальные проблемы лазерной медицины: сб. науч. тр.; под ред. Н. Н. Петрищева / СПбГМИ. СПб., 2006. С. 201-210.

R. E. Bykov, L. A. Manilo

Saint-Petersburg state electrotechnical university "LETI" G. V. Papajan

Saint-Petersburg state medical institute Kang Uk, Bae Soojin, V. B. Berezin

The Korean electrotechnical research institute, Republic Korea

Visualization of data in multispectral television systems

Data presentation methods in multispectral television systems are considered. On an example multispectral systems with four spectral channels of registration are considered principles of construction of the systems using colors data and segmentation of informative objects. Data about application of the considered system in biological experiment are cited.

Multispectral television systems, visualization of images, a color filtration, the analysis of color images

Статья поступила в редакцию 12 января 2009 г.