Цифровая обработка изображений в экспертно-консультирующей системе для дифференциальной диагностики состояний шейки матки Текст научной статьи по специальности «Компьютерные и информационные науки»

!Т!

Телевидение и обработка изображений!

УДК 615.47:616-072.7

Н. А. Обухова, А. А. Мотыко Санкт-Петербургский государственный электротехнический университет "ЛЭТИ" им. В. И. Ульянова (Ленина)

Цифровая обработка изображений в экспертно-консультирующей системе

для дифференциальной диагностики состояний шейки матки1

Рассмотрены новые методы обработки и анализа изображений для экспертно-консультирующей системы дифференциальной диагностики состояний тканей шейки матки. Предложенный метод обработки кольпоскопических изображений позволяет синтезировать специальное изображение, имитирующее применение зеленого оптического фильтра для визуализации сосудов и обеспечивающее более эффективный анализ сосудистых структур врачом. Отличительной особенностью разработанного метода анализа изображений с целью дифференциальной диагностики является использование совокупности признаков, рассчитанных по изображениям разных типов, и формирование решающих правил, основанных на технологиях "data mining". Многопризнаковый анализ обеспечивает для границы дифференциальной диагностики CIN/CNI чувствительность 87 % и специфичность 75 %. Важной составляющей многопризнакового анализа является анализ изображений, полученных в белом свете. В статье подробно рассмотрены алгоритмы классификации изображений, полученных в белом свете на основе цветовых, яркостных и текстурных признаков.

Обработка мультиспектральных изображений, анализ изображений по признаку цвета, текстурный анализ, обработка и классификация медицинских изображений, системы поддержки клинических решений

Современной тенденцией развития медицинских систем является переход от устройств, решающих конкретные частные задачи, к экспертно-консульти-рующим системам поддержки клинических решений (clinical decision support system - CDSS).

Цель современных CDSS заключается в оказании помощи врачу в момент обследования пациента и при выборе лечения. На предыдущем этапе медицинские диагностические системы ре-ализовывали функцию клинициста, ставящего конечный диагноз. При применении этих систем предполагалось, что врач будет вводить информацию и ждать "правильного" ответа системы.

Принципы построения и использования CDSS предполагают помощь врачу на основе его взаимодействия с системой и использование ее клинических знаний. Это взаимодействие должно обеспечить чувствительность и специфичность диагностики выше, чем в случае постановки диагноза самостоятельно врачом или самостоятельно CDSS.

Существенную роль в CDSS играют анализ и обработка изображений исследуемого органа, направленные на решение следующих задач:

- визуализацию полученных данных, обеспечивающую наиболее эргономичное представление информации, и, как следствие, высокую эффективность ее анализа врачом;

- максимально полное извлечение невизуальной информации из полученных медицинских изображений.

CDSS весьма востребованы при проведении кольпоскопических обследований. Это связано, прежде всего, с выраженной необходимостью повышения эффективности кольпоскопического обследования за счет дифференциальной диагностики в условиях высокой вариативности исходного материала (медицинские изображения, в частности кольпоскопические, существенно различаются у конкретных пациентов, что обусловлено разным возрастом, менопаузой и другими особенностями физического состояния женщины).

В настоящей статье рассмотрены новые методы обработки и анализа изображений для CDSS дифференциальной диагностики следующих состояний тканей шейки матки: норма, CNI (chronic

1 Работа выполнена при поддержке Российского фонда фундаментальных исследований, грант № 15-07-00188.

42 © Обухова Н. А., Мотыко А. А., 2016

nonspecific inflammation - воспалительный процесс), CIN I, II, III (cervical intraepithelial neoplasia -онкологические изменения различной степени тяжести). Методы позволяют сформировать карту патологии (изображение, разбитое на области с определенным диагнозом Norm/CNI/CIN), карту биопсий, помогающих врачу при постановке коль-поскопического диагноза, а также формируют изображения со специальными свойствами для визуального анализа.

Обработка и синтез изображений в CDSS. Цель обработки изображений в CDS S - сформировать высококачественное изображение, удобное для визуального анализа с повышенной информативностью. Для CDSS дифференциальной диагностики рака шейки матки это означает сформировать высококонтрастное изображение исследуемого органа с высоким разрешением по всей плоскости кадра и корректной цветопередачей, а также с выделенными сосудистыми структурами. Для решения сформулированной задачи обработка исходных кольпоскопических изображений должна предусматривать:

- стандартные процедуры повышения качества изображений: гамма-коррекцию, подавление шумов, цветокоррекцию, увеличение контраста и т. д.;

- специальные процедуры обработки медицинских изображений: совмещение медицинских снимков, снятых в различных условиях освещения, автоматическую сегментацию зоны интереса - участка на изображении, для которого целесообразно проводить дальнейший анализ, удаление бликов на изображениях и интерполяцию изображения в них;

- процедуры синтеза изображений, обладающих особыми свойствами, например изображений, имитирующих применение зеленого оптического фильтра для визуализации сосудов.

Наиболее характерным видом обработки изображений для CDSS является формирование специальных изображений с повышенной информативностью. Для кольпоскопической системы это, прежде всего, имитация зеленого фильтра.

Кольпоскопический осмотр всегда включает в себя осмотр сосудов при разном увеличении и с использованием зеленого фильтра. При использовании цветных фильтров возможна более полноценная оценка характера ветвления сосудов, выявление особых сосудистых структур, например структур типа "мозаики" и "пунктуации".

CDSS должна предусматривать возможность имитации применения зеленого фильтра для любого указанного врачом фрагмента изображения.

Для реализации этой функции предложен следующий алгоритм:

1. Линейное контрастирование в зеленом канале:

= ~ ш (шах _ Яшт ) + Яшт,

Jy

^max ^mm

где БОц, Оц - координаты О для пиксела (,Ц)

после растяжки гистограммы и в исходном изображении соответственно; [Ош;п, Ошах] - диапазон изменения координаты в исходном изображении; £шт = 0, gшax = 255 - максимальное и минимальное значения координаты О в модифицированном изображении.

2. Обнуление координат канала В всех пикселов: БВу = 0, V/, ц. Координаты канала Я не изменяются.

3. Синтез изображения с координатами пикселов (Оц, БЯц, о).

Результаты имитации зеленого фильтра на участке исходного изображения (рис. 1, а) показаны на рис. 1, б.

Рис. 1

Алгоритм позволяет сформировать изображение, в котором присутствует зеленый фон и красно-коричневые сосуды. Такое изображение гораздо удобнее для визуального анализа, чем обычное изображение, полученное в белом свете, в кото -ром темно-красные сосуды расположены на красном фоне. Эффективность предложенного алгоритма имитации зеленого фильтра подтверждена экспертной оценкой врачей, реализованной в рамках клинических испытаний.

Анализ изображений в CDSS. Для эффективного извлечения невизуальной информации из кольпоскопических изображений в CDSS, предназначенной для дифференциальной диагностики рака шейки матки, необходимо реализовать:

- одновременный анализ изображений, полученных в белом свете и свете флуоресценции, по совокупности признаков яркости, цвета и текстуры;

- построение решающего правила на основе методов, характерных для систем искусственного

б

а

интеллекта: теории нечетких множеств и нечеткой логики, интеллектуального анализа данных (data mining) [1], теории машинного обучения и рассуждений в условиях неопределенности, теории распознавания образов.

С учетом сформулированных требований предложен метод, позволяющий построить дифференциальную карту патологии, используя результаты анализа по совокупности признаков кольпоскопических изображений, полученных в белом свете и в свете флуоресценции при возбуждении с длинами волны 360 и 390 нм.

1. Разбиение исходных изображений на локальные фрагменты - блоки с размерами 20 х 20 пикселов.

2. Определение для каждого блока вектора признаков, состоящего из следующих компонент:

- средних значений координат Cr, Cb (система YCrCb) и b (система Lab) в блоке флуоресцентного изображения, полученного при длине волны возбуждающего излучения 360 нм;

- средних значений этих же координат, рассчитанных в блоке флуоресцентного изображения, полученного при длине волны возбуждающего излучения 390 нм;

- средних значений координат a, b (Lab), рассчитанных в блоке изображения, полученного в белом свете.

3. Предварительная классификация блоков изображений с целью выделения для дальнейшего анализа зоны плоскостного эпителия и удаления зоны цилиндрического эпителия, областей кровления и входа в цевиксальный канал. Стратегия классификации - Random Décision Forest (RDF) [2], [3]. Вектор признаков для классификации -средние значения координат a и b (Lab) в блоках изображений, полученных в белом свете и свете, и координата b (Lab) в блоках, полученных в свете флуоресценции с длиной волны возбуждения 360 нм.

4. Для каждого блока, соответствующего плоскостному эпителию, решение задачи классификации с целью его отнесения к одному из трех классов: 1 - ткани без патологии; 2 - ткани, имеющие CNI; 3 - ткани, имеющие CIN. Стратегия классификации - RDF. Вектор признаков для классификации - средние значения Cr, Cb (YCrCb) и b (Lab) в блоках изображений, полученных в свете флуоресценции с длинами волны возбуждения 360 и 390 нм. Результатом классификации являются степени принадлежности блока к классам Pnom' PCNI и PCIN.

Анализ флуоресцентных изображений, полученных при возбуждающих излучениях с длинами волны 360 и 390 нм, позволяет выявлять следующие состояния тканей шейки матки - норма, CNI, CIN. Для границы CIN/CNI метод обеспечивает чувствительность 87 % и специфичность 71 % [4], [5].

Повысить чувствительность и специфичность при построении карт патологии можно, учтя дополнительную информацию, полученную при анализе изображений в белом свете, т. е. реализовав многопризнаковый анализ.

Существует две группы признаков для анализа кольпоскопических изображений, полученных в белом свете [6]. Первая группа - цветовые и яр-костные изменения в изображениях, обусловленные эффектом ацетобелого - побелением тканей после применения раствора уксусной кислоты. Вторая группа связана с изменениями текстуры и сосудов, которые также соответствуют патологическим изменениям в тканях шейки матки.

Методы сегментации ацетобелых областей можно разделить на две группы. Первая группа основана на процедурах цифровой обработки изображений (математической морфологии, линейной фильтрации и т. д.). Вторая группа состоит из методов, основанных на использовании математического аппарата классификации. На основании экспериментов был сделан вывод о низкой эффективности методов первой группы в рамках решаемой задачи. Основными причинами являются низкая контрастность и высокая изменчивость областей ацетобелого в исходных изображениях (рис. 2).

Для оценки степени соответствия фрагмента изображения эффекту ацетобелого разработан алгоритм, основанный на методе классификации RDF. В качестве признаков для классификации были выбраны координаты L, a, b (Lab), рассчитываемые по блоку изображения 20 х 20 пикселов. Сформированы 2 класса: "ацетобелое" и "другое". Построен и обучен двухклассовый RDF-класси-фикатор. При обучении классификатора в тестовый набор входило более 350 образцов класса "другое" и более 250 образцов класса "ацетобе-лое" (рис. 2), выбранных из 50 изображений с различными вариантами ацетобелого эффекта.

После обучения классификатора определение степени соответствия f нового фрагмента изображения x эффекту ацетобелого формируется

Рис. 2

Рис. 3

усреднением решений индивидуальных деревьев леса RDF fb (х'):

B

(1)

f = "I I fb (х') Bb=1

или на основе большинства голосов, поданных за принадлежность образца к классу "ацетобелого".

В дальнейшем анализе оценка (1) рассматривается как степень соответствия анализируемого блока классу "ацетобелое" Рщ.

Дополнительно реализована бинарная классификация на основе признака текстуры, позволяющая выявить неоднородные области ткани на шейке матки. Рис. 3 демонстрирует выраженные текстурные изменения и соответствующий им значительный уровень высокочастотной энергии на изображениях шейки матки в области патологии (рис. 3, б, г) и практически однородную структуру (и низкий уровень высокочастотной энергии) для здоровых тканей (рис. 3, а, в).

Алгоритм бинарной классификации изображений на основе признака текстуры предусматривает введение количественной оценки текстурного признака, выбор стратегии классификации и построение решающего правила.

Для формирования количественной оценки уровня текстурированности локальных фрагментов изображения использована мера Розенфель-да-Троя:

D (xk, У1 ) =

M N

I IA(xk+n> У1+m)

m=1 n =1

/(NM), (2)

где Л(х, у) - яркость пиксела в препарате, полученном из исходного изображения Ь (х, у) в результате предобработки с целью подчеркивания высокочастотной составляющей; х^, у\ - координаты

левого верхнего угла фрагмента (блока) изображения; к, I - номер блока по горизонтали и вертикали соответственно; N М - число пикселов фрагмента по горизонтали и вертикали соответственно.

Для повышения чувствительности рассмотренной меры при определении количественной оценки текстурного признака введена предобработка изображения, подчеркивающая его высокочастотную составляющую. Предобработка реализована с помощью многомасштабного морфологического градиента:

1 3

МО(Ь) = -£ [(Ь © $) - (Ь©$ )] ©5,-_1, (3) 3 /=1

где © и © - морфологические операции наращивания и эрозии соответственно; В/, 1 < / < 3 - квадратные маски фильтра с размерами (2/ +1) (2/ +1)

пикселов. Согласно (3) значения градиентов рассчитывают трижды используя маски с размерами 3 х 3, 5 х 5, 7 х 7, а затем результаты складывают.

Операцию подчеркивания высоких частот в изображении следует предварять обработкой изображения каким-либо фильтром для уменьшения влияния шумов, например медианным. Поэтому предварительная обработка изображения для получения количественной оценки признака текстуры предусматривает сглаживающую медианную фильтрацию и морфологический многомасштабный градиент.

Количественная оценка уровня текстуриро-ванности фрагмента изображения на основе меры Розенфельда-Троя зависит от уровня шума в изображении. Для уменьшения влияния шумов оценка была модифицирована введением ее нормировки на оценку текстурированности в блоке, обусловленную шумами:

Бм = Б (хк, У1 )/Атт, (4)

где

Dm

= moda {D(xk, yl)}, k = 1, K, l = 1, L, (5)

- мода распределения оценок текстуры, обусловленная шумами, причем К, Ь - количество блоков изображения в горизонтальном и вертикальном направлениях соответственно.

б

а

в

г

Таким образом, основными шагами получения количественной оценки текстурного признака являются:

- предварительная обработка изображений с целью подчеркивания высокочастотной энергии с помощью морфологического многомасштабного градиента (после применения медианного фильтра);

- разбивка изображения на квадратные блоки;

- определение оценки детальности (текстури-рованности) для каждого блока в соответствии с мерой Розенфельда-Троя (2);

- оценка Отт (5);

- определение модифицированной оценки детальности (4) для каждого блока анализируемого изображения.

На рис. 4, а, в представлены исследуемые изображения, для которых построены карты оценок детальности (рис. 4, б, г соответственно). Области светло-серого цвета на картах соответствуют областям изображения с низкими значениями оценок детальности, области белого цвета - блокам изображения с высокими оценками.

Для решения задачи бинарной классификации было использовано расстояние Махаланобиса,

предполагающее нахождение линейной комбинации переменных, которая наилучшим образом разделяет 2 класса [7]. Правило классификации формулируется следующим образом: новый объект принадлежит классу к, к которому он ближе в соответствии с расстоянием Махаланобиса:

ьк=(х - дГ-1 (х - н)т >

где х - вектор признаков; д - вектор средних значений признаков; X - ковариационная матрица;

"т"

- символ транспонирования.

Алгоритм бинарной классификации на основе текстурного признака включает в себя следующие шаги:

- оценку признака текстуры в изображениях обучающей выборки;

- обучение классификатора на основе текстурного признака и расстояния Махаланобиса;

- оценку признака текстуры для каждого блока анализируемого изображения;

- классификацию изображения на основе расстояния Махаланобиса и формирование степени

Р25

г: 15 ООО...20 ООО Р16 С10 000...15 000 Р13 "5000...10 000 Р10 ""10...5000

7 10 13 16 19 22 25 28

б

¿'"■¡■Н.г »■.ВИР'ЧШ.Ы

■МкЛС! я кииаа'.П-лв и я к

ЛпиВзщр- ■"! -1 ■

■ ■г л ■ : г, I "

" 1. ЛЯ

.Л1Н Н Р ■" !■■■ Ш

«!■■" ■ ЧГ Ч

ЛИП - '■■ЙвЁл.-Ч

.-•ЧНГЛ1'' ь -■'-НИ.

.■ -ъ Я Л .. ■■ ■

Р25

Р22

1 1

ь. 11:

■■ яр

1 4 7 10 13 16 19 22

г

Рис. 4

а

в

принадлежности фрагмента изображения к классу "текстурированная область":

P = А/ (А + Lnt),

где Lt, Lnt - расстояния Махаланобиса до класса "текстурированная область" и до класса "область без текстуры" соответственно.

Для формирования дифференциальной карты патологии использованы:

- результаты анализа флуоресцентных изображений - степени принадлежности анализируемого блока классам Norm, CNI и CIN Pnorm,

PCNI и PCIN;

- оценки эффекта ацетобелых и текстурных изменений в изображениях, полученных в белом свете, - степень соответствия блока эффекту аце-тобелого Pw (1);

- результаты классификации по текстурному признаку - степень соответствия фрагмента изображения выраженным текстурным изменениям по Махаланобису Pt.

Указанные оценки использованы для формирования степени выраженности патологии pt.

Проведенные исследования показали, что анализ флуоресцентых изображений обеспечивает очень высокую чувствительность при умеренной специфичности [4], [5]. Оценки Pnorm, PcNI и PcIN использовались в качестве основных при формировании степени выраженности патологии, а Pw и Pt - как дополнительная информация для улучшения характеристики специфичности.

В результате алгоритм определения степени патологии pt имеет следующий вид:

Padd = PW Pt;

if Pcin > 0.75 then Ppt = Pqn else

if Padd > 0.5 then

Ppt = Padd + PCIN " Padd PCIN

else Ppt = Padd PCIN.

Экспериментальное исследование. Для разработки и тестирования предложенного метода многопризнакового анализа проведены специальные клинические исследования на базе клиники Отта (Санкт-Петербург, Россия), а также ряда клиник Сеула (Южная Корея).

В исследовании принимали участие пациентки в возрасте старше 18 лет, не беременные, с положительным откликом Пап-теста или с выяв-

ленным вирусом HPV. Было получено письменное согласие всех участников.

Для получения изображений шейки матки в белом свете и флуоресцентных изображений при различном возбуждающем излучении разработан мультиспектральный цифровой кольпоскоп LuxCol со специальным программным обеспечением RSS-Colpo [7].

Для каждой пациентки, принимавшей участие в клиническом исследовании были получены:

• Набор изображений, сформированных прибором LuxCol: изображения в белом свете и флуоресцентные изображения, полученные при возбуждающих излучениях 360 и 390 нм. Все типы изображений получены до и после применения 6 %-го раствора уксусной кислоты.

• Результаты Пап-теста и вирусной диагностики, а также кольпоскопический диагноз, поставленный врачом.

• Изображение шейки с указанными врачом местами взятия биопсий и результаты их гистологического анализа.

Общее число пациентов, принявших участие в клиническом исследовании, - 151, среди них с установленным гистологически диагнозом CNI -89, с диагнозом CIN - 62.

На основе полученной информации создана специальная база данных по следующей методике: на всех изображениях, полученных с помощью прибора LuxCol, в специальном программном пакете проставлялись маркеры в соответствии с изображением, на котором врач указывал места взятия биопсий. Вокруг каждого маркера автоматически формировалась область с размерами 20 х 20 пикселов, в которой высчитывался вектор признаков, содержащих яркостно-цвето-вые и текстурные характеристики. Полученный вектор признаков и соответствующий ему диагноз заносились как единая запись в формируемую базу данных.

Полученная база данных использовалась для обучения классификаторов, формирования и проверки карт патологии.

Экспериментальное исследование метода состояло из получения и проверки корректности карт патологии для каждого пациента. Основные шаги методики проверки:

1. Из базы данных исключались записи, соответствующие изображению, для которого будет строиться карта патологии. По оставшимся записям проводилось обучение классификаторов.

2. На основе анализа флуоресцентных изображений и изображений, полученных в белом свете, строилась карта патологии.

3. Карта патологии проверялась на соответствие результатам биопсии. Если результаты классификации соответствовали результатам биопсии, то карта считалась корректной.

Шаги 1-3 повторялись для всех имеющихся изображений. На основании полученных данных определены оценки чувствительности и специфичности. Для границы СЫЗУСШ чувствительность составила 0.87, специфичность - 0.74. Это достаточно высокие значения, превышающие аналогичные характеристики для карт патологий, полученных только на основе анализа флуоресцентных изображений [4].

Получение достаточно высоких характеристик чувствительности и специфичности обусловлено, прежде всего, использованием совокупности признаков, найденных по изображениям различного типа. Приведенные значения чувствительности и специфичности получены на границе СМ/СШ (воспаление/онкология) - наиболее сложной границе при проведении диагностики, так как визуальные свойства тканей в этом случае очень близки.

Разработанный метод позволяет сформировать степень соответствия фрагмента изображения патологии, учитывая цветовые, яркостные и текстурные изменения, в отличие от традиционной бинарной классификации "норма/патология".

Сформированные оценки, представленные картой патологии, являются основой для постановки диагноза и имеют безусловную диагностическую ценность, что подтверждено клиническими испытаниями.

Дополнительно к сформированной карте патологии предложенные методы обработки позволяют врачу получить информацию об изменениях сосудов, используя возможность анализа специального изображения с подчеркнутыми сосудистыми структурами. Это повышает эффективность анализа сосудистых структур, а также дает возможность объединить результаты автоматического и визуального анализа. Такое объединение возможностей системы и опыта врача увеличивает чувствительность и специфичность диагностики в целом и позволяет сделать вывод о целесообразности и высокой эффективности применения разработанных методов в экспертно-консуль-тирующих системах (СБББ).

СПИСОК ЛИТЕРАТУРЫ

1. Han J., Kamber M. Data mining: concepts and techniques. 2nd. ed. San Francisco: Morgan Kaufmann, Elsevier Science, 2006. 137 p.

2. Breiman L. Random Forests // J. Machine Learning. 2001. Vol. 45, iss. 1. P. 5-32.

3. Meinshausen N. Quantile Regression Forest // J. Machine Learning Research. 2006. Vol. 7, iss. 6. P. 983-999.

4. Обухова Н. А., Мотыко А. А. Автоматический метод анализа мультиспектральных кольпоскопиче-ских изображений для телевизионной системы диагностики рака шейки матки // Изв. вузов России. Радиоэлектроника. 2015. Вып. 6. С. 24-33.

5. Обухова Н. А., Мотыко А. А. Автоматический анализ мультиспектральных изображений шейки матки с

N. A. Obukhova, A. A. Motyko Saint Petersburg Electrotechnical University "LETI"

Digital Image Processing in Clinical Decision Support System for the Cervix Differential Diagnosis

New methods of image processing and analysis for clinical decision support system of differential diagnosis of conditions of the cervix tissues are reviewed. The proposed method of colposcopic images processing allows to synthesize a special image that simulates the application to visualize vessels and to provide better analysis of vascular structures by the physician.

Multispectral Images Processing, Color Based Images Analysis, Texture Analysis, Medical Images Processing and Classification, Clinical Decision Support Systems

Статья поступила в редакцию 16 апреля 2016 г.

целью выявления онкологических изменений // Фотодинамическая терапия и фотодиагностика. Спец. вып. 2015. С. 775.

6. Xiong J. L., Wang J. Gu. Image Segmentation of the Acetowhite region in Cervix Images Based on Chromaticity // Proc. of 9 Intern. Conf. on Information Technology an Applications in Biomedicine (ITAB 2009), Larnaca, Cyprus, 5-7 Nov. 2009. P. 140-144.

7. Комплекс для флуоресцентной диагностики и фотодинамической терапии заболеваний шейки матки / Г. В. Папаян, Н. А. Обухова, А. А. Мотыко, В. Б. Бере-зин, Д. П. Плохих, С. А. Слободенок, U. Kang, S. J. Bae, D. S. Lee, M. W. Jung // Опт. журн. 2015. Т. 82, № 12. С. 47-59.