Цифровая обработка эндоскопических изображений для систем поддержки врачебных решений Текст научной статьи по специальности «Компьютерные и информационные науки»

nTV

Телевидение и обработка изображений

■о

DOI: 10.32603/1993-8985-2018-21-6-54-65 УДК 004.932.2

Н. А. Обухова, А. А. Мотыко, А. А. Поздеев

Санкт-Петербургский государственный электротехнический университет "ЛЭТИ" им. В. И. Ульянова (Ленина) ул. Профессора Попова, д. 5, Санкт-Петербург, 197376, Россия

цифровая обработка эндоскопических изображений для систем поддержки врачебных решений1

Аннотация. Эндоскопическое обследование занимает ведущее место в практической медицине. Современным направлением исследований, реализующим повышение эффективности эндоскопического осмотра, является разработка систем поддержки врачебных решений. Это системы нового типа, предполагающие интеграцию результатов автоматического анализа сигналов изображений с результатами, полученными врачом, а также использование информации, имеющейся в базе данных системы. Взаимодействие врача с системой позволяет обеспечить значительное повышение чувствительности и специфичности диагностики.

Цель проведенного исследования - создание новых автоматических методов цифровой обработки эндоскопических изображений, обеспечивающих их высокую эргономичность и возможность эффективного использования в системах поддержки врачебных решений. В рамках исследования предложены следующие методы: метод сегментации и удаления зеркальных бликов; метод компенсации радиальных и тангенциальных геометрических искажений, особенно выраженных при использовании широкоугольных объективов в эндоскопических камерах; метод формирования мозаичной панорамы из входного видеопотока в условиях низкой детальности исходных сюжетов; метод адаптивной коррекции яркости и контраста изображений, обеспечивающий одновременную успешную коррекцию как темных, так и светлых областей изображения (неравномерный контраст) без значительного подчеркивания шумовой составляющей, характерного для существующих методов нелинейного контрастирования; процедура цветокоррекции по критерию "комфортное восприятие", основанная на матрице линейных преобразований, учитывающая характеристики эндоскопических изображений и позволяющая настраивать цветовую палитру в соответствии с личными предпочтениями врача.

Рассмотренные методы успешно прошли тестирование на реальных эндоскопических изображениях в отделе инновационных медицинских приборов Корейского электротехнологического научно-исследовательского института. Результаты тестирования показывают их эффективность и целесообразность использования в системах поддержки врачебных решений.

Ключевые слова: эндоскопические изображения, системы поддержки принятия решений, удаление бликов, геометрические искажения, коррекция яркости и контраста, цветокоррекция

Для цитирования: Обухова Н. А., Мотыко А. А., Поздеев А. А. Цифровая обработка эндоскопических изображений для систем поддержки врачебных решений // Изв. вузов России. Радиоэлектроника. 2018. № 6. С. 54-65. СоП 10.32603/1993-8985-2018-21 -6-54-65

endoscopic images digital processing for clinical decision support systems

Abstract. The purpose of this research is to create new automatic methods for endoscopic image digital processing, ensuring their high ergonomics and the possibility of effective use in clinical decision support systems. ,4s the

Natalya A. Obukhova, Alexander A. Motyko, Alexander A. Pozdeev

Saint Petersburg Electrotechnical University "LETI" 5, Professor Popov Str., 197376, St. Petersburg, Russia

1 Работа выполнена при поддержке Российского фонда фундаментальных исследований, грант № 17-07-00045. 54 © Обухова Н. А., Мотыко А. А., Поздеев А. А., 2018

result of investigation, the following methods were proposed: the detection and removal of specular highlights; compensation of radial and tangential geometric distortions; the mosaic panorama creation from the input video stream with low level of detail; brightness and contrast enhancement, providing simultaneous successful correction of both dark and bright areas of the image (uneven contrast) without significant underlining of the noise component typical for the existing nonlinear contrasting methods, especially in low-detail image areas; custom color correction based on linear transformation matrix taking into account endoscopic image characteristics and making it possible to customize color palette according to the physician individual preferences. The methods considered were successfully tested on real endoscopic images at the department of innovative medical devices of the Korean Electrotechnological Research Institute. The test results demonstrate their effectiveness and applicability in clinical decision support systems.

Key words: endoscopic images, clinical decision support systems, highlights removal, geometric distortion, brightness and contrast enhancement, color correction

For citation: Obukhova N. A., Motyko A. A., Pozdeev A. A. Endoscopic Images Digital Processing for Clinical Decision Support Systems. Journal of the Russian Universities. Radioelectronics. 2018, no. 6, pp. 54-65. doi:10.32603/1993-8985-2018-21-6-54-65 (In Russian)

Введение. Ранняя диагностика патологических изменений значительно повышает эффективность их лечения, а также снижает затраты на его проведение. Необходимость повышения качества диагностики определяет одно из основных направлений современного развития медицинского оборудования - разработку и использование систем поддержки врачебных решений - clinical decision support system (CDSS). Это системы нового типа, предполагающие интеграцию результатов автоматического анализа сигналов изображений c результатами, полученными врачом, а также использование информации, имеющейся в базе данных системы. Взаимодействие врача с системой позволяет обеспечить значительное повышение чувствительности и специфичности диагностики.

Построение CDSS - современное инновационное направление развития медицинских видеосистем, важное место в котором занимает разработка новых методов визуализации и анализа медицинских изображений. Среди последних эндоскопические изображения представляют значимую часть, что определяет высокую практическую значимость повышения их эргономичности [1]-[3].

Современная эндоскопия играет важную роль в диагностике многих заболеваний. Одновременно с этим недостаточно высокое качество получаемых эндоскопических изображений, обусловленное сложными условиями их получения и спецификой объектов интереса, затрудняет их семантическую интерпретацию врачом и автоматический анализ.

К наиболее значимым особенностям медицинских эндоскопических изображений следует отнести выраженные деградации следующих видов:

- одновременное присутствие значительных по площади светлых и темных областей (неравномерный контраст);

- существенный смаз, обусловленный движением видеодатчика и мышечным дыханием органа;

- наличие зеркальных бликов;

- низкая четкость по краям растра, обусловленная сложной формой органов;

- узкий угол обзора;

- потеря информации о третьей координате.

Дополнительно при разработке методов должны быть учтены:

- необходимость сохранения всей семантически значимой информации, присутствующей в необработанном изображении, исключающая, например, удаление шумов сглаживающими или морфологическим фильтрами;

- особенности визуального восприятия врача-специалиста, сформированное его опытом работы в целом и опытом эксплуатации медицинского оборудования.

Постановка задачи. С учетом сформулированных особенностей и требований повышения качества диагностики необходимо разработать совокупность методов обработки эндоскопических изображений, направленных на повышение их качества. К основным методам автоматической обработки эндоскопических изображений относятся:

- сегментация зеркальных бликов и восстановление изображения в них;

- компенсация подушкообразных и тангенциальных геометрических искажений;

- формирование мозаичной панорамы;

- коррекция яркости и контраста одновременно с подчеркиванием краев;

- цветокоррекция с учетом цветовых предпочтений врача.

Сегментация и восстановление изображения в бликах. Наличие бликов на исходных эндоскопических изображениях является неблагоприятным фактором в задачах автоматического и

д

Рис. 1

визуального анализа и может привести к значительному ухудшению точности диагностики. Для устранения бликов требуется определить их местоположение (процедура построения карты бликов) и закрасить соответствующие области, используя информацию из окрестности каждого блика (процедура digital inpainting).

Иллюстрация результатов применения алгоритма сегментации бликов приведена на рис. 1. Обрабатываемое изображение преобразуют в полутоновое (а), затем проводят морфологическую операцию открытия (б) [4]. Важно отметить, что размер структурного элемента должен превышать размер блика для успешного выделения последнего. Для получения объектов "переднего плана" (в), к которым в том числе относятся блики, находят 56

абсолютную разность между полученным морфологическим препаратом и полутоновым изображением. Яркость бликов значительно отличается от яркости фона, что позволяет отделить их от объектов переднего плана с использованием пороговой бинаризации (г). Полученная маска определяет области изображения (д), которые восстанавливают с помощью процедуры инпайнтинга1 (рис. 2).

1 Инпайнтинг - это процесс восстановления утраченных или искаженных участков изображения. В последние годы инпайнтинг активно развивается благодаря своей востребованности в фотографии и кинематографии. С его помощью можно удалять текст и логотипы на изображениях или видео, а также пятна и царапины при восстановлении старых фильмов. При обработке эндоскопических изображений инпайнтинг применяют для восстановления областей изображения, соответствующих карте зеркальных бликов.

Рис. 2

Алгоритм последовательно замещает пиксели вдоль границы обрабатываемой области. Значение каждого пикселя I (р) в точке р определяется взвешенной суммой значений яркостей пикселей внутри его окрестности Бе (р) :

IСp )=

SqEBe(p)wCp,q)[1 Cq)+VZ(q)(p - q)]

E

qeBe (p )

w

^ q )

где q - точка, принадлежащая окрестности е точки p; w (p, q) - нормализованная весовая функция;

VI (q) - значение градиента яркости в точке q.

Пиксели, находящиеся на границе и в непосредственной близости от обрабатываемого элемента, должны в большей степени определять результат, поэтому им соответствует большее значение весовой функции. Процедуру замещения пикселей производят последовательно, причем выбор каждого последующего пикселя осуществляется с помощью метода FFM (Fast Marching Method) [5], [6], что гарантирует первоочередную обработку тех структурных элементов, которые расположены рядом с уже известными пикселями.

Компенсация геометрических искажений (дисторсии). Дисторсией в геометрической оптике называют отклонение от так называемой прямолинейной проекции [7]. Прямолинейная проекция означает, что все прямые линии сцены остаются прямыми в изображении. В результате дисторсии нарушается геометрическое подобие между геометрическим объектом и его изображением.

Эндоскопические камеры имеют максимально компактный дизайн и используются в условиях очень маленького расстояния между объективом и объектом съемки. Это обусловливает использование во многих приложениях для видеоэндоскопии камер с объективами, имеющими широкий угол обзора - вплоть до 130.. .170°.

x " x ]

y = R Y

z Z

Искажения в общем случае нерегулярны и зависят от большого числа внешних факторов. Для эндоскопических изображений наиболее характерны подушкообразная дисторсия, типичная для широкоугольных объективов ("рыбий глаз"), и тангенциальная дисторсия, возникающая в условиях, когда линза не идеально параллельна плоскости изображения.

Рассмотрим хорошо известную математическую модель проективной камеры [8]

+1,

где x, y, z и X, Y, Z - координаты точки в плоскости камеры и в пространстве; R - матрица поворота; t - вектор переноса.

Координаты пикселя после проецирования (u, v) могут быть найдены как

Г и = fx ( xlz ) + xc;

[v = fy (y/z ) + Уc,

где fx, fy - проекции фокусных расстояний;

xc, yc - координаты оптического центра (в идеальном случае совпадают с центром дисторсии).

Подушкообразная дисторсия есть частный случай радиальной, поэтому для ее коррекции можно использовать уравнения вида x' = x/z;

y ' = y/z;

x" = x' (l + k^r2 + k2 r4 + k3r6 );

y" = y'(l + kir2 + k2r4 + k3r6 ),

где x, y - координаты пикселя входного (искаженного) изображения; x", y" - координаты соответствующего пикселя в выходном (скорректированном) изображении; kl, k2 , k3 - коэффици-

енты радиальной дисторсии; r = \/x' + y '

Уравнения для коррекции тангенциальной дисторсии имеют следующий вид:

х" = X + [2 рхху + р2 (Г2 + 2 х2 )]; ^ у ' = у + [2 р2 ХУ + р1 (г 2 + 2 у2 )],

п п

где х , у - координаты соответствующего пикселя скорректированного изображения; X, у - координаты пикселя искаженного изображения; р1, р2 -коэффициенты тангенциальной дисторсии.

Рис. 3

соответствие координат характерных точек на каждом изображении этого набора.

Набор характерных точек является заранее известным шаблоном определенного размера, структуры и числа элементов. Для поиска соответствия применяется линейная фильтрация (поиск и обработка границ, пороговая фильтрация). Решение системы уравнений дает оценку коэффициентов выбранной модели геометрических искажений. Коэффициенты дисторсии конкретного объектива, найденные на этапе калибровки, впоследствии используются для обработки всех полученных с его помощью изображений.

На рис. 3 представлены результаты компенсации геометрических искажений для откалибро-ванной камеры эндоскопа. Для большей наглядности на изображения наложена черная сетка с прямоугольными ячейками.

Формирование панорамного изображения. Условия эксплуатации эндоскопических камер устанавливают жесткие требования к габаритам видеосистемы. По этой причине угол обзора видеодатчика недостаточен, что затрудняет визуальный и автоматический анализ полученных изображений. Указанная проблема может быть решена формированием мозаичной панорамы из входного видеопотока, полученного эндоскопической камерой.

Синтез панорам часто используется в задачах компьютерного зрения и робототехники. Ниже

Тогда итоговые координаты пикселя на изображении после проецирования

fu = fx (х' + х") + хс; [v = fy (у + /) + Ус-

Модель для объектива ("рыбий глаз"), которая обычно используется в эндоскопии, может несколько отличаться. Предполагается, что

0 = atan(r);

0d =0(1 + S102 +5204 +s306 +s408),

где 0 - угол падения луча; 0^ - угол падения луча на подвергнутом дисторсии изображении; si ... S4 - коэффициенты дисторсии.

В таком случае скорректированные координаты определяются следующим образом:

u = fx (—х+—у 1 + хс;

V r r )

v=fy ( ^у ] + ^ -

Дисторсия корректируется процедурой калибровки с использованием точечного соответствия - при этом важно правильно выбрать математическую модель искажений.

Для калибровки формируется набор изображений, который позволяет сформировать систему линейных алгебраических уравнений, используя

приведены основные шаги общепринятого алгоритма построения мозаичной панорамы:

1) обнаружение ключевых точек;

2) сопоставление ключевых точек и селекция сопоставленных пар;

3) идентификация коэффициентов матрицы трансформации;

4) сшивание изображений.

Для реализации первого шага обычно используют детекторы SURF, SIFT или аналогичные указанным [9]. Затем каждой найденной ключевой точке первого изображения ставят в соответствие одну из найденных точек на втором изображении. Соответствие блоков, включающих в себя окрестности ключевых точек, определяют корреляционными методами. Это позволяет найти пары ключевых точек, координаты которых используют для идентификации коэффициентов матрицы трансформации.

Наличие шума и угловые несоответствия на сшиваемых изображениях приводят к образованию ошибочно согласованных пар. Введение порога корреляционного соответствия снижает количество таких ошибок, но в то же время приводит к уменьшению числа сопоставленных пар ключевых точек и, как следствие, к снижению точности нахождения параметров геометрического преобразования.

Для медицинских изображений характерно наличие больших по площади низкодетальных однородных областей. Значимо низкое количе-ство найденных ключевых точек в таких областях приводит к большим ошибкам в полученных матричных коэффициентах.

Авторами предложен подход для формирования панорамы из входного видеопотока, учитывающий малое количество сопоставленных пар ключевых точек. Главной особенностью этого подхода введение степени надежности согласованных пар точек. В отличие от классической пороговой обработки, предложенный алгоритм позволяет использовать все найденные пары. Дополнительно предложена модификация метода RANSAC [10], использующая найденную степень надежности согласованных пар ключевых точек.

Для оценки степени надежности каждой пары связующих точек (p,, q,) рассчитывают меру поддержки

1

N

-У

N -1 fl

J=1

min

. Г Ax,- Aj 1 Ax,

Ax/

v J

f

+min

AL, Ay/

Ay/ y,

где ] Ф N - число пар сопоставленных ключевых точек; Дх- = ((■ - хд1); Ду = (■ - у);

Дху= ((- хч,у); дуу= ( - уч,] ); ((,■у<1- -координаты точки ■ из набора ключевых точек первого изображения Q; (хч у, уч у) - координаты

точки у из набора Q; (хр -, ур -) - координаты точки ■ из набора ключевых точек второго изображения Р; (хр у, ур у) - координаты точкиу из набора Р.

Из полного набора согласованных пар Р^> формируется новый набор Р0>ОрЬ включающий в себя

пары с мерой поддержки е- = [0.9...1], которым присваивается значение степени надежности Яё = 1. Для каждой пары связующих точек (PQ - PQ0pt )

рассчитывается новое значение е- с использованием набора PQ0pt. Величина степени надежности пар (PQ - PQ0pt) принимается равной новому значению меры поддержки: Яё = е-.

Целью алгоритма RANSAC служит идентификация коэффициентов геометрического преобразования. В данном исследовании используется перспективная трансформация (гомография):

" ¡ц ¡12 ¡13 ' Г x 1

f y = ¡21 ¡22 ¡23 y

1 J _ ¡31 h32 h33 _ V1J

где х, у, 1 их, у, 1 - координаты соответствующих точек на изображениях (одно изображение -опорное, другое - подлежит трансформации); {Ьц, ..., } - коэффициенты матрицы трансформации.

Шаги предложенного алгоритма RANSAC: 1. Случайным образом выбирается 5 точек из найденного набора, по которым рассчитывают параметры преобразования Т и ошибку трансформации Е:

к1 Ь2 кз

Т = ¡21 ¡22 ¡23 ¡31 ¡32 ¡33

Г x'1 ¡11 ¡¡12 ¡13 Г x 1

Ej = y - h21 ¡22 ¡23 y

V1 j _ ¡31 ¡32 ¡33 _ V1J

2. Для текущего Т высчитывают число пар Р опорных точек (для которых ошибка трансформации не превосходит 3 пикселя), а также определяют среднюю оценку степени надежности:

Р

Б = 1/ Р X 4.

3. Этапы 1 и 2 повторяются К раз (К > 1000).

4. Составляются два ранжированных по убыванию (Р и Б соответственно) списка гипотез.

5. Выбирается гипотеза, имеющая наименьшую сумму номеров места в обоих списках.

6. Для выбранной гипотезы на основе опорных точек рассчитываются параметры преобразования.

7. Выбросы удаляются. Итерации проводятся до тех пор, пока все выбросы не будут исключены.

Предложенный метод позволяет формировать панорамы из низкодетальных изображений, не имеющих большого количества ключевых точек для согласования (рис. 4).

Коррекция яркости и контраста. Коррекция контраста эндоскопических изображений позволяет значительно повысить эффективность визуального и автоматического анализа и представляет одну из важнейших частей процесса предобработки.

Методы коррекции контраста можно разделить на глобальные и локальные. Глобальные методы используют одну функцию трансформации яркости для всех элементов изображения. Локальные методы применяют для каждого элемента изображения

свою функцию преобразования яркости. Ее вид определяют на основе анализа окрестности, сформированной вокруг корректируемого элемента изображения. Учитывая основные особенности полученных эндоскопом изображений, а именно высокую вероятность одновременного присутствия светлых и темных областей, применение глобальных методов коррекции малоэффективно.

В рамках проводимого авторами исследования [11] было рассмотрено применение нелинейных гло -бальных методов - метода многомасштабного контрастирования [12], метода адаптивного нелинейного контрастирования (АШБАМБ) [13] и адаптивного метода повышения качества цветных изображений (ЬТБКЕ) [14], а также проведен анализ результатов контрастирования применительно к изображениям с выраженной неравномерностью контраста.

Все перечисленные методы основаны на учете локальных особенностей фрагментов изображения и использовании различных функций нелинейного преобразования яркости для каждого пикселя или области изображения.

Метод многомасштабного контрастирования основан на применении двух отличных друг от друга нелинейных функций трансформации в зависимости от знака разности между яркостью обрабатываемого пикселя и усредненной яркостью его окрестности. Последующее усреднение по трем разным масштабам окрестности учитывает особенности обрабатываемого изображения в различных спектральных диапазонах.

Ключевая особенность двух адаптивных методов - одновременная коррекция яркостной характеристики и повышение контрастности. Методы близки между собой (строго говоря, ЬТБКБ является развитием АШБАКБ) и имеют различие только на первом шаге - коррекции яркостной характеристики. В методе АШБАКБ этот шаг основан на использовании глобальной информации об изображении, в ЬТБКБ - на анализе каждого фрагмента изображения, что позволяет реализовать адаптивную коррекцию яркости. На этапе контрастирования оба метода используют локальную информацию и дают возможность применять различные функции трансформации к каждому элементу изображения:

5(х,у) = 2551е (х,у)Е(х,у);

E (^ У ) = г (^ у )К =

1м(x, У)

к

I (х, У)

где 5 (х, у) - яркость пикселя после контрастирования; 1е (х, у) - нормированная яркость пикселя в изображении (после коррекции яркостной характеристики); г (х, у) - отношение значений

яркости 1М (х, у) и I (х, у) ; 1М (х, у) - яркость фрагмента изображения после применения фильтра Гаусса; I (х, у) - яркость пикселя в исходном

изображении; К - параметр, регулирующий глубину коррекции контраста.

Для изображений с умеренными деградациями метод многомасштабного контрастирования обеспечивает достаточно высокое качество коррекции, и получаемые в результате изображения имеют высокий уровень эргономичности. Для выраженно сложных случаев, например для изображений с очень темными и очень светлыми участками одновременно, метод неэффективен. В подобных случаях оправдано применение метода ЬТБКБ, который, как и АШБАКБ, позволяет скорректировать яркость, но, в отличие от последнего, обеспечивает более выраженный локальный контраст.

Однако одновременно с повышением контраста метод значительно подчеркивает шумовую составляющую, особенно на участках изображения с низкой детальностью. Для решения этой проблемы при проведении коррекции контраста было предложено максимально учитывать локальные особенности изображения на основе найденной функциональной зависимости между глубиной коррекции к и нормированной дисперсией яркости во фрагменте изображения [15]. Результат применения метода с адаптивной глубиной коррекции контраста представлен на рис. 5.

Важно подчеркнуть, что оба метода - и метод многомасштабного контрастирования, и метод с адаптивной глубиной коррекции, используют информацию о фрагменте изображения и на этой основе реализуют нелинейное усиление контраста, поэтому одновременно с усилением контраста увеличивается и резкость изображения.

Автоматическая коррекция цвета. Цветокоррекция по критерию комфортности восприятия врача играет важную роль в повышении визуальной эрго-номичности эндоскопических изображений. В этом случае преобразование цветовых пространств должно осуществляться автоматически в соответствии с личными предпочтениями врача.

Метод матричной цветокоррекции основан на пересчете цветовых пространств с помощью матрицы линейного преобразования. Данная матрица позволяет любую координату цвета (например, координату Я) в корректируемом изображении рассчитать как линейную комбинацию цветовых координат опорного изображения. Матрица включает 9 или 12 коэффициентов, оценка которых выполняется с помощью итерационного метода наименьших квадратов [16]—[18].

Матричная цветокоррекция предполагает, что тестовое изображение О, сформированное с учетом предпочтений пользователя, принимают как опорное и реализуют пересчет координат цветов на формируемом камерой изображении Р так, чтобы их отличие от цветов опорного изображения было минимально. Пусть О = (ORi, О&, Ов-) и Р = (Рш, Р0-, Рв-) -

RGB-координаты /-го цвета изображений О и Р соответственно. В таком случае скорректированное значение цветов О- можно получить с помощью матрицы линейного преобразования, состоящую из 9 коэффициентов:

О; « О; = PiÄ9;

a1 a2 a3 Ä9 = ßl ß2 ß3 _Y1 Y2 Y3

a1 + ß1 + Yl =1; a 2 + ß 2 + Y 2 = 1; a3 + ß3 + Y3 = 1

Для определения параметров аг-, Рг-, уi необходимо минимизировать функцию ошибки, основанную на расстоянии между цветами опорного и формируемого изображений: Func_Err =

= -[Pi + a2 ((-Pi) + a3 ((-Pu) + i

+ ^Gi - [pG + Pi (( - PGi ) + Р3 ((i - PGi ) +

+ OBi - [PB + Yl ((R' - Pb ) + Y2 (( - Pi )), (1)

где N - количество цветов, по которым осуществляется калибровка.

Минимизация функции ошибки позволяет определить коэффициенты аз, Р1, Рз, У2, а коэффициенты а1, Р2, Уз могут быть найдены из условия (1) сохранения баланса белого.

Учет яркостных смещений между опорным и калибруемым изображениями может быть реализован расширением числа коэффициентов в матрице линейного преобразования до 12 коэффициентов и введением в вектор RGB-координат калибруемых цветов четвертой компоненты, равной единице. В этом случае преобразование цветовых пространств может быть представлено в матричной форме:

О « О = [1Р]42,

где О — матрица RGB-координат цветов опорного изображения; О - матрица RGB-координат цветов изображения Р после пересчета; Р - матрица RGB-координат цветов формируемого изображения; ^12 - матрица линейного преобразования.

Если количество независимых цветовых координат в опорном изображении превышает 12, то для идентификации коэффициентов матрицы Л12, можно использовать метод наименьших квадратов:

Ä12 =

([1P]T [1P])"1 [1Р]т О.

Матричная цветокоррекция использует специальный тестовый набор цветов (как правило, стандартные цвета цветовых мишеней (Color Checker)), а коэффициенты коррекции определяются на основе разницы между RGB-координатами исходных цветов из тестового набора (опорного изображения) и реальных цветов из тестового набора, полученного с помощью камеры.

Для эндоскопических изображений актуальна так называемая пользовательская цветокоррекция. Этот вид цветокоррекции означает, что в скорректированных изображениях должны быть учтены предпочтения врача, например красный цвет не должен быть чисто красным. Он должен иметь некоторый оттенок желтого. Согласно данным "Olympus", требуется показать специалисту не красноватый, но желтоватый объект исследования [19]. Для решения сформулированной задачи был разработан набор специальных цветовых мишеней с изменениями в красных, темно-красных, желтых, красно-желтых и оранжевых цветах [20]. Это дало возможность сформировать набор предварительных настроек цветовой гаммы и обеспечить врачу воз-

можность выбора режима, соответствующего его представлению о комфортном наблюдении.

Заключение. Описанные в статье алгоритмы применимы в системах поддержки принятия решений, основанных на обработке эндоскопических изображений. Обработка осуществляется в автоматическом режиме, требует минимальной настройки со стороны врача и обеспечивает повышение как визуального качества изображений, так и эффективность обработки методами автоматического анализа с целью повышения качества медицинской диагностики. Программная реализация предложенных методов позволяет обрабатывать эндоскопическое видео с разрешением 4К в режиме реального времени со скоростью около 30 кадров в секунду.

Наше исследование показало, что РБКЯ изображения, обработанного ЬТБКБ и АШБАКБ, падает с 40 до 25 дБ на низкодетальных фрагментах изображения. Разработанный метод обеспечивает РБКЯ 35...38 дБ на тех же фрагментах обрабатываемых изображений.

Для шага коррекции цвета мы предложили специальную процедуру пользовательской коррекции цвета, которая учитывает характеристики эндоскопических изображений и обеспечивает хорошую точность: среднее значение ошибки составляет 3.9 для цвета (менее 1.33 для каждой цветовой координаты (0.5 %)) и максимальное значение ошибки для одного цвета меньше 5.2.

Предложенный метод синтеза "мозаики" дает возможность получать панорамные изображения в условиях медицинских изображений с низкой детальностью со средней ошибкой сшивания менее 0.75 пикселей.

Рассмотренные методы обработки получили апробацию в рамках испытаний прототипа эндоскопической системы (гастроэнтероскопия), проводимой отделом медицинских приборов Корейского электротехнологического научно-исследовательского института.

СПИСОК ЛИТЕРАТУРЫ

1. Liedlgruber M., Uhl A. Computer-aided decision support systems for endoscopy in the gastrointestinal tract: A Review // IEEE Rev. in Biomed. Engin. 2011. Vol. 4. P. 73-88.

2. MGnzer B., Schoeffmann K., Boszormenyi L. Content-based proc. and analysis of endoscopic images and videos: A survey // Multimedia Tools and Applications. 2018. Vol. 77(1). P. 1323-1362.

3. Obukhova N., Motyko А. Image analysis in clinical decision support system // Computer Vision in Control Systems. Springer, 2017. P. 261-299.

4. Serra J., Salembier P. Mathematical morphology and its applications to image processing. Dordrecht, Netherlands: Kluwer Academic Publishers, 1994. 368 p.

5. Shih T., Chang R. C. Digital inpainting - survey and multilayer image inpainting algorithms // Proc. of the Third Int'l Conf. on Information Technology and Applications (ICITA 2005), Sydney, Australia, 4-7 July 2005. Pisca-taway: IEEE, 2005. P. 15-24.

6. Sethian J. A fast marching level set method for monotonically advancing fronts // Proc. of the Natl. Acad. Sci., Washington, 20 Feb. 1996. P. 1591-1595.

7. Walree P. Distortion. URL: https://web.archive.org/ web/20160420093927/http://toothwalker.org:80/optics/ distortion.html (дата обращения 20.12.2018).

8. Hsu C. H., Miaou S. G., Chang F. L. A distortion correction method for endoscope images based on calibration patterns and a simple mathematic model for optical lens // Biomed. Engin. Appl., Basis & Communications. 2005. Vol. 17. P. 309-318.

9. Harris C., Stephens M. A Combined corner and edge detector // Proc. of the 4th Alvey Vision Conf., Manchester, UK. 1988. P. 147-151.

10. Hartley R., Zisserman A. Multiple view geometry in computer vision. cambridge university press, 2003. 561 p.

11. Obukhova N., Motyko А., Pozdeev A. Modern methods and algorithms in digital processing of endoscopic images // Proc. of Conf. of Open Innovations Association FRUCT and ISPIT, Helsinki, Finland, 6-10 Nov. 2017. Piscataway: IEEE, 2017. P. 260-267.

12. Vonikakis V., Andreadis I. Multi-scale image contrast enhancement // Proc. of the 10th Intl. Conf. on Control, Automation, Robotics and Vision. Hanoi, Vietnam, 17-20 Dec. 2008. Piscataway: IEEE, 2008. P. 856-861.

13. Tao L., Asari K. V. An adaptive and integrated neighborhood dependent approach for nonlinear enhancement of color images // SPIE J. of Electronic Imaging. 2005. Vol. 14(4). P. 1-14.

14. Arigela S., Asari V. A Locally tuned nonlinear technique for color image enhancement // WSEAS Trans. Signal Process. 2008. Vol. 4(8). P. 514-519.

15. Обухова Н. А., Поздеев А. А. Метод нелинейного контрастирования медицинских изображений // Сб. докл. 19-й Междунар. конф. "Цифровая обработка сигналов и ее применение DSPA-2017", Москва, 29-31 марта 2017. М., 2017. С. 521-524.

16. A new image calibration technique for colpo-scopic images. Medical imaging 2006: Image Processing / W. Li, M. S. Tompson, Y. Xiong, H. Lange; ed. by J. M. Reinhardt, J. P. W. Pluim // Proc. of SPIE. 2006. Vol. 6144, P. 227-239.

17. Pat. US 8027533 B2, Method of Automated Image Color Calibration, 2008.

18. Wolf S. color correction matrix for digital still and video imaging systems. Washington: National Telecommunications and Information Administration, 2003. 20 p.

19. Trust the colors with olympus true color LED. URL: https://www.olympus-lifescience.com/en/resour-ces/white-papers/true-color-led (дата обращения 20.12.2018).

20. Обухова Н. А., Мотыко А. А. Процедура калибровки по цвету для мультиспектральной ТВ системы диагностики онкологических изменений шейки мат-

Статья поступила в редакцию 19 октября 2018 г.

ки // Вопр. радиоэлектроники. Сер.: Техника телевидения. 2015. Вып. 4. C. 149-153.

Обухова Наталья Александровна - доктор технических наук (2009), профессор (2004) кафедры телевидения и видеотехники Санкт-Петербургского государственного электротехнического университета "ЛЭТИ" им. В. И. Ульянова (Ленина). Автор более 70 научных работ. Сфера научных интересов - цифровая обработка изображений; прикладные телевизионные системы. E-mail: natalial72419@yandex.ru

Мотыко Александр Александрович - кандидат технических наук (2012), ассистент кафедры телевидения и видеотехники Санкт-Петербургского государственного электротехнического университета "ЛЭТИ" им. В. И. Ульянова (Ленина). Автор более 30 научных работ. Сфера научных интересов - цифровая обработка изображений; прикладные телевизионные системы. E-mail: motyko.alexandr@yandex.ru

Поздеев Александр Анатольевич - аспирант, ассистент кафедры телевидения и видеотехники Санкт-Петербургского государственного электротехнического университета "ЛЭТИ" им. В. И. Ульянова (Ленина). Автор более 10 научных работ. Сфера научных интересов - цифровая обработка изображений; прикладные телевизионные системы. E-mail: puches4@gmail.com

REFERENCES

1. Liedlgruber M., Uhl A. Computer-Aided Decision Support Systems for Endoscopy in the Gastrointestinal Tract: A Review. IEEE Reviews in Biomedical Engineering. 2011, vol. 4, pp. 73-88.

2. Munzer B., Schoeffmann K., Boszormenyi L. Content-Based Processing and Analysis of Endoscopic Images and Videos: A survey. Multimedia Tools and Applications. 2018, vol. 77(1), pp. 1323-1362.

3. Obukhova N., Motyko А. Image Analysis in Clinical Decision Support System. Computer Vision in Control Systems. Springer, 2017, pp. 261-299.

4. Serra J., Salembier P. Mathematical Morphology and Its Applications to Image Processing. Dordrecht, Netherlands: Kluwer Academic Publishers, 1994, 368 p.

5. Shih T., Chang R. C. Digital Inpainting - Survey and Multilayer Image Inpainting Algorithms. Proc of the Third Int'l Conf. on Information Technology and Applications (ICITA 2005), Sydney, Australia, 4-7 July 2005. Piscataway: IEEE, 2005, pp. 15-24.

6. Sethian J. A Fast Marching Level Set Method for Monotonically Advancing Fronts. Proc. of the Natl. Acad. Sci., Washington, 20 Feb. 1996, pp.1591-1595.

7. Walree P. Distortion. Available at: https://web. archive.org/web/20160420093927/http://toothwalker. org:80/optics/distortion.html (accessed 20.12.2018)

8. Hsu C. H., Miaou S. G., Chang F. L. A Distortion Correction Method for Endoscope Images Based on Calibration Patterns and a Simple Mathematic Model for Optical Lens. Biomedical Engineering Applications, Basis & Communications. 2005, vol. 17, pp. 309-318.

9. Harris C., Stephens M. A Combined Corner and Edge Detector. Proc. of the 4th Alvey Vision Conference, Manchester, UK, 1988, pp. 147-151.

10. Hartley R., Zisserman A. Multiple View Geometry in Computer Vision. Cambridge University Press, 2003, 561 p.

11. Obukhova N., Motyko А., Pozdeev A. Modern Methods and Algorithms in Digital Processing of Endo-scopic Images. Proc. of Conference of Open Innovations

Association FRUCT and ISPIT, Helsinki, Finland, 6-10 Nov. 2017. Piscataway, IEEE, 2017, pp. 260-267.

12.Vonikakis V., Andreadis I. Multi-Scale Image Contrast Enhancement. Proc. of the 10th Intl. Conf. on Control, Automation, Robotics and Vision. Hanoi, Vietnam, 17-20 Dec. 2008. Piscataway: IEEE, 2008, pp. 856-861.

13. Tao L., Asari K. V. An Adaptive and Integrated Neighborhood Dependent Approach for Nonlinear Enhancement of Color Images. SPIE Journal of Electronic Imaging. 2005, vol. 14(4), pp. 1-14.

14. Arigela S., Asari V. A Locally Tuned Nonlinear Technique for Color Image Enhancement. WSEAS Trans. Signal Process. 2008, vol. 4(8), pp. 514-519.

15. Obukhova N. A., Pozdeev A. A. Metod nelineinogo kontrastirovaniya meditsinskikh izobrazhenii [Nonlinear Contrast Method for Medical Images]. Sbornik dokl. 19-i Mezhdunarodnoi konferentsii "Tsifrovaya obrabotka signal-ov i ee primenenie DSPA-2017" [Proc. of 19th International Conference "Digital Signal Processing and Its Application DSPA-2017"]. 2017, pp 521-524. (In Russian)

16. Li W., Tompson M. S., Xiong Y., Lange H. A New Image Calibration Technique for Colposcopic Images. Medical Imaging 2006: Image Processing. Ed. by Joseph M. Reinhardt, Josien P. W. Pluim. Proc. of SPIE. 2006. Vol. 6144, pp. 227-239.

17. Patent US 8027533 B2, Method of Automated Image Color Calibration, 2008.

18. Wolf S. Color Correction Matrix for Digital Still and Video Imaging Systems. Washington: National Telecommunications and Information Administration, 2003, 20 p.

19. Trust the Colors with Olympus True Color LED. Available at: https://www.olympus-lifescience.com/en/ resources/white-papers/true-color-led (accessed 20.12.2018).

20. Obukhova N.A., Motyko A.A. Color Calibration Procedure for Multispectral TV System for Diagnosing Cervix Uterus Oncological Changes. Voprosy radioelektroniki. Seriya: Tekhnika televideniya [Questions Radio Electronics. Television Equipment]. 2015, vol. 4, pp. 149-153. (In Russian)

Received October, 19, 2018

Natalia A. Obukhova - D.Sc. in Engineering (2009), Professor (2004) of the Department of Television and Video Equipment of Saint-Petersburg Electrotechnical University "LETI". The author of more than 70 scientific publications. Area of expertise: digital image processing; applied television systems. E-mail: natalia172419@yandex.ru

Alexander A. Motyko - Ph.D. in Engineering (2012), Associate Professor of the Department of Television and Video Equipment of Saint-Petersburg Electrotechnical University "LETI". The author of more than 30 scientific publications. Area of expertise: digital image processing; applied television systems. E-mail: motyko.alexandr@yandex.ru

Alexander A. Pozdeev - Postgraduate Student, Assistant of the Department of Television and Video Equipment of Saint-Petersburg Electrotechnical University "LETI". The author of 10 scientific publications. Area of expertise: digital image processing; applied television systems. E-mail: puches4@gmail.com