CC BY
77Телевидение и обработка изображений
Television and image processing
о
https://doi.org/10.32603/1993-8985-2018-22-2-22-30 УДК 004.932.2
Н. А. Обухова, А. А. Мотыкош, А. А. Поздеев
Санкт-Петербургский государственный электротехнический университет "ЛЭТИ" им. В. И. Ульянова (Ленина) ул. Профессора Попова, д. 5, Санкт-Петербург, 197376, Россия
исследование и разработка методов улучшения эндоскопических (медицинских) изображений
Введение. Современные технологии виртуальной хромоэндоскопии призваны существенно повысить диагностическую ценность предъявляемых врачу изображений. Анализ существующих технологий показывает, что имеющиеся решения не лишены значительных недостатков. Одни требуют для работы проведения сложной предварительной аппаратной калибровки, другие используют глобальные преобразования, не позволяющие учесть локальные особенности тканей, и т. д. В целом сейчас не существует технологии виртуальной хромоэндоскопии, устраивающей большинство потенциальных пользователей - врачей, а следовательно, есть поле для исследования.
Цель работы. Разработка метода для виртуальной хромоэндоскопии с учетом недостатков, выявленных у аналогов в результате анализа.
Методы и материалы. Для проведения исследований были использованы открытые базы данных эндоскопических изображений, с помощью которых в результате моделирования и эксперимента были оценены качественные характеристики предложенного метода.
Результаты. Новый метод виртуальной хромоэндоскопии, главная особенность которого - использование нелинейных локальных функций трансформации при преобразовании RGB-каналов, а также отсутствие процедуры калибровки для получения эффекта виртуальной хромоэндоскопии. Предложенный метод полностью основан на технологии цифровой обработки изображений, включает коррекцию яркости изображения, обеспечивающую возможность получения необходимой визуальной информации как из очень темных, так и из переэкспонированных фрагментов; повышение резкости изображения, подчеркивающее мелкие детали и сосуды.
Заключение. Экспертная оценка полученных результатов показывает, что визуальный эффект предложенного метода соответствует, а в отдельных случаях и превосходит визуальный эффект проприетарных технологий виртуальной эндоскопии I-Scan и FICE.
Ключевые слова: виртуальная хромоэндоскопия, цифровая обработка медицинских изображений, нелинейное контрастирование
Для цитирования: Обухова Н. А., Мотыко А. А., Поздеев А. А. Исследование и разработка методов улучшения эндоскопических (медицинских) изображений // Изв. вузов России. Радиоэлектроника. 2019. Т. 22, № 2. С. 22-30. doi: 10.32603/1993-8985-2018-22-2-22-30
Источник финансирования. Работа выполнена при поддержке Российского фонда фундаментальных исследований, грант № 17-07-00045.
Конфликт интересов. Авторы заявляют об отсутствии конфликта интересов.
Статья поступила в редакцию 27.02.2019; статья принята к публикации 18.03.2019; опубликована онлайн 24.04.2019
Аннотация
© Обухова Н. А., Мотыко А. А., Поздеев А. А., 2019
Контент доступен по лицензии Creative Commons Attribution 4.0 License This work is licensed under a Creative Commons Attribution 4.0 License
Natalya A. Obukhova, Alexander A. MotykoM, Alexander A. Pozdeev
Saint Petersburg Electrotechnical University "LETI" 5, Professor Popov Str., 197376, St. Petersburg, Russia
research and development of methods for endoscopic (medical) images enhancement
Abstract
Introduction. The modern technologies of virtual chromoendoscopy provide significant increase of diagnostic value of images considered by a doctor. The analysis of existing technologies shows that the existing solutions have significant disadvantages. Some of them require a complex preliminary calibration of the equipment for operation. Others use global transformations, making impossible consideration of local tissues characteristics and so on. In general, nowadays the technology of virtual chromoendoscopy, which suits the majority of potential users - doctors, does not exists, and, therefore, there it is a field for research.
Objective. Development of the method for virtual chromoendoscopy, with regard to disadvantages identified within the frames of carried out analysis of similar methods.
Methods and materials. For implementation of the research were used open endoscopic image data-bases, by the instrumentality of which, as a result of modeling and experiment, were evaluated quality characteris-tics of the proposed method.
Results. The new method of virtual chromoendoscopy. The main feature of the method is usage of nonlinear local transformation functions in transformation of RGB channels, as well as absence of calibration procedure for obtaining the effect of virtual chromoendoscopy. The proposed method is completely based on the technology of digital image processing and includes image brightness correction, which provides the possibility to obtain the necessary visual information both from very dark and overexposed fragments; image sharpening, contrasting small details and vessels. Conclusion. The expert assessment of the obtained results shows that the visual effect of the proposed method corresponds, or in some cases, exceeds the visual effect of proprietary technologies of virtual endoscopy I-Scan and FICE.
Key words: Virtual chromoendoscopy, digital medical image processing, nonlinear contrast enhancing
For citation: Obukhova N. A., Motyko A. A., Pozdeev A. A. Research and Development of Methods for Endoscopic (Medical) Images Enhancement. Journal of the Russian Universities. Radioelectronics. 2019, vol. 22, no. 2, pp. 22-30. doi: 10.32603/1993-8985-2018-22-2-22-30 (In Russ.)
Source of financing. This work was supported by the Russian Foundation for Basic Research, grant № 17-07-00045.
Conflict of interest. Authors declare no conflict of interest.
Received 27.02.2019; accepted 18.03.2019; published online 24.04.2019
Введение. Современные эндоскопы играют доскопию на основе применений красящих рас-
значительную роль в диагностике заболеваний творов и электронную хромоэндоскопию.
желудочно-кишечного тракта (ЖКТ). Хромоэндоскопия на основе применения кра-
Необходимость обеспечить высокую точ- сящих растворов - это технология, состоящая в
ность дифференцирования злокачественных но- нанесении посредством распыления безвредных
вообразований и проявлений воспалительных для человека красителей на интересующую по-
процессов при эндоскопическом обследовании верхность слизистой. Нанесение красителя улуч-
стимулирует разработку на базе современных шает визуализацию микроструктуры и сосуди-
оптических и цифровых технологий новых ти- стых образований обследуемой ткани.
пов эндоскопических систем с изображениями Для реализации такой технологии необходим
улучшенного качества (Image-Enhanced Endos- только аэрозольный катетер, обеспечивающий
copy - IEE) [1], [2]. IEE обеспечивает более вы- относительно простой и экономичный способ
сокую специфичность оценки морфологии по- нанесения красителя. Несмотря на эти преиму-
ражения подчеркиванием микроструктуры сли- щества, применение хромоэндоскопии на основе
зистой оболочки и капилляров. растворов для программ скрининга остается
К ведущей технологии направления IEE отно- ограниченным из-за отсутствия стандартизиро-
сится хромоэндоскопия, включающая хромоэн- ванных методов проведения исследований и ме-
23
Телевидение и обработка изображений
Television and image processing
тодик анализа полученных изображений. Последнее приводит к неопределенности при идентификации пораженной ткани.
Электронная хромоэндоскопия реализует повышение диагностической ценности медицинских изображений за счет подчеркивания цветом особенностей анализируемых тканей, слизистых или сосудов на основе оптических и цифровых технологий. Сегодня электронную хромоэндоскопию реализуют аппаратно формированием изображений в узкоспектральных диапазонах (Narrow Band Imaging - NBI) [3] и автофлуоресцентных изображений (Auto Fluorescence Imaging - AFI) [4].
Технология NBI разработана компанией "Olympus". В аппаратуре "Olympus" для освещения используется подсветка с длиной волны 415 ± 15 нм и 540 ± 15 нм. Выбор длины волны обусловлен спектром поглощения содержащегося в крови гемоглобина, за счет чего сосуды приобретают темный цвет на фоне светлой окружающей ткани.
Технология AFI основана на обнаружении естественной флуоресценции тканей, обусловленной присутствием в них эндогенных флуорофоров. После возбуждения коротковолновым источником света флуорофоры излучают свет с большей длиной волны, обусловливая различия в автофлуоресцентных спектрах нормальных и пораженных тканей.
Применение оптических фильтров, необходимых для реализации указанных технологий, увеличивает сложность аппаратного обеспечения и энергопотребление эндоскопической системы [5]. Альтернативным направлением является постобработка изображений, полученных в белом свете, с целью моделирования цифровыми методами оптических фильтров - виртуальная хромоэндоскопия.
Наиболее известными технологиями виртуальной хромоэндоскопии являются: FICE (фирма Fuji) [6]; i-scan (фирма PENTAX) [7], [8]; SPIES SPECTRA (фирма STOLZ) [9] и tri-scan [10].
Принцип действия технологии FICE основан на реконструкции изображения с заданной длиной волны из значений RGB-координат, полученных сенсором в белом свете. Синтез восстановленного изображения осуществляется с помощью матрицы линейного преобразования цветовых пространств. FICE может создавать 300 типов спектральных изображений с пятью различными яркостями и с 60 различными длинами волн в диапазоне видимого света от 400 до 695 нм с шагом 5 нм. Основой этой технологии является сложная процедура калибровки с использованием
спектрометра. Цель процедуры калибровки -идентификация коэффициентов матриц преобразования цветовых пространств.
В технологии i-scan используется трехшаговая процедура повышения качества формируемого изображения: подчеркивание неоднородности поверхности (Surface Enhancement - SE), усиление контраста (Contrast Enhancement - CE) и выделение цветовым тоном (Tone Enhancement - TE). В режиме SE изменяются яркости пикселов на границах объектов. CE усиливает синюю компоненту цвета в темных фрагментах эндоскопического изображения для подчеркивания тонких сосудов и неоднородности слизистой оболочки. В режиме TE полученное в белом свете RGB-изображение раскладывается на отдельные R-, G- и B-каналы. Каждый канал модифицируется с помощью нелинейного глобального преобразования, заданного тональными кривыми, после чего реконструируется трехкомпонентное изображение.
Аналогично i-scan, технология tri-scan включает 3 шага: улучшение визуального качества отображения поверхности ткани (Tissue And Surface Enhancement - TSE), улучшение отображения слоя слизистой оболочки (Mucosa Layer Enhancement - MLE) и тоновую коррекцию (Color Tone Enhancement - CTE). Шаг TSE использует модифицированный алгоритм линейного нерезкого маскирования, на шаге MLE преобразуют R-канал с использованием сигмоидной функции. На шаге CTE значения интенсивностей пикселов в каждом канале распределяют равномерно для увеличения цветового контраста.
Известная компания в области телевизионных эндоскопических систем Karl Storz разработала программно-аппаратный комплекс IMAGE1 S 4U, включающий элементы виртуальной хромоэндоскопии [11]. Входящие в комплекс технологии CLARA и CHROMA служат для выравнивания освещенности и повышения контраста изображений. В технологии SPIES SPECTRA B для повышения цветового контраста применяется сдвиг цветового тона.
Анализ существующих в настоящий момент технологий виртуальной хромоэндоскопии показывает следующее:
- в технологиях i-scan, tri-scan и SPIES SPECTRA B используют глобальные преобразования, что не позволяет учитывать особенности каждого фрагмента изображения;
- в технологиях FICE и SPIES SPECTRA A для подбора коэффициентов матрицы линейного преоб-
разования цветовых пространств требуется сложная процедура предварительной аппаратной калибровки.
Дополнительно следует отметить, что технологии i-scan, FICE и SPIES SPECTRA являются проприетарными технологиями крупных фирм-производителей эндоскопического оборудования, что затрудняет проведение сравнительного исследования эффективности и оценки характеристик используемых алгоритмов.
Двухэтапный метод виртуальной хромоэн-доскопии. Авторами настоящей статьи разработан метод виртуальной хромоэндоскопии, особенностями которого являются:
1. Возможность обработки каждого канала исходного изображения, полученного в белом свете, отдельными процедурами, принципиальной особенностью которых является использование технологии адаптивного (локального) нелинейного контрастирования, в то время как во всех известных решениях использованы глобальные преобразования. Под глобальным преобразованием понимают преобразование, вид и параметры которого постоянны для всех элементов изображения. В предложенных локальных преобразованиях параметры устанавливаются для каждой области изображения в зависимости от ее особенностей. Применение локальных алгоритмов для эндоскопических изображений является более эффективным по отношению к глобальным, что определяется важным свойством эндоскопических изображений - одновременным присутствием значительных по площади темных и светлых областей из-за сложных условий получения эндоскопических изображений.
2. Отсутствие процедуры калибровки для получения эффекта виртуальной хромоэндоскопии.
Предложенный метод полностью основан на технологии цифровой обработки изображений.
В сформированном эндоскопической камерой изображении каналы R, G, B содержат различные по спектру отклики от тканей, находящихся на разной глубине наблюдаемого объекта. Эти отклики зависят от кривых спектральной чувствительности сенсора. Эксперименты показали, что указанное различие чувствительности позволяет отображать разные пространственные элементы [6]. В канале R наиболее полно присутствует информация о глубоких кровеносных сосудах и микрососудах, включая расположенные в глубоких слоях слизистой оболочки. В каналах G и B эта информация почти полностью отсутствует. Таким образом, малозаметные на изображении в белом свете особенности могут
изображение
^ 1
R G
♦
MSICE
♦ 1 г
CLAHE CLAHE
CLAHE
Улучшенное изображение
Рис. 1. Структурная схема двухэтапного метода виртуальной хромоэндоскопии Fig. 1. Block diagram of a two-step method of virtual chromoendoscopy
быть выделены за счет улучшения пространственных характеристик отдельно в каждом канале. Предложенный метод реализует отдельную обработку каждого канала, что позволяет выделить тонкие структуры и обеспечивает возможность исследования характеристик тканей, особенностей слизистой оболочки и аномальных образований с большей эффективностью, чем по исходному изображению, полученному в белом свете.
Разработанный метод на первом шаге включает подчеркивание сосудистых структур; на втором шаге - тоновую коррекцию, выделение цветом структурных особенностей в областях тканей, подлежащих исследованию врачом. Структурная схема метода приведена на рис. 1.
Визуализация кровеносных сосудов. На первом шаге метода виртуальной хромоэндоскопии канал R модифицируют с помощью процедуры многомасштабного локального нелинейного контрастирования (MSICE) [12].
Алгоритм реализует контрастирование основываясь на следующих нелинейных функциях трансформации:
( B + A) x
G i x ) = -H i x) = -
A + x Ax
(1) (2)
А + В-х 1 = М, А, Вей,
где х - входные данные; В - максимальное значение х (для изображений с глубиной цветового представления 8 бит на канал В = 255); А - коэффициент, регулирующий вид функции трансформации; И - мно-
25
B
жество действительных чисел. Варьирование А позволяет получить различные нелинейные кривые и контролирует преобразование между входным значением х и выходным значением функций трансформации О(х) или Н(х). Функция О(х) увеличивает значение входных данных в соответствии с коэффициентом А, в то время как функция Н(х), наоборот, уменьшает значение входных данных.
Основная идея преобразования заключается в следующем: для каждого пиксела с координатами (г, ') исходного изображения разность между
значением его яркости Уу и средней яркостью его окрестности Sj должна быть увеличена. Если верно условие Уу > Sij, то для того чтобы увеличить
яркость пиксела и тем самым разность между его яркостью и средней яркостью окрестности, используют функцию О(х). Если же Уу > Sij■, с помощью функции Н(х) яркость пиксела уменьшают, также увеличивая разность между его яркостью и средней яркостью окрестности.
Среднее значение яркости окрестности пиксела Sijk в выбранной зоне усреднения с поперечником
к пикселов рассчитывают следующим образом:
г+к у+к
л2 II 7ХУ. (3)
A ( x ) =
% =-
1
(2к +1) у=г-кх='-к
Значение коэффициента А определяет степень изменения исходного значения яркости пиксела У у в
зависимости от разности между Уу и . Небольшое значение разности должно приводить к резкому изменению яркости обрабатываемого пиксела для увеличения локального контраста. Напротив, большие значения первоначальной разности между яркостью пиксела и средней яркостью окрестности обусловливают слабые изменения, так как контраст в этих случаях уже достаточен.
Нелинейное изменение коэффициента А, а также сочетание уравнений (1), (2) и (3) приводят к следующей результирующей функции трансформации для нелинейного контрастирования:
Out j (Y, 5) =
B+A Y - J )] Yj
A(Yij - J ) + Y
Yu > S4 ; iJ iJk
iJ
A ( J - Yu ) Yij
A( S4k
ч , Yj4 > Su ;
- Y v ) + B - Yh- 4 iJk
M, x = 0;
[M/x, x = 1, B, где Out^ - скорректированное значение яркости
пиксела с координатами (i, j) для зоны усреднения
поперечника к; М - константа, определяющая степень контрастирования. Небольшие значения М приводят к выраженному контрастированию, большие - к умеренному Полученное авторами в результате экспериментов рекомендуемое значение для флуоресцентных изображений M = 5000.
Описанная процедура реализуется для окрестностей трех разных поперечников, окончательный результат получают усреднением:
Out;;, + Out;;, + Out;;,
Outj =-
Jk1
iJk 2
Jk3
3
где Outij - значение яркости для пиксела с координатами (i, j). Поперечники окрестностей определяются свойствами обрабатываемых изображений.
Три пространственных масштаба выбраны для обеспечения возможности влиять на нижние, средние и высокие частоты изображения. Экспериментальные исследования показали, что для изображения 1024 х 768 пикселов ki ~ 110. Выбор этого значения в качестве опорной точки позволяет рассчитать размер области усреднения для других масштабов:
k2 = kl/2; k3 = k2/2.
Тоновая коррекция. Второй шаг предложенного метода предполагает отдельную процедуру коррекции яркостной и контрастной характеристик для каждого канала. На этом шаге предложено использовать адаптивную эквализацию гистограммы с ограничением контрастности (Contrast Limited Adaptive Histogram Equalization - CLAHE) [13], [14].
Алгоритм CLAHE является развитием методов эквализации гистограммы (Histogram Equalization - HE) и адаптивной эквализации гистограммы (Adaptive Histogram Equalization - AHE). НЕ - глобальный метод, реализующий пересчет распределения значений яркости пикселов для всего изображения. Метод увеличивает контрастность по всей площади изображения, "растягивая" друг от друга наиболее часто встречающиеся значения яркости в гистограмме. На его основе
был предложен локальный метод AHE. AHE формирует гистограмму и перераспределяет значения яркости для фрагментов, на которые предварительно разбивают исходное изображение.
Алгоритм CLAHE отличается от обычного AHE ограничением гистограммы по заранее заданному значению, найденному перед вычислением функции распределения. Он имеет 2 ключевых параметра: размер блока и порог ограничения гистограммы.
В предложенном методе виртуальной хромоэндоскопии использован следующий вариант реализации CLAHE.
Исходное изображение делится на неперекрывающиеся блоки. Далее каждый блок обрабатывается отдельно.
Шаг 1. Формируется яркостная гистограмма блока и определяется пороговое ограничение Ncl :
NCL = Nclip Navg> где Nciip - коэффициент;
Navg _ (NrxNry )/Ngray ( Nrx, Nry - число пикселей по горизонтали и вертикали соответственно; Ngray - количество уровней яркости в анализируемом фрагменте).
Если число Nreg (i) пикселов блока в яркост-ной гистограмме, обладающих уровнем яркости i, больше, чем Ncl, то избыточные пикселы удаляются с этого уровня и перераспределяются по другим уровням гистограммы.
Шаг 2. Ограничение яркостной гистограммы. Этот шаг представлен псевдокодом, в котором Nci -
общее число пикселов, подлежащих распределению;
H
reg_cl
(0 -
количество пикселов с z-м уровнем яр-
кости в ограниченной яркостной гистограмме:
Nclz = 0;
for i = 0, ..., Ngray -1 if Hreg (i) > Ncl then Hreg_cl (i ) = NCL;
Hclz = Hclz + Hreg (i)- NCL; end if end for;
Havg_gray = Hcls /Ngray ; for i = 0, ..., Ngray -1
if Hreg (г) < (Ncl - Havg_gray Hreg cl (i ) = NCL + H
) then
avg_gray
Hcl2 HclE Havg_gray; else if Hreg (i) < Nql then
Hreg_cl (i ) = NCL;
HclE = HclE - NCL + Hreg (i) end if end for;
Шаг 3. Оставшиеся после шага 2 пикселы числом Hcl итеративно перераспределяют по
уровням яркости. Псевдокод, соответствующий этой процедуре, имеет вид:
while Ncl > 0
for i = 0, ..., Ngray -1 if Hreg_cl (i) < NCL then Hreg_cl (i) = Hreg_cl (i) +1;
HclE = HclE -1; end if end for end while;
а б в
Рис. 2. Обработка изображения алгоритмом tri-scan и предложенным алгоритмом: а - исходное изображение; б - результат обработки алгоритмом tri-scan; в - результат обработки предложенным алгоритмом Fig. 2. Image processing by algorism tri-scan and proposed algorism: а - the original image; б - the result of processing by tri-scan algorithm; в - the result of processing by the proposed algorithm
а б в
Рис. 3. Обработка изображения алгоритмом FICE и предложенным алгоритмом: а - исходное изображение; б - результат обработки алгоритмом FICE; в - результат обработки предложенным алгоритмом Fig. 3. Image processing by algorism FICE and proposed algorism: а - the original image; б - the result of processing by FICE algorithm; в - the result of processing by the proposed algorithm
а б в
Рис. 4. Обработка изображения алгоритмом i-scan и предложенным алгоритмом: а - исходное изображение; б - результат обработки алгоритмом i-scan; в - результат обработки предложенным алгоритмом Fig. 4. Image processing by algorism i-scan and proposed algorism: - the original image; б - the result of processing by i-scan algorithm; в - the result of processing by the proposed algorithm
Шаг 4. Преобразование кумулятивной функции распределения ограниченной яркостной гистограммы обрабатываемого блока согласно алгоритму эквализации гистограммы HE.
После обработки всех блоков для устранения граничного эффекта используется билинейная интерполяция.
Результаты экспериментального исследования. Экспериментальная проверка предложенного метода проводилась с использованием собственной базы кольпоскопических изображений (более 100) и открытой базы данных эндоскопических изображений Kvasir [15]. Набор данных Kvasir состоит из 4000 изображений с различным разрешением от 720 х 576 до 1920 х 1072 пикселов.
Изображения разделены на 8 классов, представляющих различные случаи патологии. Выраженная репрезентативность исходных изображений (несколько видов эндоскопического обследования и патологий, различные типы сенсоров, с помощью которых получены изображения, а также несколько вариантов разрешения) позволила
провести углубленное исследование предложенного метода, оценить его эффективность в разных условиях. Примеры обработки изображений с помощью предложенного метода в сравнении с результатами обработки tri-scan, FICE и i-scan приведены на рис. 2-4 соответственно.
Для оценки улучшения качества изображения использована метрика Focus Value (FV) [16], представляющая отношение трансформант дискретно-косинусного преобразования, соответствующих энергии постоянной составляющей и энергии остальных составляющих изображения.
Заключение. В таблице приведены результаты расчета метрики FV, усредненные для различных классов эндоскопических изображений. По полученным оценкам можно сделать вывод, что во всех классах изображений с различным диагнозом из базы данных Kvasir, а также на всех изображениях базы данных кольпоскопических изображений метрика FV, полученная после применения описанного алгоритма, увеличивается не менее, чем в 2 раза по сравнению с исходным изображением.
а
Тип изображения Type of pathology FV
Изображение Image
Исxoднoе Original Обработанное Processed
Эзофагит Esophagitis 0.015 0.043
Лифтинг полипов Dyed lifted polyps 0.031 0.069
Резекция полипов Dyed resection margins 0.033 0.072
Слепая кишка Normal seccum 0.025 0.067
Привратник Normal pylorus 0.014 0.043
Z-линия Normal z-line 0.015 0.042
Полипы Polyps 0.025 0.059
Язвенный колит Ulcerative colitis 0.031 0.075
Эксперименты показывают, что предложенный метод реализует:
- коррекцию яркости изображения, обеспечивая возможность получить необходимую визуальную информацию как из очень темных, так и из переэкспонированных фрагментов;
- повышение резкости изображения, подчеркивающее мелкие детали и сосуды.
Экспертная оценка полученных изображений показывает, что визуальный эффект предложенного метода превосходит результат коррекции тона с помощью tri-scan, а также соответствует (в отдельных случаях - превосходит) визуальному эффекту проприетарных технологий виртуальной эндоскопии i-scan и FICE.
СПИСОК ЛИТЕРАТУРЫ
1. Won Young Cho, Jae Young Jang, Don Haeng Lee. Recent Advances in Image-enhanced Endoscopy // Clinical Endoscopy. 2011. Vol. 44, № 2. P. 65-75. doi: 10.5946/ce.2011.44.2.65
2. Jae-Young Jang. The Past, Present, and Future of Image-Enhanced Endoscopy // Clinical Endoscopy. 2015. Vol. 48, № 6. P. 466-475. doi: 10.5946/ce.2015.48.6.466
3. Narrow-band Imaging in the Diagnosis of Colorectal Mucosal Lesions: a Pilot Study / H. Machida, Y. Sano, Y. Hamamoto, M. Muto, T. Kozu, H. Tajiri, S. Yoshida // Endoscopy. 2004. Vol. 36, № 12. P. 1094-1098. doi: 10.1055/s-2004-826040.
4. Fundus Autofluorescence Imaging: Review and Perspectives / S. Schmitz-Valckenberg, F. G. Holz, A. C. Bird, R. F. Spaide // Retina. 2008. Vol. 28, № 3. P. 385-409. doi: 10.1097/IAE.0b013e318164a907.
5. American Gastroenterological Association (AGA) Institute Technology Assessment on Image-Enhanced Endoscopy / T. Kaltenbach, Y. Sano, S. Friedland, R. Soe-tikno // Gastroenterology. 2008. Vol. 134, № 1. P. 327-340. doi: 10.1053/j.gastro.2007.10.062
6. FICE Atlas of Spectral Endoscopic images, 2008. URL: https://en.fujifilmla.com/products/endoscopy/catalogs /pdf/index/fice-atlas-esp.pdf (дата обращения 09.03.2019)
7. PENTAX Medical i-scan Mini-Atlas for Gastroenterology, 2015. URL: https://www.i-scanimaging.com/fileadmin /user_upload/PENTAX_i-scan_Mini-Atlas.pdf (дата обращения 09.03.2019)
8. Efficacy of I-Scan Imaging for the Detection and Diagnosis of Early Gastric Carcinomas / J. Nishimura, J. Nishikawa, M. Nakamura, A. Goto, K. Hamabe, Sh. Hashimoto, T. Okamoto, M. Suenaga, Y. Fujita, Y. Hamamoto, I. Sakaida // Gastroenterology Research and Practice. 2014. № 3. P. 1-6. doi: 10.1155/2014/819395
9. Storz Professional Image Enhancement System: a New Technique to Improve Endoscopic Bladder Imaging / G. M. Kamphuis, D. M. de Bruin, J. Fallert, M. H. Gulte-kin, T. M. de Reijke, M.P. Laguna Pes, J. J. M. C. H de la Rosette // J. Cancer Sci Ther., 2016, Vol. 8, № 3. P. 71-77. doi: 10.4172/1948-5956.1000394
10. Tri-Scan: A Three Stage Color Enhancement Tool for Endoscopic Images / M. S. Imtiaz, S. K. Mohammed, F. Deeba, Kh. A. Wahid // J. Medical Systems. 2017. Vol. 41, № 6. P. 1-16. doi: 10.1007/s10916-017-0738-z
11. Karl Storz Endoscope. IMAGE1 S™ 4U - это не просто видеосистема. URL: https://www.karlstorz.com /de/ru/telepresence.htm (дата обращения 09.03.2019)
12. Vonikakis V., Andreadis I. Multi-Scale Image Contrast Enhancement // Proc. 10th Intern. Conf. on Control Automation Robotics and Vision. Hanoi, 17-20 Dec. 2008. Piscataway: IEEE, 2008. P. 856-861. doi: 10.1109 /ICARCV.2008.4795629
13. Adaptive Histogram Equalization and Its Variations / S. M. Pizer, E. P. Amburn, J. D. Austin, R. Cromartie, A. Geselowitz, Th. H. Greer, B. H. Romeny, J. B. Zimmerman, K. Zuiderveld // Computer Vision, Graphics and Image Processing. 1987. Vol. 39, № 3. P. 355-368. doi: 10.1016/S0734-189X (87)80186-X
14. Reza A. M. Realization of the Contrast Limited Adaptive Histogram Equalization (CLAHE) for Real-Time Image Enhancement // J. of VLSI Signal Processing. 2004. Vol. 38, № 1. P. 35-44. doi: 10.1023/B:VLSI.0000028532. 53893.82
15. The Kvasir Dataset. URL: http://datasets.simula.no /kvasir (дата обращения 09.03.2019)
16. Shen C. H., Chen H. Robust Focus Measure for Low-Contrast Images // Intern. Conf. on Consumer Electronics, ICCE'06, Jan. 7-11, 2006, Las Vegas. Digest of Technical Papers. Piscataway: IEEE, 2006, P. 69-70. doi: 10.1109/ICCE.2006.1598314
Обухова Наталия Александровна - доктор технических наук (2009), профессор (2004) кафедры телевидения и видеотехники Санкт-Петербургского государственного электротехнического университета "ЛЭТИ" им. В. И. Ульянова (Ленина). Автор более 100 научных работ. Сфера научных интересов - цифровая обработка изображений; прикладные телевизионные системы. E-mail: [email protected]
Мотыко Александр Александрович - кандидат технических наук (2012), ассистент кафедры телевидения и видеотехники Санкт-Петербургского государственного электротехнического университета "ЛЭТИ" им. В. И. Ульянова (Ленина). Автор более 50 научных работ. Сфера научных интересов - цифровая обработка изображений; прикладные телевизионные системы. http://orcid.org/0000-0003-4241-4298 E-mail: [email protected]
Поздеев Александр Анатольевич - магистр по направлению "Радиотехника" (2016), аспирант, ассистент кафедры телевидения и видеотехники Санкт-Петербургского государственного электротехнического университета "ЛЭТИ" им. В. И. Ульянова (Ленина). Автор более 10 научных работ. Сфера научных интересов - цифровая обработка изображений; прикладные телевизионные системы. E-mail: [email protected]
REFERENCES
1. Won Young Cho, Jae Young Jang, Don Haeng Lee. Recent Advances in Image-enhanced Endoscopy. Clinical Endoscopy. 2011, vol. 44, no. 2, pp. 65-75. doi: 10.5946/ce.2011.44.2.65
2. Jae-Young Jang. The Past, Present, and Future of Image-Enhanced Endoscopy. Clinical Endoscopy. 2015, vol. 48, no. 6, pp. 466-475. doi: 10.5946/ce.2015.48.6.466
3. Machida H., Sano Y., Hamamoto Y., Muto M., Kozu T., Tajiri H., Yoshida S. Narrow-band Imaging in the Diagnosis of Colorectal Mucosal Lesions: a Pilot Study. Endoscopy, 2004, vol. 36, no. 12, pp. 1094-1098. doi: 10.1055/s-2004-826040.
4. Schmitz-Valckenberg S., Holz F. G., Bird A. C., Spaide R. F. Fundus Autofluorescence Imaging: Review and Perspectives. Retina. 2008, vol. 28, no 3, pp. 385-409. doi: 10.1097/IAE.0b013e318164a907.
5. Kaltenbach T., Sano Y., Friedland S., Soetikno R. American Gastroenterological Association (AGA) Institute Technology Assessment on Image-Enhanced Endoscopy. Gastroenterology. 2008, vol. 134, no. 1, pp. 327-340. doi: 10.1053/j.gastro.2007.10.062
6. FICE Atlas of Spectral Endoscopic images, 2008. Available at: https://en.fujifilmla.com/products/endosco-py/catalogs /pdf/index/fice-atlas-esp.pdf (accessed 09.03.2019)
7. PENTAX Medical i-scan Mini-Atlas for Gastroenterology, 2015. Available at: https://www.i-scanimaging.com /fileadmin/user_upload/PENTAX_i-scan_Mini-Atlas.pdf (accessed 09.03.2019)
8. Nishimura J., Nishikawa J., Nakamura M., Goto A., Hamabe K., Hashimoto Sh., Okamoto T., Suenaga M., Fu-jita Y., Hamamoto Y., Sakaida I. Efficacy of I-Scan Imaging for the Detection and Diagnosis of Early Gastric Carcinomas. Gastroenterology Research and Practice. 2014, no. 3, pp. 1 -6. doi: 10.1155/2014/819395
9. Kamphuis G. M., de Bruin D. M., Fallert J., Gultekin M. H., de Reijke T. M., Laguna Pes M.P., de la Rosette J. J. M. C. H. Storz Professional Image Enhancement System: a New Technique to Improve Endoscopic Bladder Imaging. J. Cancer Sci Ther., 2016, vol. 8, no. 3, pp. 71-77. doi: 10.4172/1948-5956.1000394
10. Imtiaz M. S., Mohammed S. K., Deeba F., Wahid Kh. A. Tri-Scan: A Three Stage Color Enhancement Tool for Endoscopic Images. J. Medical Systems. 2017, vol. 41, no. 6, pp. 1-16. doi: 10.1007/s10916-017-0738-z
11. Karl Storz Endoscope. IMAGE1 S™ 4U - это не просто видеосистема. Available at: https://www.karlstorz.com /de/ru/telepresence.htm (accessed 09.03.2019)
12. Vonikakis V., Andreadis I. Multi-Scale Image Contrast Enhancement. Proc. 10th Int. Conf. on Control Automation Robotics and Vision. Hanoi, 17-20 December 2008. Piscataway: IEEE, 2008, pp. 856-861. doi: 10.1109 /ICARCV.2008.4795629
13. Pizer S. M., Amburn E. P., Austin J. D., Cromartie R., Geselowitz A., Greer Th. H., Romeny B. H., Zimmerman J. B., Zuiderveld K. Adaptive Histogram Equalization and Its Variations. Computer Vision, Graphics and Image Processing. 1987, vol. 39, no. 3, pp. 355-368. doi: 10.1016/S0734-189X (87)80186-X
14. Reza A. M. Realization of the Contrast Limited Adaptive Histogram Equalization (CLAHE) for Real-Time Image Enhancement. J. of VLSI Signal Processing. 2004, vol. 38, no 1, pp. 35-44. doi: 10.1023/B:VLSI.0000028532. 53893.82
15. The Kvasir Dataset. Available at: http://datasets. simula.no/kvasir (accessed 09.03.2019)
16. Shen C. H., Chen H. Robust Focus Measure for Low-Contrast Images. Int. Conf. on Consumer Electronics, ICCE'06. January, 7-11, 2006, Las Vegas. Digest of Technical Papers. Piscataway: IEEE, 2006, pp. 69-70. doi: 10.1109/ICCE.2006.1598314
Natalia A. Obukhova - Dr. of Sci. (Engineering) (2009), Professor (2004) of the Department of Television and Video Equipment of Saint-Petersburg Electrotechnical University "LETI". The author of more than 100 scientific publications. Area of expertise: digital image processing; applied television systems. E-mail: [email protected]
Alexander A. Motyko - Cand. of Sci. (Engineering) (2012), Associate Professor of the Department of Television and Video Equipment of Saint-Petersburg Electrotechnical University "LETI". The author of more than 50 scientific publications. Area of expertise: digital image processing; applied television systems. http://orcid.org/0000-0003-4241-4298 E-mail: [email protected]
Alexander A. Pozdeev - Master on Radio Engineering (2016), Postgraduate Student, Assistant of the Department of Television and Video Equipment of Saint-Petersburg Electrotechnical University "LETI". The author of 10 scientific publications. Area of expertise: digital image processing; applied television systems. E-mail: [email protected]
https://doi.org/10.32603/1993-8985-2018-22-2-22-30 УДК 004.932.2
Natalya A. Obukhova, Alexander A. MotykoAlexander A. Pozdeev
Saint Petersburg Electrotechnical University "LETI" 5, Professor Popov Str., 197376, St. Petersburg, Russia
research and development of methods for endoscopic (medical) images enhancement
Abstract.
Introduction. The modern technologies of virtual chromoendoscopy provide significant increase of diagnostic value of images considered by a doctor. The analysis of existing technologies shows that the existing solutions have significant disadvantages. Some of them require a complex preliminary calibration of the equipment for operation. Others use global transformations, making impossible consideration of local tissues characteristics and so on. In general, nowadays the technology of virtual chromoendoscopy, which suits the majority of potential users - doctors, does not exists, and, therefore, there it is a field for research.
Objective. Development of the method for virtual chromoendoscopy, with regard to disadvantages identified within the frames of carried out analysis of similar methods.
Methods and materials. For implementation of the research were used open endoscopic image data-bases, by the instrumentality of which, as a result of modeling and experiment, were evaluated quality characteristics of the proposed method. Results. The new method of virtual chromoendoscopy. The main feature of the method is usage of nonlinear local transformation functions in transformation of RGB channels, as well as absence of calibration procedure for obtaining the effect of virtual chromoendoscopy. The proposed method is completely based on the technology of digital image processing and includes image brightness correction, which provides the possibility to obtain the necessary visual information both from very dark and overexposed fragments; image sharpening, contrasting small details and vessels. Conclusion. The expert assessment of the obtained results shows that the visual effect of the proposed method corresponds, or in some cases, exceeds the visual effect of proprietary technologies of virtual endoscopy I-Scan and FICE.
Key words: Virtual chromoendoscopy, digital medical image processing, nonlinear contrast enhancing
For citation: Obukhova N. A., Motyko A. A., Pozdeev A. A. Research and Development of Methods for Endoscopic (Medical) Images Enhancement. Journal of the Russian Universities. Radioelectronics. 2019, vol. 22, no. 2, pp. 22-30. doi: 10.32603/1993-8985-2018-22-2-22-30
Source of financing. This work was supported by the Russian Foundation for Basic Research, grant № 17-07-00045. Conflict of interest. Authors declare no conflict of interest. Received 27.02.2019; accepted 18.03.2019; published online 24.04.2019
© Obukhova N. A., Motyko A. A., Pozdeev A. A., 2019 Контент доступен по лицензии Creative Commons Attribution 4.0 License This work is licensed under a Creative Commons Attribution 4.0 License
Н. А. Обухова, А. А. Мотыко А. А. Поздеев
Санкт-Петербургский государственный электротехнический университет "ЛЭТИ" им. В. И. Ульянова (Ленина) ул. Профессора Попова, д. 5, Санкт-Петербург, 197376, Россия
исследование и разработка методов улучшения эндоскопических (медицинских) изображений
Аннотация.
Введение. Современные технологии виртуальной хромоэндоскопии призваны существенно повысить диагностическую ценность предъявляемых врачу изображений. Анализ существующих технологий показывает, что имеющиеся решения не лишены значительных недостатков. Одни требуют для работы проведения сложной предварительной аппаратной калибровки, другие используют глобальные преобразования, не позволяющие учесть локальные особенности тканей, и т. д. В целом сейчас не существует технологии виртуальной хромоэндоскопии, устраивающей большинство потенциальных пользователей - врачей, а следовательно, есть поле для исследования.
Цель работы. Разработка метода для виртуальной хромоэндоскопии с учетом недостатков, выявленных у аналогов в результате анализа.
Методы и материалы. Для проведения исследований были использованы открытые базы данных эндоскопических изображений, с помощью которых в результате моделирования и эксперимента были оценены качественные характеристики предложенного метода.
Результаты. Новый метод виртуальной хромоэндоскопии, главная особенность которого - использование нелинейных локальных функций трансформации при преобразовании RGB-каналов, а также отсутствие процедуры калибровки для получения эффекта виртуальной хромоэндоскопии. Предложенный метод полностью основан на технологии цифровой обработки изображений, включает коррекцию яркости изображения, обеспечивающую возможность получения необходимой визуальной информации как из очень темных, так и из переэкспонированных фрагментов; повышение резкости изображения, подчеркивающее мелкие детали и сосуды.
Заключение. Экспертная оценка полученных результатов показывает, что визуальный эффект предложенного метода соответствует, а в отдельных случаях и превосходит визуальный эффект проприетарных технологий виртуальной эндоскопии I-Scan и FICE.
Ключевые слова: виртуальная хромоэндоскопия, цифровая обработка медицинских изображений, нелинейное контрастирование
Для цитирования: Обухова Н. А., Мотыко А. А., Поздеев А. А. Исследование и разработка методов улучшения эндоскопических (медицинских) изображений // Изв. вузов России. Радиоэлектроника. 2019. Т. 22, № 2. С. 22-30. doi: 10.32603/1993-8985-2018-22-2-22-30
Источник финансирования. Работа выполнена при поддержке Российского фонда фундаментальных исследований, грант № 17-07-00045.
Конфликт интересов. Авторы заявляют об отсутствии конфликта интересов.
Статья поступила в редакцию 27.02.2019; статья принята к публикации 18.03.2019; опубликована онлайн 24.04.2019
Introduction. General information. Modern endoscopes play a significant role in diagnostics of gastrointestinal tract (GIT) diseases.
The demand to ensure high accuracy of differentiation of malignant tumors and manifestations of inflammatory processes during endoscopic examination stimulates development of new types of Image-Enhanced Endoscopy (IEE) systems on the basis of modern optical and digital technologies [1], [2]. IEE provides the higher specificity of the lesion mor-
phology assessment by emphasizing the mucous membrane and capillaries microstructure.
The leading technology of the IEE direction is chromoendoscopy, which includes the dye-based chromoendoscopy and the electronic chromoendos-copy.
Chromoendoscopy based on the use of dying solutions is a technique that involves spraying of dyes harmless to human on the mucous surface of interest. Application of the dye enhances visualization of
the microstructure and vascular formations of the examined tissue.
Implementation of this technology requires only an aerosol catheter, which provides a relatively simple and economical method for the dye application. Despite these advantages, the use of solution-based chromoendoscopy for screening programs remains limited due to the lack of standardized research methods and techniques for the obtained images analysis. This limitation leads to the uncertainty in identification of the affected tissue.
The electronic chromoendoscopy implements the increase of medical images diagnostic value by emphasizing by color of the features of the analyzed tissues, mucous membranes or vessels based on optical and digital technologies. Nowadays, the electronic chromoendoscopy is implemented by the equipment for Narrow Band Imaging (NBI) [3] and Autofluorescence Images (AFI) [4].
NBI technology is developed by the company "Olympus". The equipment for illumination "Olympus" uses a backlight with a wavelength of 415 ± 15 nm and 540 ± 15 nm. The choice of wavelength is stipulated with the absorption spectrum of hemoglobin contained in the blood, due to which the vessels acquire a dark color against the background of pale surrounding tissue.
AFI technology is based on detection of natural tissue fluorescence stipulated by the presence of endogenous fluorophores in them. After excitation with the short-wave light source the fluorophores emit light with a longer wavelength, causing differences in the autofluorescence spectra of normal and affected tissues.
The application of optical filters required for the implementation of these technologies increases the complexity of the hardware and power consumption of the endoscopic system [5]. The alternative direction is post-processing of images obtained in white light, with the aim of modeling by the using optical filter digital methods - virtual chromoendoscopy.
The most well-known virtual chromoendoscopy technologies are: FICE (Fuji) [6], i-scan (PENTAX) [7], [8], SPICE SPECTRA (STOLZ) [9] and tri-scan [10].
The principle of FICE technology operation is based on the reconstruction of an image with a given wavelength from the RGB-coordinate values obtained by the sensor in white light. The synthesis of the reconstructed image is carried out using a linear transformation matrix of color spaces. FICE can create 300 types of spectral images with five different brightness and 60 different wavelengths in the range
of visible light from 400 to 695 nm with a step of 5 nm. The basis of this technology is a complex calibration procedure using a spectrometer. The purpose of the calibration procedure is to identify the coefficients of color space transformation matrices.
The i-scan technology uses a three-step procedure of the image quality enhancement being formed: Surface Enhancement (SE), Contrast Enhancement (CE) and Tone Enhancement (TE). In SE mode, the brightness of the pixels at the edges of the objects is changed. CE enhances the blue component of the color in the dark fragments of the endoscopic image to emphasize the thin vessels and the heterogeneity of the mucous membrane. In TE mode, the RGB image obtained in white light is decomposed into separate R, G and B channels. Each channel is modified using a non-linear global transformation, followed by tonal curves, after which a three-component image is reconstructed.
Similar to i-scan, tri-scan technology includes three steps: Tissue and Surface Enhancement (TSE), Mucosa Layer Enhancement (MLE) and Color Tone Enhancement (CTE). TSE step uses a modified linear unsharp masking algorithm; in MLE step, the R-channel is converted using the sigmoid function. In CTE step, the intensity values of the pixels in each channel are distributed evenly to increase the color contrast.
The well-known company in the field of television endoscopic systems Karl Storz has developed the IMAGE1 S 4U hardware and software system, which includes elements of virtual chromoendoscopy [11]. The CLARA and CHROMA technologies included in the complex are used for leveling the illumination and enhancing the images contrast. In the SPIES SPECTRA B technology to increase the color contrast is used the color tone shift.
The implemented analysis of the existing technologies of virtual chromoendoscopy shows that:
- i-scan, tri-scan and SPIES SPECTRA B technologies use global transformations making impossible to consider the characteristics of each fragment of the image;
- FICE and SPIES SPECTRA A technologies require a complicated procedure of preliminary equipment calibration for selection of coefficients of the linear transformation matrix of color spaces.
Additionally, it is important to note that i-scan, FICE and SPIES SPECTRA technologies are proprietary technologies of major manufacturing companies of the endoscopic equipment, which makes difficult to conduct a comparative study of the effec-
tiveness and evaluation of the characteristics of the algorithms used.
The two-step method of virtual chromoendos-copy. Below is considered the method of virtual chromoendoscopy developed by the authors of the article, the features of which are the following:
1. The possibility to process each channel of the original image obtained in white light by separate procedures, the main feature of which is the use of adaptive (local) nonlinear contrasting technology, while all known solutions use global transformations. Global transformation means transformation, the type and parameters of which are constant for all image elements. In proposed local transformations, the parameters are set for each fragment of the image, depending on its features. Application of local algorithms for endoscopic images is more effective in contrast to global ones. This fact is determined by the important feature of endoscopic images - the simultaneous presence of significant dark and light areas stipulated by difficult conditions for obtaining of en-doscopic images.
2. The absence of the calibration procedure to obtain the effect of virtual chromoendoscopy.
The proposed method is completely based on digital image processing technology.
In the image formed by the endoscopic camera, the R, G, B channels contain diverse in their spectrum responses from tissues located at different depths of the observed object. These responses depend on the spectral sensitivity curves of the sensor. Experiments have shown that the mentioned diversity of the sensitivity provides displaying different spatial elements [6]. Channel R contains exhaustive information about deep blood vessels and micro vessels, including ones located in deep layers of the mucous membrane. In channels G and B this information is almost completely absent. Thus, the features that are hardly noticeable in a white light image can be distinguished by improving the spatial characteristics separately in each channel. The proposed method implements the separate processing of each channel, which provides selection of fine structures and enables to study the characteristics of tissues, features of the mucosa and anomalous structures with greater efficiency in contrast to study of original image obtained in white light.
The developed method in the first step includes the contouring of vascular structures; in the second step - the tone correction, coloring of structural fea-
Original Image
^ I ^
R G B
MSICE i i r i
CLAHE CLAHE CLAHE
Enhanced Image
Fig. 1. Block diagram of a two-step method of virtual chromoendoscopy
tures in the areas of tissues to be examined by a doctor. Fig. 1 shows the structural scheme of the method.
Visualization of blood vessels. At the first step of the virtual chromoendoscopy method, the R channel is modified using the multi-scale image contrast enhancement procedure (MSICE) [12].
The algorithm implements the contrast enhancement based on the following nonlinear transformation functions:
G i x ) = H i x ) =
i B + A) x A + x Ax
A + B-x x = 0, A, BeR
(1) (2)
where x - input data; B - the maximum value of x (for images with a color representation of 8 bits per channel B = 255); A - coefficient, regulating the type of transformation function; TO - a set of real numbers. Varying of A provides obtaining of different non-linear curves and controls the conversion between the input value of x and the out-put value of the transformation function G(x) or H(x). The function G(x) increases the value of the input data in accordance with the coefficient A, while the function H(x), on contrary, reduces the value of the input data.
The basic idea of the transformation is the following: for each pixel with the coordinates (i, j) of the original image, the difference between the value of its brightness Yj and the average brightness of its
surroundings Sj should be increased. If the condition Yij > Sj, is true, in order to increase the pixel
brightness and thus the difference between its brightness and the average brightness of the cross-section area, is used the function G (x). If Yj > Sj, by function H(x), the pixel brightness is reduced, also increasing the difference between its brightness and the average brightness of the cross-section area.
The average brightness value of the cross section of the pixel Sij in the selected averaging zone with the
diameter of k pixels is calculated as following:
j i+k j+k
% =
( 2k +1)2
Z Z 7xy. (3)
y=i-kx=j-k
The value of the coefficient A determines the degree of the initial pixel brightness Yj value change depending
on the difference between Yj and Sj^. The small difference value should lead to a sharp change in the pixel brightness being processed to increase the local contrast. On the contrary, large values of the initial difference between the pixel brightness and the average brightness of a cross-section area cause slight changes, since the contrast in these cases is already sufficient.
A nonlinear change of the coefficient A, as well as a combination of equations (1), (2) and (3), lead to the following resultant transformation function for nonlinear contrasting:
Out jk (Y, 5) =
B + A (Yj - S,
4k
)] Y
l(Yij A ( Si
- S,
j
) + Yij Чк - Yij ) Yij
К Si
iJK
- YiJ )+B - YiJ
YiJ > SH ;
ij ijk
Yj > Sj ; ij ijk
A ( x ) =
M, x = 0; M/x, x = 1~B,
where Out^ is the corrected brightness value of a
pixel with coordinates (/, j) for the averaging zone
of the diameter k; M is a constant that determines the degree of contrast. Small values of M lead to a expressed contrast, larger - to moderate one. Recommended by the authors value for fluorescent images obtained from the experiments performed is M = 5000.
The described procedure is implemented for the vicinity of three different cross-section areas; the final result is obtained by averaging:
Outj =-
Out;;, + Out;;, + Out;;
Jk1
iJk 2
Jk3
3
where Out;y is the brightness value for a pixel with coordinates (г, j). The vicinity cross-sections are determined by the properties of the processed images.
Three chosen spatial scales enable the influence on the lower, middle, and high image frequencies. Experimental studies have shown that for an image of 1024 x 768 size the reference point of pixels £1«110. The choice of this value as a reference point provides the opportunity to calculate the size of the averaging cross-section for other scales:
k2 = £i/2; £з = hi2.
Tone correction. The second step of the proposed method involves a separate procedure for brightness and contrast characteristics correcting for each channel. At this step, authors propose to use Contrast Limited Adaptive Histogram Equalization (CLAHE) [13], [14].
The CLAHE algorithm is a development of Histogram Equalization (HE) and Adaptive Histogram Equalization (AHE) equalization methods of the histogram. НЕ is a global method that implements the recalculation of the distribution of pixels brightness values for the entire image. The method increases the contrast over the entire image area, "stretching" from each other the most common brightness values in the histogram. Based on the method was proposed a local AHE method. AHE generates a histogram and redistributes the brightness values for the fragments into which the original image is pre-divided.
The CLAHE algorithm differs from the usual AHE one by the histogram constraint on a predetermined value found before calculating the distribution function. It has two key parameters: block size and histogram restriction level.
In the proposed virtual chromoendoscopy method, the following CLAHE implementation is used.
The original image is divided into non-overlapping blocks. Then each block is processed separately.
Step 1. A luminance histogram of the block is formed and a restriction level Nql is determined:
NCL = Nclip где Nciip - coefficient;
Navg _ (NrxNry )/Ngray
where Nrx, Nry - the number of pixels horizontally and vertically, respectively; Ngray - the number of brightness levels in the analyzed fragment.
If the number Nreg (i) of block pixels in the brightness histogram, which have a brightness level i, is greater than Ncl, the excess pixels are removed from this level and redistributed to other levels of the histogram.
Step 2. Limitation of the luminance histogram. This step is represented by pseudo code, in which Nci is
the total number of pixels to be distributed; Hreg ci (0 is the number of pixels with the i-th level of brightness in the limited brightness histogram:
Nciz = 0;
for i = 0, ..., Ngray -1
if Hreg (i) > NCl then
Hreg_cl (i ) = NCL;
HclE = HclE + Hreg (i)-NCL; end if
end for;
Havg_gray _ HcljNgray ;
for i = 0, ..., Ngray -1
if h
H,
reg (i) < (NCL Havg gray ) then
- H,
cl (i ) = NCL + H;
reg
Hclv = Hcl- - H-
avg_gray'
;i£ "ciE avg_gray> else if Hreg (i) < Ncl then
H
1 reg_cl (i)" NCL;
HclE = HclE - NCL + Hreg end if
(i)
end for;
Step 3. The remaining after the step 2 pixels of a number of Hcl are iteratively redistributed according to the brightness levels. The pseudo code corre-
sponding to this procedure is: while Ncl > 0
for i = 0, ..., Ngray -1 if Hreg cl (i) < Ncl then
reg_cl
(i ) = Hreg_cl (i) +1
Hcl2 = Hcl2 -1; end if end for end while;
Step 4. Transformation of the cumulative distribution function of the limited brightness histogram of the block being processed according to the HE histogram equalization algorithm.
After processing all the blocks, bilinear interpolation is used to eliminate the boundary effect.
The results of the experiment. Experimental verification of the proposed method was carried out using our own database of colposcopic images (more than 100) and the open Kvasir endoscopic image database [15]. The Kvasir data set consists of 4000 images with different resolutions from 720 x 576 to 1920 x 1072 pixels.
The images are divided into eight classes representing different cases of pathology. The expressed representativeness of the original images (several types of endoscopic examinations and pathologies, various types of sensors with the help of which images were obtained, as well as several resolution options) made it possible to carry out an in-depth study of the proposed method, to evaluate its effectiveness under different conditions. Examples of image processing using the proposed method are shown in comparison with the results of tri-scan, FICE and i-scan processing in Fig. 2-4 respectively.
To assess the image quality enhancement is used the Focus Value (FV) metric [16], representing the ratio of discrete-cosine transformations corresponding to the energy of the constant component and the energy of the other components of the image.
a b c
Fig. 2. Image processing by algorism tri-scan and proposed algorism: - the original image; b - the result of processing by tri-scan algorithm; c - the result of processing by the proposed algorithm
a
a - the original image; b
b c
Fig. 3. Image processing by algorism FICE and proposed algorism: - the result of processing by FICE algorithm; c - the result of processing by the proposed algorithm
a b c
Fig. 4. Image processing by algorism i-scan and proposed algorism: a - the original image; b - the result of processing by i-scan algorithm; c - the result of processing by the proposed algorithm
Conclusion. The table below shows the results of the FV metric calculation, averaged for various classes of endoscopic images. According to the obtained estimates it can be concluded that in all classes of images with different diagnoses from the Kvasir database, as well as on all images of the colposcopic image database, the FV metric obtained after the application of the described algorithm increases at least twice in comparison with the original image.
Experiments show that the proposed method implements:
- Correction of image brightness, providing the ability to obtain the required visual information from both very dark and overexposed fragments;
- Sharpening the image, emphasizing small details and vessels.
The expert evaluation of images obtained shows that the visual effect of the proposed method exceeds the result of tone correction using tri-scan, and also corresponds to or in some cases exceeds the visual
Type of pathology FV
Image
Original Processed
Esophagitis G.G15 G.G43
Dyed lifted polyps G.G31 G.G69
Dyed resection margins G.G33 G.G72
Normal seccum G.G25 G.G67
Normal pylorus G.G14 G.G43
Normal z-line G.G15 G.G42
Polyps G.G25 G.G59
effect of proprietary virtual endoscopy technologies i-scan and FICE.
REFERENCES
1. Won Young Cho, Jae Young Jang, Don Haeng Lee. Recent Advances in Image-enhanced Endoscopy. Clinical Endoscopy. 2011, vol. 44, no. 2, pp. 65-75. doi: 10.5946/ce.2011.44.2.65
2. Jae-Young Jang. The Past, Present, and Future of Image-Enhanced Endoscopy. Clinical Endoscopy. 2015, vol. 48, no. 6, pp. 466-475. doi: 10.5946/ce.2015.48.6.466
3. Machida H., Sano Y., Hamamoto Y., Muto M., Kozu T., Tajiri H., Yoshida S. Narrow-band Imaging in the Diag-
a
nosis of Colorectal Mucosal Lesions: a Pilot Study. Endoscopy, 2004, vol. 36, no. 12, pp. 1094-1098. doi: 10.1055/s-2004-826040.
4. Schmitz-Valckenberg S., Holz F. G., Bird A. C., Spaide R. F. Fundus Autofluorescence Imaging: Review and Perspectives. Retina. 2008, vol. 28, no 3, pp. 385-409. doi: 10.1097/IAE.0b013e318164a907.
5. Kaltenbach T., Sano Y., Friedland S., Soetikno R. American Gastroenterological Association (AGA) Institute Technology Assessment on Image-Enhanced Endoscopy. Gastroenterology. 2008, vol. 134, no. 1, pp. 327-340. doi: 10.1053/j.gastro.2007.10.062
6. FICE Atlas of Spectral Endoscopic images, 2008. Available at: https://en.fujifilmla.com/products/endosco-py/catalogs /pdf/index/fice-atlas-esp.pdf (accessed 09.03.2019)
7. PENTAX Medical i-scan Mini-Atlas for Gastroenterology, 2015. Available at: https://www.i-scanimaging.com /fileadmin/user_upload/PENTAX_i-scan_Mini-Atlas.pdf (accessed 09.03.2019)
8. Nishimura J., Nishikawa J., Nakamura M., Goto A., Hamabe K., Hashimoto Sh., Okamoto T., Suenaga M., Fu-jita Y., Hamamoto Y., Sakaida I. Efficacy of I-Scan Imaging for the Detection and Diagnosis of Early Gastric Carcinomas. Gastroenterology Research and Practice. 2014, no. 3, pp. 1 -6. doi: 10.1155/2014/819395
9. Kamphuis G. M., de Bruin D. M., Fallert J., Gultekin M. H., de Reijke T. M., Laguna Pes M.P., de la Rosette J. J. M. C. H. Storz Professional Image Enhancement System: a New Technique to Improve Endoscopic Bladder Imaging. J. Cancer Sci Ther., 2016, vol. 8, no. 3, pp. 71-77. doi: 10.4172/1948-5956.1000394
10. Imtiaz M. S., Mohammed S. K., Deeba F., Wahid Kh. A. Tri-Scan: A Three Stage Color Enhancement Tool for Endoscopic Images. J. Medical Systems. 2017, vol. 41, no. 6, pp. 1-16. doi: 10.1007/s10916-017-0738-z
11. Karl Storz Endoscope. IMAGE1 S™ 4U - это не просто видеосистема. Available at: https://www.karlstorz.com /de/ru/telepresence.htm (accessed 09.03.2019)
12. Vonikakis V., Andreadis I. Multi-Scale Image Contrast Enhancement. Proc. 10th Int. Conf. on Control Automation Robotics and Vision. Hanoi, 17-20 December 2008. Piscataway: IEEE, 2008, pp. 856-861. doi: 10.1109 /ICARCV.2008.4795629
13. Pizer S. M., Amburn E. P., Austin J. D., Cromartie R., Geselowitz A., Greer Th. H., Romeny B. H., Zimmerman J. B., Zuiderveld K. Adaptive Histogram Equalization and Its Variations. Computer Vision, Graphics and Image Processing. 1987, vol. 39, no. 3, pp. 355-368. doi: 10.1016/S0734-189X (87)80186-X
14. Reza A. M. Realization of the Contrast Limited Adaptive Histogram Equalization (CLAHE) for Real-Time Image Enhancement. J. of VLSI Signal Processing. 2004, vol. 38, no 1, pp. 35-44. doi: 10.1023/B:VLSI.0000028532. 53893.82
15. The Kvasir Dataset. Available at: http://datasets. simula.no/kvasir (accessed 09.03.2019)
16. Shen C. H., Chen H. Robust Focus Measure for Low-Contrast Images. Int. Conf. on Consumer Electronics, ICCE'06. January, 7-11, 2006, Las Vegas. Digest of Technical Papers. Piscataway: IEEE, 2006, pp. 69-70. doi: 10.1109/ICCE.2006.1598314
Natalia A. Obukhova - Dr. of Sci. (Engineering) (2009), Professor (2004) of the Department of Television and Video Equipment of Saint-Petersburg Electrotechnical University "LETI". The author of more than 100 scientific publications. Area of expertise: digital image processing; applied television systems. E-mail: [email protected]
Alexander A. Motyko - Cand. of Sci. (Engineering) (2012), Associate Professor of the Department of Television and Video Equipment of Saint-Petersburg Electrotechnical University "LETI". The author of more than 50 scientific publications. Area of expertise: digital image processing; applied television systems. http://orcid.org/0000-0003-4241-4298 E-mail: [email protected]
Alexander A. Pozdeev - Master on Radio Engineering (2016), Postgraduate Student, Assistant of the Department of Television and Video Equipment of Saint-Petersburg Electrotechnical University "LETI". The author of 10 scientific publications. Area of expertise: digital image processing; applied television systems. E-mail: [email protected]
СПИСОК ЛИТЕРАТУРЫ
1. Won Young Cho, Jae Young Jang, Don Haeng Lee. Recent Advances in Image-enhanced Endoscopy // Clinical Endoscopy. 2011. Vol. 44, № 2. P. 65-75. doi: 10.5946/ce.2011.44.2.65
2. Jae-Young Jang. The Past, Present, and Future of Image-Enhanced Endoscopy // Clinical Endoscopy. 2015. Vol. 48, № 6. P. 466-475. doi: 10.5946/ce.2015.48.6.466
3. Narrow-band Imaging in the Diagnosis of Colorectal Mucosal Lesions: a Pilot Study / H. Machida, Y. Sano, Y. Hamamoto, M. Muto, T. Kozu, H. Tajiri, S. Yoshida //
Endoscopy. 2004. Vol. 36, № 12. P. 1094-1098. doi: 10.1055/s-2004-826040.
4. Fundus Autofluorescence Imaging: Review and Perspectives / S. Schmitz-Valckenberg, F. G. Holz, A. C. Bird, R. F. Spaide // Retina. 2008. Vol. 28, № 3. P. 385-409. doi: 10.1097/IAE.0b013e318164a907.
5. American Gastroenterological Association (AGA) Institute Technology Assessment on Image-Enhanced Endoscopy / T. Kaltenbach, Y. Sano, S. Friedland, R. Soe-tikno // Gastroenterology. 2008. Vol. 134, № 1. P. 327-340. doi: 10.1053/j.gastro.2007.10.062
6. FICE Atlas of Spectral Endoscopic images, 2008. URL: https://en.fujifilmla.com/products/endoscopy/catalogs /pdf/index/fice-atlas-esp.pdf (дата обращения 09.03.2019)
7. PENTAX Medical i-scan Mini-Atlas for Gastroenterology, 2015. URL: https://www.i-scanimaging.com/fileadmin /user_upload/PENTAX_i-scan_Mini-Atlas.pdf (дата обращения 09.03.2019)
8. Efficacy of I-Scan Imaging for the Detection and Diagnosis of Early Gastric Carcinomas / J. Nishimura, J. Nishikawa, M. Nakamura, A. Goto, K. Hamabe, Sh. Hashimoto, T. Okamoto, M. Suenaga, Y. Fujita, Y. Hamamoto, I. Sakaida // Gastroenterology Research and Practice. 2014. № 3. P. 1-6. doi: 10.1155/2014/819395
9. Storz Professional Image Enhancement System: a New Technique to Improve Endoscopic Bladder Imaging / G. M. Kamphuis, D. M. de Bruin, J. Fallert, M. H. Gulte-kin, T. M. de Reijke, M.P. Laguna Pes, J. J. M. C. H de la Rosette // J. Cancer Sci Ther., 2016, Vol. 8, № 3. P. 71-77. doi: 10.4172/1948-5956.1000394
10. Tri-Scan: A Three Stage Color Enhancement Tool for Endoscopic Images / M. S. Imtiaz, S. K. Mohammed, F. Deeba, Kh. A. Wahid // J. Medical Systems. 2017. Vol. 41, № 6. P. 1 -16. doi: 10.1007/s10916-017-0738-z
11. Karl Storz Endoscope. IMAGE1 S™ 4U - это не просто видеосистема. URL: https://www.karlstorz.com /de/ru/telepresence.htm (дата обращения 09.03.2019)
Обухова Наталия Александровна - доктор технических наук (2009), профессор (2004) кафедры телевидения и видеотехники Санкт-Петербургского государственного электротехнического университета "ЛЭТИ" им. В. И. Ульянова (Ленина). Автор более 100 научных работ. Сфера научных интересов - цифровая обработка изображений; прикладные телевизионные системы. E-mail: [email protected]
Мотыко Александр Александрович - кандидат технических наук (2012), ассистент кафедры телевидения и видеотехники Санкт-Петербургского государственного электротехнического университета "ЛЭТИ" им. В. И. Ульянова (Ленина). Автор более 50 научных работ. Сфера научных интересов - цифровая обработка изображений; прикладные телевизионные системы. http://orcid.org/0000-0003-4241-4298 E-mail: [email protected]
Поздеев Александр Анатольевич - магистр по направлению "Радиотехника" (2016), аспирант, ассистент кафедры телевидения и видеотехники Санкт-Петербургского государственного электротехнического университета "ЛЭТИ" им. В. И. Ульянова (Ленина). Автор более 10 научных работ. Сфера научных интересов - цифровая обработка изображений; прикладные телевизионные системы. E-mail: [email protected]
12. Vonikakis V., Andreadis I. Multi-Scale Image Contrast Enhancement // Proc. 10th Intern. Conf. on Control Automation Robotics and Vision. Hanoi, 17-20 Dec. 2008. Piscataway: IEEE, 2008. P. 856-861. doi: 10.1109 /ICARCV.2008.4795629
13. Adaptive Histogram Equalization and Its Variations / S. M. Pizer, E. P. Amburn, J. D. Austin, R. Cromartie, A. Gese-lowitz, Th. H. Greer, B. H. Romeny, J. B. Zimmerman, K. Zui-derveld // Computer Vision, Graphics and Image Processing. 1987. Vol. 39, № 3. P. 355-368. doi: 10.1016/S0734-189X (87)80186-X
14. Reza A. M. Realization of the Contrast Limited Adaptive Histogram Equalization (CLAHE) for Real-Time Image Enhancement // J. of VLSI Signal Processing. 2004. Vol. 38, № 1. P. 35-44. doi: 10.1023/B:VLSI.0000028532. 53893.82
15. The Kvasir Dataset. URL: http://datasets.simula.no /kvasir (дата обращения 09.03.2019)
16. Shen C. H., Chen H. Robust Focus Measure for Low-Contrast Images // Intern. Conf. on Consumer Electronics, ICCE'06, Jan. 7-11, 2006, Las Vegas. Digest of Technical Papers. Piscataway: IEEE, 2006, P. 69-70. doi: 10.1109/ICCE.2006.1598314
