Параметры фильтрации лапласианом-гауссианом микроскопических изображений мокроты, окрашенной по методу Циля - Нильсена

Шеломенцева И.Г.

УДК 004.932.4

DOI 10.18413/2687-093 2-2020-47-2-362-371

ПАРАМЕТРЫ ФИЛЬТРАЦИИ ЛАПЛАСИАНОМ-ГАУССИАНОМ МИКРОСКОПИЧЕСКИХ ИЗОБРАЖЕНИЙ МОКРОТЫ, ОКРАШЕННОЙ ПО МЕТОДУ ЦИЛЯ - НИЛЬСЕНА

PARAMETERS OF FILTERING BY LOG FILTER OF MICROSCOPIC IMAGES OF SPUTUM STAINED BY ZIEHL - NEELSEN METHOD

И.Г. Шеломенцева1'2 I.G. Shelomentseva1'2

1)1 Красноярский государственный медицинский университет им. проф. В.Ф. Войно-Ясенецкого, Россия, 660022, г. Красноярск, ул. Партизана Железняка, 1

2) Сибирский федеральный университет Россия, 660041, г. Красноярск, Свободный пр., 79

1)1 Krasnoyarsk State Medical University named after Professor V.F. Voino-Yasenetsky, 1 Partizan Zheleznyak ave., Krasnoyrsk, 660022, Russia 2) Siberian Federal University, 79 Svobodny ave., Krasnoyrsk, 660041, Russia

E-mail: inga.shell@yandex.ru

Аннотация

Автоматизация задач медицинской диагностики влечет за собой подбор методов предобработки и классификации, оптимальных для построения соответствующей информационной системы. В статье рассмотрена задача улучшения операции фильтрации изображений микроскопии мокроты, окрашенной по методу Циля - Нильсена, без потерь регионов интереса, содержащих микобактерии туберкулеза. Автор предлагает использовать операцию свертки с дискретной маской лапласиана-гауссиана. В статье показан процесс получения дискретного фильтра с использованием эффекта повышения высоких частот для его улучшения. Предложен критерий нормализованной цветоразности с погрешностью для автоматического определения качества фильтрации.

Abstract

Mycobacterium tuberculosis infection remains a major public health issue of global morbidity and mortality. One of the widely used methods for the finding of mycobacterium tuberculosis is the Ziehl-Nielsen method of microscopy. In this paper a method for removing noise without producing image distortion for Ziehl-Neelsen stained images of sputum smear samples obtained using a light microscope is presented. The proposed approach is based on the convolution of the original image with the Laplacian of a Gaussian filter enhanced by high-frequency filtering. Used Laplacian of Gaussian filter was discretized as a 9x9 convolution kernel. If the original image is filtered with a simple Laplacian of Gaussian, the resulting output is rather noisy. Combining this result of filtration with the enhanced by high-frequency filtering will reduce the noise and will keep of mycobacterium tuberculosis for further analysis by automated medical diagnostic systems. In order to deal with automatic determination of filtering quality the normalized color difference was proposed. Such measure is evaluated in CIE Luv color spaces in order to appraise the filtration quality of a filtered picture at the human expert examination level.

Ключевые слова: распознавание образов, микобактерия туберкулеза, микроскопия, метод Циля -Нильсена, лапласиан, фильтр LOG, подъем высоких частот, критерий нормализованной цветоразности, NCD.

Keywords: image processing, tuberculosis bacteria, microscopic, method Ziehl - Nielsen, Laplacian, LOG filter, high-frequency filtering, normalized color difference, NCD.

Введение

Несмотря на ежегодное улучшение и расширение качества медицинских услуг, смертность и уровень заболеваемости туберкулезом еще сравнительно высоки. Согласно отчету ВОЗ (Всемирной организации здравоохранения), за 2019 год, в 2018 было зарегистрировано порядка 10 млн человек больных туберкулезом и смертность от туберкулеза достигла уровня в 1,3 млн человек [Глобальный доклад о туберкулезе ВОЗ, 2019]. Поэтому необходимость в быстрых, эффективных, простых и недорогих автоматизированных медицинских системах диагностики туберкулеза все еще сохраняется.

Самыми простыми и быстрыми способами микробиологической диагностики туберкулеза остаются микроскопические методы, к которым относится микроскопия при окраске препаратов методом Циля - Нильсена [Севастьянова, 2009]. Основным недостатком метода Циля - Нильсена является малая эффективность, которая выражается в низкой чувствительности. Под чувствительностью будем понимать вероятность того, что клинический тест верно идентифицировал случай с больным туберкулезом.

Низкая чувствительность в случае микроскопии по методу Циля - Нильсена обусловлена сразу несколькими факторами:

• спецификой данного анализа, который предусматривает анализ микроскопистом не всего мазка мокроты, а только его части;

• сходством цветовых оттенков между искомым объектом (микобактерией туберкулеза) и фоном.

Существуют стандарты проведения микроскопии по методу Циля - Нильсена [Приказ Минздрава РФ № 109, 2003], поэтому невозможно повысить чувствительность теста за счет увеличения временных затрат на просмотр анализа или изменения технологии приготовления препарата анализа мокроты пациента.

Текущее исследование направлено на поиск таких алгоритмов предобработки для автоматизированной диагностической системы, которые бы с одной стороны повышали чувствительность анализа, а с другой стороны, не противоречили стандартам проведения микроскопического анализа препарата мокроты, окрашенного по методу Циля - Нильсена, принятым в РФ. Одна из задач для достижения цели - выбрать наиболее оптимальное ядро свертки для лапаласиана-гауссиана в рамках фильтрации изображений микроскопии мокроты больных туберкулезом без потерь и проанализировать его на предмет уменьшения шума.

Материалы и методы

В качестве материалов исследования выступают изображения световой микроскопии результатов анализа мокроты пациентов. Микроскопия проводилась при увеличении 10х60, изображения были получены цифровой камерой ToupCam UCM0S01300KPA с разрешением 0,3 MP.

На рисунке 1 приведен пример изображения анализа мокроты, окрашенной по методу Циля - Нильсена, где можно наблюдать типичную проблему сходства цветовых оттенков между искомым объектом (микобактерией туберкулеза) и фоном, а также наличие большого количества артефактов синего цвета высокой интенсивности. На рисунке выделена единственная на изображении микобактерия туберкулеза.

Одним из составляющих процесса повышения чувствительности клинического теста автоматизированной системы диагностики туберкулеза является реализация операций фильтрации и сегментации без потерь. Под операцией сегментации будем понимать выделение из снимка микроскопии мокроты пациента регионов интереса (ROI), содержащих микобактерии туберкулеза. Под операцией фильтрации или сегментации без потерь будем понимать, что получившиеся ROI содержат все микобактерии туберкулеза, присутствующие на снимке.

Суммируя предыдущие исследования, связанные с задачей сегментации без потерь, можно сказать, что операция свертки по лапласиану улучшает резкость изображения, а применение лапласиана гауссиана позволяет выделить все интересующие нас ROI [Наркевич и др., 2017а; Наркевич и др., 2017б; Шеломенцева, 2017].

Рис. 1. Пример изображения анализов мокроты, окрашенной по методу Циля - Нильсена Fig. 1. ZN (Ziehl - Nielsen) stained image of sputum smear samples

Лапласианом называется сумма квадратов вторых частных производных (формула 1). В распознавании образов лапласиан часто используется для нахождения границ, при переходе через которые лапласиан меняет свой знак на противоположный [Прэтт, 1982]. Иногда лапласиан используется совместно с гауссианом для снижения чувствительности к шуму, результирующий оператор называется мексиканской шляпой (Mexican Hat) или лапласианом гауссианом (LOG) [Szeliski, 2010]

V2f= AfK^ + ^Y (1)

ox2 oy2

Классически LOG используется для поиска границ на изображении, но существуют исследования, которые применяют этот метод для цветных изображений, разделяя его каналы сообразно выбранной цветовой модели (RBG, CIELAB и т.д.) [Millan, Valencia, 2004; Bhairannawar et al., 2017; Dey et al., 2018]. Если рассмотреть этот метод с точки зрения цветовой модели RGB, то применяя LOG фильтр к отдельным каналам, мы получим усиление стандартной линейки цветов и отделение фона.

Для вычисления оператора LOG используется формула (2) или данный оператор дискретизируется при помощи метода конечных разностей [Sunada, 2008; Morton, Mayers, 2005]. При обработке изображений часто используется такая операция, как свертка и результат дискретизации оператора представляется в виде ядра свертки. Примеры ядер свертки лапласиана гауссиана приведены на рисунке 2 [Gonzalez et al., 2009]

V2f(x,y)= ^e^, (2)

где

x, y - координаты;

g - ширина распространения функции Гаусса.

Разные приближения ядра фильтра LOG могут включать или не включать в себя диагональные элементы. На рисунке 2-а и 2-в диагональные элементы отсутствуют, а на рисунке 2-б и 1 -г они есть. Также на рисунке 2-б и 2-г предполагается, что соседние элементы находятся на равных расстояниях от анализируемого пикселя.

0 1 0

1 -4 1

0 1 0

1 1 1

1 -7 1

1 1 1

а

б

0 -1 0

-1 5 -1

0 -1 0

-1 -1 -1

-1 8 -1

-1 -1 -1

в г

Рис. 2. Ядра пространственных фильтров для реализации дискретного лапласиана Fig. 2. Filter kernels of discrete Laplacian

Такое большое количество вариантов реализации маски оператора LOG связано с многообразием параметров процедуры дискретизации, а именно на маску может влиять значение сигма, значение размера сетки при использовании метода конечных разностей, значение коэффициента масштабирования. Именно поэтому в разных литературных источниках можно найти разные ядра свертки разных размерностей.

Экспериментальные исследования на текущих материалах показали, что наиболее оптимальным является ядро с диагональными элементами, при дискретизации которых использовалась выпуклая комбинация разностных операторов (формула 3) [Wang, 2012]

0 1 0 1/2 0 1/2

V2f(x,y)=(1-y) 1 -4 1 +Y 0 -2 0 . (3)

.0 1 0 1/2 0 1/2

Toshikazu Sunada предложил, что при у = 1/3 получаемая маска свертки лапласиана гауссиана дает наилучшее приближение к пространственным свойствам вращательной симметрии, что соответствует графику фильтра LOG (рисунок 3) [Sunada, 2008].

! LoG(r)

1 Г

Рис. 3. График лапласиана-гауссиана Fig. 3. Laplacian of Gaussian plot

Gonzales и Woods, рассматривая пространственную фильтрацию при помощи лапласиана, затрагивают вопрос повышения резкости изображения при помощи процедуры, широко известной в издательском деле и фотографии как «нерезкое маскирование» [Gonzales, Woods,

2002]. Под этой процедурой понимается вычитание из изображения его расфокусированной копии. Gonzales и Woods указывают, что обобщением нерезкого маскирования является фильтрация с подъемом высоких частот. Процедура фильтрации с использованием высоких частот задается формулой (4), а в случае использования лапласиана - формулой (5).

где

f(x,y)=Af(x,y)-f(x,y), (4)

- (Af(x,y)-V2f(x,y), если w(0,0)<0

f(X,y) {Af(x,y)+V2f(x,y), если w(0,0)>0 ' (5)

£ (х,у) - результат фильтрации с использованием высоких частот;

Кх,у) - исходное изображение;

^х,у) - расфокусированная копия изображения;

А - неотрицательный вещественный параметр.

Результаты и их обсуждение

Исследования А.Н. Наркевича показали, что для исследуемых изображений оптимальным будет использование значения сигма равное 3,05. Опираясь на это, можно рассчитать необходимые значения шага и размерности маски [Наркевич и др., 2017в]. Для расчета размерности Gonzales и Woods указывают, что в гауссовом фильтре примерно 99 % объема под гауссовой поверхностью лежит в диапазоне от —3а до + 3а, а шаг маски примерно равен Поэтому для свертки с использованием LOG фильтра со значением о равным 3.05 оптимально выбрать шаг 2.4 и размерность ядра фильтра 9х9. Получившаяся маска представлена на рисунке 4.

0 0 0 -1 -1 -1 0 0 0

0 -1 -1 -3 -3 -3 -1 -1 0

0 -1 -3 -3 -1 -3 -3 -1 0

-1 -3 -3 6 13 6 -3 -3 -1

-1 -3 -1 13 28 13 -1 -3 -1

-1 -3 -3 6 13 6 -3 -3 -1

0 -1 -3 -3 -1 -3 -3 -1 0

0 -1 -1 -3 -3 -3 -1 -1 0

0 0 0 -1 -1 -1 0 0 0

Рис. 4. Маска фильтра LOG при а = 3,05 Fig. 4. LOG filter mask at а = 3.05

На рисунке 5 представлена фильтрация исходного изображения фильтром LOG с маской 9х9 и со значением сигма = 3.05. Черным кругом обозначена микобактерия туберкулеза. Однако, кроме нее, в результирующем изображении было выделено еще 5055 артефактов.

Применяя эффект подъема высоких частот к найденной маске фильтра LOG, можно убедиться, что действительно происходит улучшение качества фильтрации - количество шума уменьшается, а микобактерия туберкулеза остается на своем месте (рисунок 6).

На рисунке 6а представлена фильтрация изображения со значением параметра А=4 (формула 5). В этом случае форма контура практически не изменилась, а число дополнительных артефактов равно 3530. На рисунке 6б представлена фильтрация исходного изображения со значением параметра А = 10. В этом случае было дополнительно выделено 1917 артефактов, однако форма контура микобактерии существенно изменилась. При этом качество фильтрации оценивалось экспертным методом. Для автоматизации данного процесса необходимо подобрать численные критерии качества фильтрации.

Рис. 5. Пример изображения анализов мокроты, окрашенной по методу Циля - Нильсена

после применения фильтра LOG Fig. 5. ZN (Ziehl - Nielsen) stained image of sputum smear samples after applying the LOG filter

а б

Рис. 6. Пример изображения анализов мокроты, окрашенной по методу Циля - Нильсена после применения фильтра LOG с фильтрацией высоких частот: а - параметр А = 4, б - параметр А = 10 Fig. 6. ZN (Ziehl - Nielsen) stained image of sputum smear samples after applying the LOG filter and the high-frequency filtering: a - parameter A = 4, b - parameter A = 10

В качестве критериев оценки качества фильтрации можно выделить следующие [Russo,

2014]:

1. Критерий минимума квадрата среднеквадратичного отклонения ошибки - формула (6);

RMSE=Ji ^ Zn-Ky'j-yJ2. (6)

2. Критерий средней абсолютной ошибки (MAE) - формула (7);

MAE=JiIj=1 y'j-y,. (7)

3. Критерий нормализованной цветоразности (NCD) - формула (8)

ff ff, ^(y,¡L-y,¡L)2+(y,jU-y,¡U)2+(y,¡V-y,¡V)2 NCD--1 . ==-, (8)

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

ff, J(y,¡L)2+(y,¡u)2+(y,¡v)2

где

m x n - размерность изображения;

y' - значение пикселя отфильтрованного изображения;

y - значение пикселя исходного изображения;

y^ - значение параметра L (яркости) пикселя отфильтрованного изображения; y - значение параметра L (яркости) пикселя исходного изображения; уи - значение параметра U (переход от зеленого к красному) пикселя отфильтрованного изображения;

y - значение параметра U (переход от зеленого к красному) пикселя исходного изображения;

y^ - значение параметра V (переход от синего к фиолетовому) пикселя отфильтрованного изображения;

y - значение параметра V (переход от синего к фиолетовому) пикселя исходного изображения;

L, U, V - параметры цветовой модели CIE Luv.

Как правило, среднеквадратическая ошибка (RMSE) используется для измерения эффекта шумоподавления, а средняя абсолютная ошибка (MAE) используется для измерения сохранности деталей и формы контуров на отфильтрованном изображении в цветовой модели RGB. Russo [Russo, 2013] и Ponomarenko [Ponomarenko, 2013] указывают, что критерии RMSE и MAE не могут одновременно точно измерить эффект шумоподавления и сохранить форму контуров ROI. Для этой цели используется критерий нормализованной цветоразности NCD.

Критерий NCD оценивается в цветовом пространстве CIE Luv, что дает эффект перцептивной равномерности восприятия, близкого к человеческому, т. е. экспертному. Для расчета качества фильтрации тестового изображения микроскопии анализа мокроты, окрашенной по методу Циля - Нильсена LOG фильтром с эффектом повышением высоких частот, использовался именно этот критерий оценки качества фильтрации (таблица 1). Параллельно качество фильтрации оценивалось экспертным методом.

Таблица 1 Table 1

Качество фильтрации тестового изображения LOG фильтром с фильтрацией высоких частот Filtering quality of the test image by LOG filter with high-frequency filtering

A NCD

0 0,218004

1 0,217305

2 0,216894

3 0,216761

4 0,216692

5 0,216656

6 0,216704

7 0,216725

8 0,216749

9 0,216785

10 0,216869

Опираясь на график, представленный на рисунке (7), и таблицу (1), можно сказать, что, начиная со значения параметра А, равного 5, начинается ухудшение как численного значения критерия NCD, так и существенно изменяется форма контура микобактерии туберкулеза -рисунок 6б. Кроме того, контур микобактерии начинает изменять свою форму раньше -начиная со значения параметра А=2,5, когда график заканчивает резкое снижение и переходит в плавную фазу.

Рис. 7. Качество фильтрации тестового изображения LOG фильтром с подъемом высоких частот Fig. 7. Filtering quality of the test image by LOG filter with high-frequency

Заключение

Оператор лапласиана-гауссиана можно применять к цветным изображениям, достигая при этом эффекта сегментации и отделения фона. Оптимально при этом использовать такую операцию, как свертка исходного изображения с дискретным ядром фильтра LOG - такая операция вычислительно простая, с хорошим быстродействием, также включена в базовые библиотеки компьютерного зрения.

Для дискретизации лапласиана-гауссиана можно использовать формулы (2-3), подбирая необходимые параметры: значение сигма, размерность фильтра, форму с диагональными элементами или с отсутствием таковых. Для повышения эффективности фильтрации - увеличения резкости, уменьшения количества артефактов, можно использовать эффект повышения высоких частот (формула 5).

В случае использования оператора лапласиана-гауссиана для задачи фильтрации изображений микроскопии анализов мокроты, окрашенных по методу Циля - Нильсена и полученных по стандартам, принятым в РФ, рекомендуется использовать ядро свертки 9х9 с усилением высоких частот и с диагональными компонентами.

В качестве критерия качества фильтрации, для одновременного отслеживания эффекта шумоподавления и сохранения формы контуров, лучше всего применять критерий нормализованной цветоразности (NCD) с заданной погрешностью изменения формы.

Список литературы

1. Глобальный доклад о туберкулезе ВОЗ за 2019 год. URL: http://www.who.int/tb/publications/ global_report/ru/ (дата обращения: 20 марта 2020).

2. Гонсалес Р., Вудс Р. 2005. Цифровая обработка изображений. М., Техносфера, 1072.

3. Минздрав России. 2003. О совершенствовании противотуберкулезных мероприятий в Российской Федерации. Приказ. М., 2003, 109.

4. Наркевич А.Н., Шеломенцева И.Г., Виноградов К.А., Сысоев С.А. 2017. Сравнение методов сегментации цифровых микроскопических изображений мокроты, окрашенных по методу Циля -Нильсена. Инженерный вестник Дона. 4: 1-11.

5. Наркевич А.Н. 2017. Алгоритмы сегментации цифровых микроскопических изображений мокроты, окрашенной по методу Циля - Нильсена. World Science Proceedings of articles the international scientific conference (Карловы Вары - Москва, 28-29 января 2017). М, МЦНИП: 431-436.

6. Наркевич А.Н., Виноградов К.А., Корецкая Н.М., Соболева В.О. 2017. Сегментация микроскопических изображений мокроты, окрашенной по методу Циля - Нильсена, с использованием вейвлет-преобразования Mexican Hat. Acta Biomedica Scientifica. Том 2. 5 (1): 141-146.

7. Прэтт У. 1982. Цифровая обработка изображений. Кн.2. М., Мир, 480.

8. Севастьянова Э.В. 2009. Совершенствование микробиологической диагностики туберкулеза в учреждениях противотуберкулезной службы и общей лечебной сети: дисс. .. .д-ра биол. наук. Москва, 395.

9. Шеломенцева И.Г. 2017. Результаты фильтрации и сегментации изображений анализа мокроты, окрашенной по методу Циля - Нильсена. International journal of advanced studies. 7 (4-2): 110-114.

10. Bhairannawar, S.S., Patil, A.N., Janmane, A.S., Huilgol, M.V. 2017. Color image enhancement using Laplacian filter and contrast limited adaptive histogram equalization. Innovations in Power and Advanced Computing Technologies (i-PACT): 1-5.

11. Dey N., Ashour A.S., Shi F., Balas V.E. 2018. Soft Computing Based Medical Image Analysis. Academic Press, 292.

12. Gonzalez R.C., Woods R.E., Eddins S.L. 2009. Digital Image Processing using Matlab. Gatesmark Publishing, 827.

13. Millan M.S., Valencia E. 2004. Laplacian filter based on color difference for image enhancement. Proceedings of SPIE - The International Society for Optical Engineering: 1259-1264.

14. Morton K.W., Mayers D.F. 2005. Numerical solution of partial differential equations. Cambridge University Press, 385.

15. Ponomarenko N., Battisti F., Egiazarian K., Astola J., Lukin V. 2009. Metrics performance comparison for color image data-base. In: Proceedings of the 4th International Workshop on VideoProcessing and Quality Metrics for Consumer Electronics (Scotts-dale, Arizona, USA, 14-16 January, 2009). 1-6.

16. Russo F. 2013. Accurate tools for analyzing the behavior of impulse noise reduction filters in color images. Journal of Signal and Information Processing, Scientific Research Publishing. 4: 42-50.

17. Russo F. 2014. Performance Evaluation of Noise Reduction Filters for Color Images through Normalized Color Difference (NCD) Decomposition. IRSN Machine Vision: 1-11.

18. Sunada T. 2008. Discrete geometric analysis. Proceedings of Symposia in Pure Mathematics. 77:

51-86.

19. Szeliski R. 2010. Computer Vision: Algorithms and Applications. Springer, 957.

20. Wang R. 2012. Introduction to Orthogonal Transforms. With Applications in Data Processing and Analysis. Cambridge University Press, 528.

References

1. Global tuberculosis report 2017. URL: http://www.who.int/tb/publications/global_report/en/ (accessed 20 Mart 2020)

2. Gonzales R.C., Woods R.E. 2002. Digital Image Processing. Pearson Education. 965.

3. Ministry of Health of the Russian Federation. 2003. On improving tuberculosis measures in the Russian Federation. Order. М., 2003, 109. (in Russian)

4. Narkevich A.N., Shelomentseva I.G., Vinogradov K.A., Sysoev S.A. Comparison of segmentation methods for digital microscopic images of sputum stained by the Ziehl - Nielsen method. Engineering journal of Don. 4: 1-11. (in Russian)

5. Narkevich A.N. 2017. Algoritmy segmentatsii tsifrovykh mikroskopicheskikh izobrazheniy mokroty, okrashennoy po metodu Tsilya - Nil'sena [Segmentation Algorithms for Digital Microscopic Images of Sputum Stained by Ziehl-Nielsen Method]. World Science Proceedings of articles the international scientific conference. (Czech Republic, Karlovy Vary - Russia, Moscow, 28-29 January 2017). M, MTsNIP: 431-436.

6. Narkevich A.N., Vinogradov K.A., Koretskaya N.M., Soboleva V.O. 2017. Segmentatsiya mikroskopicheskikh izobrazheniy mokroty, okrashennoy po metodu Tsilya - Nil'sena, s ispol'zovaniem veyvlet-preobrazovaniya Mexican Hat [Segmentation of microscopic images of sputum stained with the Ziehl-Nielsen method using the Mexican Hat wavelet transform]. Acta Biomedica Scientifica. Vol. 2.5(1): 141-146.

7. Pratt W.K. 1978. Digital image processing. New York, A Wiley-Interscience publication, 725.

8. Sevast'yanova, E.V. 2009. Sovershenstvovanie mikrobiologicheskoy diagnostiki tuberkuleza v uchrezhdeniyakh protivotuberkuleznoy sluzhby i obshchey lechebnoy seti [Improving the microbiological diagnosis of tuberculosis in institutions of the TB service and the general treatment network]. Dis. .. .d-ra biol. sciences. Mosraw, 395.

9. Shelomentseva I.G. 2017. Results of filtration and segmentation of the images of analysis of sputum stained by Ziehl - Nielsen method. International journal of advanced studies. 7 (4-2): 110-114. (in Russian)