CC BY
36
Сравнение методов сегментации цифровых микроскопических изображений мокроты, окрашенной по методу Циля-Нильсена
1 12 I 3
А.Н. Наркевич , И.Г. Шеломенцева' , К.А. Виноградов , С.А. Сысоев
1 Красноярский государственный медицинский университет им. проф. В. Ф. Войно-Ясенецкого 2Сибирский федеральный университет, Красноярск 3Красноярский юридический техникум
Аннотация: Проведено сравнение различных методов сегментации цифровых изображений мокроты, окрашенной по методу Циля-Нильсена. Рассматривались следующие методы: пороговая бинаризация, метод бинаризации Оцу, детекторы границ (операторы Робертса, Собеля, Превитта, Робинсона и Кенни), детекторы углов Харриса и FAST (Features from Accelerated Segment Test) алгоритм, искусственная нейронная сеть и вейвлет-преобразование Mexican Hat (Мексиканская шляпа), а также функция поиска контуров библиотеки OpenCV. Сделано заключение о том, что использование вейвлет-преобразования Mexican Hat имеет наилучшее качество сегментации при сравнительно небольших временных затратах.
Ключевые слова: метод Циля-Нильсена, кислотоустойчивые микобактерии, сегментация цифровых изображений, детектор углов, FAST, оператор Кенни, оператор Собеля, оператор Робертса, оператор Превитта, оператор Робинсона, искусственные нейронные сети, OpenCV.
В основе автоматизированного распознавания изображений лежит задача классификации, решаемая с использованием различных математических методов [1-3]. Для осуществления качественной классификации изображений или объектов на изображении необходимо осуществление сегментации изображения для определения областей интереса. Целью статьи явилось сравнение различных методов сегментации цифровых микроскопических изображений мокроты, окрашенной по методу Циля-Нильсена.
Материалы и методы
Сравнение методов сегментации выполнено на цифровых микроскопических изображениях мокроты, окрашенной по методу Циля-Нильсена. Использование данного метода подразумевает обработку мокроты карболовым фуксином с дальнейшим обесцвечиванием 5% раствором серной
кислоты или 3% солянокислым спиртом и докрашиванием 0,25% раствором метиленового синего (Приказ Министерства здравоохранения Российской Федерации от 21 марта 2003 г. №109 «О совершенствовании противотуберкулезных мероприятий в Российской Федерации»). Кислотоустойчивые микобактерии при такой окраске окрашиваются в красный цвет, а окружающий фон - в синий.
В качестве методов сегментации цифровых изображений мокроты, окрашенной по методу Циля-Нильсена, рассматривались методы пороговой бинаризации, метод бинаризации Оцу, детекторы границ (операторы Робертса, Собеля, Превитта, Робинсона и Кенни), детекторы углов Харриса и FAST (Features from Accelerated Segment Test) алгоритм, сегментация с использованием искусственной нейронной сети и вейвлет-преобразования Mexican Hat (Мексиканская шляпа), а также функция поиска контуров библиотеки OpenCV [4-6].
Метод бинаризации Оцу - это алгоритм вычисления порога бинаризации для полутонового изображения, который позволяет разделить все пиксели изображения на два класса: пиксели объектов и пиксели фона. Порог рассчитывается с использованием анализа дисперсий яркости пикселей в формируемых классах таким образом, чтобы внутриклассовая дисперсия яркости пикселей была минимальной [7].
Группа операторов для выделения границ: операторы Робертса, Собеля, Превитта, Робинсона и Кенни, а также детектор углов Харриса основаны на свёртке изображения небольшими фильтрами [8].
Использование метода искусственной нейронной сети сводится к подбору минимальных и максимальных границ параметров H, S и V цветовой схемы HSV, внутри которых пиксели относятся к кислотоустойчивым микобактериям, а за их пределами - к другим объектам на изображении. Большинство данных границ установлены экспериментально путем ручного
подбора. Так, верхняя граница Н равна 360, верхняя граница S - 70, нижняя граница V - 70, верхняя граница V - 100. Однако, нижние границы H и S не удалось установить экспериментально, они подбираются индивидуально для каждого изображения [9].
Работа алгоритма с использованием вейвлет-преобразования Mexican Hat представляет собой попиксельное преобразование изображения таким образом, что конечное значение цвета пикселя является произведением его первоначального значения и значений его окружающих пикселей на определенные коэффициенты. Специализированный вейвлет Mexican Hat позволяет значения цветов всех пикселей на изображении перевести в цвета с различными комбинациями максимальных и минимальных значений параметров R, G и B (всего 8 цветов). Таким образом, независимо от количества цветов пикселей в исследуемом изображении, после его преобразования оно состоит только из 8 цветов: черного, синего, зеленого, голубого, красного, малинового, желтого и белого. В последующем исключение черных, синих, зеленых и голубых пикселей, имеющих значение R равное 0, позволяет оставить на изображении только объекты, которые с большой вероятностью являются кислотоустойчивыми микобактериями [10].
Сравнение методов сегментации выполнено на одном цифровом микроскопическом изображении, окрашенном по методу Циля-Нильсена (рис. 1), полученном при микроскопии с использованием тринокулярного микроскопа Микромед 1 вар. 3-20 при увеличении 10х60 с установленной цифровой камерой ToupCam UCM0S01300KPA с разрешением 0,3 MP.
Для оценки качества сегментации изображений оценивались возможность использования сегментированных на изображении объектов для дальнейшего распознавания и время выполнения методов сегментации.
Рис. 1 - Оригинальное цифровое микроскопическое изображение мокроты,
окрашенной по методу Циля-Нильсена
Оценка времени выполнения сегментации изображений с применением приведенных выше алгоритмов осуществлялась на персональном компьютере со следующими характеристиками: процессор Intel® Core™ i5-3330S 2,70 GHz, оперативная память 4,00 ГБ, 32-разрядная операционная система Microsoft Windows 7 Корпоративная Service Pack 1. При осуществлении оценки времени сегментации учитывалось только время выполнения всего алгоритма без учета времени прорисовки полученного результата, так как сегментация в автоматизированном анализе изображения, как правило, применяется в качестве промежуточного этапа, результаты которого не требуется выводить на экран.
При использовании методов пороговой бинаризации с выбранными в качестве порога бинаризации показателями: средняя яркость изображения и разность между средней яркостью и стандартным отклонением яркости изображения были получены изображения, приведенные на рис. 2.
Результаты и обсуждение
Рис. 2 - Бинаризованные изображения: а - с применением пороговой бинаризации с выбранной в качестве порога средней яркости изображения, б - с применением метода бинаризации Оцу
На рис. 2а видно, что в результате пороговой бинаризации с выбранной в качестве порога средней яркости изображения исключается значительная часть изображения, на которой отсутствуют кислотоустойчивые микобактерии, но также частично исключаются и сами кислотоустойчивые микобактерии с изображения. При этом после использования данной бинаризации объекты, которые являются микобактериями, неотделимы от оставшегося фона. Это не позволяет использовать данный метод для сегментации без дополнительного дальнейшего преобразования изображения.
Результаты, приведенные на рис. 2б, свидетельствуют о том, что при выборе метода бинаризации Оцу получены более ограниченные объекты, но с изображения исключается большое число кислотоустойчивых микобактерий. Применение в качестве порога разности между средней яркостью и стандартным отклонением яркости изображения дает визуально практически такой же результат, как и метод бинаризации Оцу.
Использование детекторов границ, таких как: операторы Робертса, Робинсона и Кенни (рис. 3) дают результаты, использование которых в
II Инженерный вестник Дона, №4 (2017) НИ ivdon.ru/ru/magazine/arcliive/n4y2017/4430
качестве сегментированного изображения для дальнейшего распознавания объектов не представляется возможным. При использовании операторов Собеля и Превитта был получен результат визуально схожий с результатом применения оператора Робинсона (рис. 2б).
Рис. 3 - Преобразованные изображения с применением: а - оператора Робертса, б - оператора Робинсона, в - оператора Кенни
Объекты на цифровых микроскопических изображениях мокроты, окрашенных по методу Циля-Нильсена, имеют довольно маленькие размеры. Использование приведенных выше детекторов границ приводит к слиянию выделенных границ объектов и не позволяет выделить объекты для дальнейшего распознавания. Кроме того, у многих объектов границы
выделяются не полностью, что требует дополнительного применения алгоритмов, замыкающих данные границы для выделения целого объекта, а не его части.
Применение операторов Собеля, Превитта и Робинсона дает визуально практически один и тот же результат, использование которого, ввиду слияния большого числа границ, не представляется возможным.
Довольно четкие и однообразные по яркости границы позволяет получить применение оператора Кенни. Однако, как уже было сказано выше, многие границы имеют незавершенный характер, что затрудняет использование получаемых результатов для дальнейшего распознавания объектов.
Использование детектора углов Харриса, FAST-алгоритма и функции поиска контуров также дает неудовлетворительный результат при визуальной оценке полученных изображений.
Использование искусственной нейронной сети и вейвлет-преобразования Mexican Hat позволяет получить приемлемый результат (рис. 4), заключающийся в исключении с изображения фоновых участков и наличие на изображении объектов, которые в дальнейшем должны быть классифицированы и отнесены или к кислотоустойчивым микобактериям, или к иным объектам.
Результаты оценки времени работы методов сегментации изображений представлены в таблице 1. Наибольшее время необходимо для сегментации изображения с применением искусственной нейронной сети, что может ограничивать использование данного метода для автоматизированной бактериоскопической диагностики. Наиболее оптимальное соотношение качества и скорости сегментации изображений имеет вейвлет-преобразование Mexican Hat.
N Инженерный вестник Дона, №4 (2017) ivdon.ru/ru/magazine/arcliive/n4y2017/4430
Рис. 4 - Преобразованное изображение с применением: а - искусственной нейронной сети, б - вейвлет-преобразования Mexican Hat
Таблица № 1
Время работы методов сегментации
№ Метод Время, сек
1 Пороговая бинаризация, порог - средняя яркость 0,016
2 Пороговая бинаризация, порог - разность между средней и стандартным отклонением яркости 0,025
3 Метод бинаризации Оцу 0,139
4 Детектор границ Робертса 0,016
5 Детектор границ Собеля 0,022
6 Детектор границ Превитта 0,015
7 Детектор границ Робинсона 0,016
8 Детектор границ Кенни 0,010
9 Детектор углов Харриса 0,051
10 FAST-алгоритм 0,009
11 Искусственная нейронная сеть 3,158
12 Вейвлет-преобразование Mexican Hat 0,250
13 Функция поиска контуров библиотеки OpenCV 0,030
В связи с тем, что большинство других сравниваемых методов сегментации имеют значительно меньшее время работы, то их использование возможно в качестве одного из этапов сегментации изображения. Они могут
применяться либо на заранее предобработанном изображении, либо с использованием дополнительной постобработки после их применения.
Таким образом, полученные результаты сравнения методов сегментации цифровых микроскопических изображений мокроты, окрашенной по методу Циля-Нильсена свидетельствуют о возможности использования искусственной нейронной сети и вейвлет-преобразования Mexican Hat для сегментации данных изображений и их включения в автоматизированные системы бактериоскопической диагностики туберкулеза. Использование вейвлет-преобразования Mexican Hat имеет значительное преимущество перед другими методами сегментации по показателям качество/время сегментации изображения.
1. Андронова Н.Е., Гребенюк П.Е., Чмутин А.М. Алгоритм и программная реализация управления оттеночным контрастом цифровых изображений // Инженерный вестник Дона. 2016. №4. URL: ivdon.ru/uploads/article/pdf/IVD_30_andronova_New.pdf_48d5e0a615.pdf.
2. Rodehorst V., Koschan A. Comparison and evaluation of feature point detectors. 5th International Symposium Turkish-German Joint Geodetic Days, 2006. URL: pdfs.semanticscholar.org/1d8a/4cff206e229f480b8c92fc04f67f231cc788.pdf.
3. Liu Q. A location-to-segmentation strategy for automatic exudate segmentation in color retinal fundus images // Computerized medical imaging and graphics. 2016. №55. pp. 78-86.
4. Сорокин М.И. Методы распознавания образов на изображениях // Аллея науки. 2017. №9. С. 895-906.
5. Воронин В.В., Сизякин Р.А., Гапон Н.В., Франц В.А., Колосов А.Ю. Алгоритм реконструкции изображений на основе анализа локальных
Заключение
Литература
N Инженерный вестник Дона, №4 (2017) ivdon.ru/ru/magazine/arcliive/n4y2017/4430
бинарных окрестностей // Инженерный вестник Дона. 2013. №3. URL: ivdon.ru/ru/magazine/archive/n3y2013/1857.
6. Kaehler A. Learning OpenCV 3. Computer Vision in C++ with the OpenCV Library. O'Reilly Media, 2016. 1024 p.
7. Liao P.-S., Chen T.-Sh. A Fast Algorithm for Multilevel Thresholding // Journal of information science and engineering. 2001. 17. pp. 713-727.
8. Калиниченко Ю.В. Анализ алгоритмов выделения контуров цифровых изображений // Научные труды sworld. 2015. №1. С. 14-17.
9. Наркевич А.Н., Виноградов К.А., Корецкая Н.М., Соболева В.О. Сегментация микроскопических изображений мокроты, окрашенной по методу Циля-Нильсена, с использованием искусственных нейронных сетей // Вестник новых медицинских технологий. 2017. №3. С. 12-19.
10. Наркевич А.Н. Алгоритмы сегментации цифровых микроскопических изображений мокроты, окрашенной по методу Циля-Нильсена // World Science Proceedings of articles the international scientific conference. Karlovy Vary - Moscow: МЦНИП. 2017. С. 431-436.
References
1. Andronova N.E., Grebenyuk P.E., Chmutin A.M. Inzenernyj vestnik Dona (Rus). 2016. №4. URL: ivdon.ru/uploads/article/pdf/IVD_30_andronova_New.pdf_48d5e0a615.pdf.
2. Rodehorst V., Koschan A. Comparison and evaluation of feature point detectors. 5th International Symposium Turkish-German Joint Geodetic Days, 2006. URL: pdfs.semanticscholar.org/1d8a/4cff206e229f480b8c92fc04f67f231cc788.pdf.
3. Liu Q. Computerized medical imaging and graphics. 2016. №55. pp.7886.
4. Sorokin M.I. Alleya nauki. 2017. №9. pp. 895-906.
5. Voronin V.V., Sizyakin R.A., Gapon N.V., Frants V.A., Kolosov A.Yu. Inzenernyj vestnik Dona (Rus). 2013. №3. URL: ivdon.ru/ru/magazine/archive/n3y2013/1857.
6. Kaehler A., Bradsk G. Learning OpenCV 3. Computer Vision in C++ with the OpenCV Library. O'Reilly Media, 2016. 1024 p.
7. Liao P.-S., Chen T.-Sh. Journal of information science and engineering. 2001. 17. pp. 713-727.
8. Kalinichenko Yu.V. Nauchnye trudy sworld. 2015. №1. pp. 14-17.
9. Narkevich A.N., Vinogradov K.A., Koretskaya N.M., Soboleva V.O. Vestnik novykh meditsinskikh tekhnologiy. 2017. №3. pp. 12-19.
10. Narkevich A.N. Algoritmy segmentatsii tsifrovykh mikroskopicheskikh izobrazheniy mokroty, okrashennoy po metodu Tsilya-Nil'sena [Algorithms for segmenting digital microscopic images of sputum stained by the method of Ziehl-Nielsen]. World Science Proceedings of articles the international scientific conference. Karlovy Vary - Moscow: MTsNIP. 2017. pp. 431-436.
