CC BY
32
JOURNAL OF NEW MEDICAL TECHNOLOGIES, eEdition - 2018 - N 3
УДК: 616-093 DOI: 10.24411/2075-4094-2018-15963
СЕГМЕНТАЦИЯ САМООРГАНИЗУЮЩЕЙСЯ КАРТОЙ КОХОНЕНА ЦИФРОВЫХ МИКРОСКОПИЧЕСКИХ ИЗОБРАЖЕНИЙ МОКРОТЫ, ОКРАШЕННОЙ ПО МЕТОДУ
ЦИЛЯ-НИЛЬСЕНА
С.А. СЫСОЕВ*, А.Н. НАРКЕВИЧ**, И.Г. ШЕЛОМЕНЦЕВА*****, К.А. ВИНОГРАДОВ**,
П.М. СОБОЛЕВ**
КГБПОУ «Красноярский юридический техникум», ул. Устиновича, д. 9, г. Красноярск, Красноярский край, 660073, Россия ФГБОУ ВО «Красноярский государственный медицинский университет им. проф. В. Ф. Войно-Ясенецкого» Минздрава России, ул. Партизана Железняка, д.1, г. Красноярск, Красноярский край, 660022, Россия ФГАОУ ВО «Сибирский федеральный университет», пр. Свободный, д.79, г. Красноярск, Красноярский край, 660041, Россия
Аннотация. Целью исследования явилась разработка алгоритма сегментации цифровых микроскопических изображений мокроты, окрашенной по методу Циля-Нильсена, с использованием математического аппарата самоорганизующихся карт Кохонена, реализованного на графическом процессоре с применением технологии CUDA (Compute Unified Device Architecture). В качестве материала для построения самоорганизующейся карты Кохонена были использованы 8314952 фрагмента изображений размером 10*10 пикселей, содержащих как фон, так и фрагменты кислотоустойчивых микобактерий. Архитектура самоорганизующейся карты Кохонена состояла из 1024 нейронов, расположенных в виде прямоугольной сетки с ребром в 32 нейрона, а каждый нейрон имел 300 весов, расположенных в памяти видеокарты. В статье приведены этапы построения данной карты, включая инициализацию, предварительное сглаживание и обучение. Для выполнения сегментации микроскопического изображения мокроты, окрашенной по методу Циля-Нильсена, на полученной карте Кохонена определялись нейроны, откликающиеся на фрагменты изображений, содержащих кислотоустойчивые микобактерии. Показаны результаты сегментации цифровых микроскопических изображений мокроты, окрашенной по методу Циля-Нильсена, и сделано заключение о возможности использования данной самоорганизующейся карты для дальнейшей разработки диагностических систем для автоматизированной бактериоскопической диагностики туберкулеза легких.
Ключевые слова: медицинские изображения, сегментация изображений, бактериоскопическая диагностика, туберкулез легких, GPU, CUDA.
SEGMENTATION OF DIGITAL MICROSCOPIC IMAGES OF SPUTUM STAINED BY
THE ZIEHL-NIELSEN METHOD USING THE KOHONEN SELF-ORGANIZING MAP
S.A. SYSOEV*, A.N. NARKEVICH**, I.G. SHELOMENCEVA*****, K.A. VINOGRADOV**,
P.M. SOBOLEV**
Krasnoyarsk College of Law, Ustinovich Str., 9, Krasnoyarsk, 660073, Russia
Krasnoyarsk State Medical University, Partizan Zheleznyak Str., 1, Krasnoyarsk, 660022, Russia Siberian Federal University, Svobodnyy Str, 79, Krasnoyarsk, 660041, Russia
Abstract. The purpose of the study was to develop a segmentation algorithm for digital microscopic images of sputum stained by the method of Ziehl-Nielsen using the mathematical apparatus of the Kohonen self-organizing maps implemented on the GPU using CUDA (Compute Unified Device Architecture). As a material for constructing the Kohonen self-organizing maps were used 8314952 fragment images of size 10*10 pixels that contain the background, and fragments of acid-fast bacilli. The architecture of the Kohonen self-organizing maps consisted of 1024 neurons arranged in a rectangular grid with an edge 32 of a neuron, and each neuron had 300 of Libra, located in video memory. The article presents the stages of construction of this card, including initialization, pre-smoothing and training. To perform segmentation of a microscopic image of sputum stained by the Tsily-Nielsen method, the neurons that respond to fragments of images containing acid-fast mycobacteria were determined on the obtained Kohonen map. The authors showed the results of segmenting digital microscopic images of sputum stained by the method of Ziehl-Nielsen and made a conclusion about the possibility of using this self-organizing map for further development of diagnostic systems for automated bacterioscopic diagnosis of pulmonary tuberculosis.
JOURNAL OF NEW MEDICAL TECHNOLOGIES, eEdition - 2018 - N 3
Key words: medical image, image segmentation, microscopy diagnosis, pulmonary tuberculosis, GPU, CUDA.
Использование автоматизированного анализа цифровых изображений на сегодняшний день не является новой задачей [4, 7], но ее применение находит все большее значение для здравоохранения [9, 10, 11]. Одной из таких задач является анализ микроскопических изображений препаратов мокроты, окрашенной по методу Циля-Нильсена, для автоматизированной бактериоскопической диагностики туберкулеза органов дыхания. Первым этапом решения данной задачи является разработка алгоритмов сегментации изображения для исключение тех участков изображения, которые не имеют ценности для дальнейшего анализа [2, 8]. Существующие универсальные алгоритмы сегментации изображений не подходят для решения таких специфических задач [3], в связи с чем, поиск математического аппарата их реализации является актуальным.
Цель исследования - разработка алгоритма сегментации цифровых микроскопических изображений мокроты, окрашенной по методу Циля-Нильсена, с использованием математического аппарата самоорганизующихся карт Кохонена, реализованного на графическом процессоре с применением технологии CUDA.
Материалы и методы исследования. В качестве метода сегментации микроскопических изображений мокроты, окрашенной по методу Циля-Нильсена, который подразумевает обработку мокроты карболовым фуксином с дальнейшим обесцвечиванием 5% раствором серной кислоты или 3% солянокислым спиртом и докрашиванием 0,25% раствором метиленового синего [5], рассматривался вариант самоорганизующейся карты Кохонена [6], реализованной на графическом процессоре по технологии CUDA [1] и обученной на фрагментах изображений размером 10*10 пикселей вырезанных из микроскопических снимков размером 2290*1690 пикселей полученных с использованием тринокулярного микроскопа Микромед 1 вар. 3-20 при увеличении 10*60 с установленной цифровой камерой ToupCam UCMOS01300KPA с разрешением 3,0 MP.
Для формирования набора обучающих фрагментов изображений выполнялся проход окном размером 10*10 пикселей с шагом 5 пикселей по 30 микроскопическим снимкам мокроты, окрашенных по методу Циля-Нильсена. Таким образом, было получено 4596480 обучающих образцов. Так как кислотоустойчивые микобактерии на снимках имеют малый размер и занимают малую долю площади относительно площади фона, то при описанном выше подходе создания обучающих образцов фрагменты микобактерий встречаются редко. Для увеличения доли обучающих образцов, содержащих фрагменты микобактерий, на всех 30 снимках в ручном режиме были выделены и вырезаны 1649 изображений, содержащих только 1 кислотоустойчивую микобактерию (рис. 1). Полученные 1649 изображений вращались на 90o, 180o, 270o, тем самым было увеличено количество изображений, содержащих микобактерии, до 6596. По каждому из 6596 изображений, содержащих кислотоустойчивые микобактерии, выполнялся проход окном размером 10*10 пикселей с шагом 1 пиксель. Таким способом было получено дополнительно 3718472 обучающих образцов, на большинстве которых содержатся фрагменты микобактерий. Всего набор обучающих фрагментов состоял из 8314952 образцов.
Рис. 1. Фрагмент оригинального цифрового микроскопического изображения мокроты, окрашенной по методу Циля-Нильсена (увеличение 10*60), с выделенными кислотоустойчивыми микобактериями
JOURNAL OF NEW MEDICAL TECHNOLOGIES, eEdition - 2018 - N 3
Обучение самоорганизующейся карты Кохонена и сегментация микроскопических изображений выполнялись на персональном компьютере со следующими характеристиками: процессор Intel® Core™ /5-7500 3,40 GHz, оперативная память 16 ГБ, видеокарта GeForce GTX 1050T/, твердотельный накопитель Intel 545s объемом 256 ГБ, 64-разрядная операционная система Ubuntu Server 17.10.
Результаты и их обсуждение. В данной работе обучалась самоорганизующаяся карта Кохонена, состоящая из 1024 нейронов, расположенных в виде прямоугольной сетки с ребром в 32 нейрона. Каждый нейрон имел 300 весов, расположенных в памяти видеокарты. На рис. 2 изображена визуализация весов нейронов карты инициализированных случайными значениями из отрезка от 0 до 255. Для создания глобального упорядочивания карты было произведено предварительное сглаживание в течение 1 эпохи со сглаживающим ядром, имеющим ширину окрестности равной 2/3 размера карты (рис. 3).
Рис. 2. Визуализация весов нейронов самоорганизующейся карты Кохонена, инициализированных
случайными значениями из отрезка от 0 до 255
Каждый обучающий фрагмент преобразовывался в вектор, состоящий из 300 компонент, которые содержат Я, О, В компоненты цвета пикселей данного фрагмента (10*10 пикселей * 3 компонента цвета). Индексы Я, О, В компонент для пикселя с координатами х и у определялись следующими выражениями:
й=зе-Ьух1а + Ох 100,
.
Полученные векторы обучающих фрагментов записывались в текстовый файл, объем которого составил 13 ГБ. Код самоорганизующейся карты Кохонена для графического процессора был реализован в соответствии с технологией СПБА на языке С.
Процесс вычисления наименьшего евклидового расстояния между весами нейронов самообучающейся карты Кохонена и обучающим примером, а также процесс обновления весов нейронов могут выполняться параллельно. Учитывая это, для обработки действий связанных с нейроном создавался блок потоков, в котором каждый поток обрабатывал отдельный компонент вектора весов данного нейрона и компонент вектора обучающего фрагмента. При поиске наименьшего евклидового расстояния между весами нейронов и обучающим примером, а также обновления весов создавалось 1024 блока потоков, по 1 блоку для нейрона. В каждом блоке создавалось 300 потоков, по 1 потоку на 1 вес. После этапа предварительного сглаживания производилось обучение карты в течение 5 эпох со сглаживающим ядром, имеющим ширину окрестности равной 1/5 размера карты с постепенным уменьшением с течением времени в зависимости от эпохи до 0 (рис. 4).
¡ззшвЙ
ШМШ'ФЬ
JOURNAL OF NEW MEDICAL TECHNOLOGIES,
eEdition - 2018 - N 3
Рис. 3. Визуализация весов самоорганизующейся карты Кохонена после предварительного сглаживания в течение 1 эпохи со сглаживающим ядром, имеющим ширину окрестности равной 2/3 размера карты
■ ■■■■
Рис. 4. Визуализация весов самоорганизующейся карты Кохонена после обучения в течение 5 эпох со сглаживающим ядром, имеющим ширину окрестности равной 1/5 размера карты с постепенным
уменьшением до 0
Для определения нейронов, откликающихся только на фрагменты с кислотоустойчивыми мико-бактериями, был выполнен проход окном 10*10 пикселей по вертикали и горизонтали с шагом 1 пиксель по первоначальным снимкам мокроты размером 2290*1690. Для фрагмента изображения, оказавшегося в данном окне, определялся нейрон победитель. Для всех 1024 нейронов было подсчитано, на каком количестве фрагментов он являлся победителем. По такому же принципу был выполнен подсчет для
6596 изображений, содержащих микобактерии. Из количества откликов нейронов, подсчитанных на 6596 изображений, содержащих кислотоустойчивые микобактерии, было вычтено количество откликов на фрагментах из первоначальных снимков, содержащих 1649 выделенных микобактерий. На рис. 5 изображена гистограмма положительной разности количества откликов нейронов, то есть тех нейронов, на которых количество откликов на фрагменты, с кислотоустойчивыми микобактериями, больше, чем на фрагменты, содержащие только фон.
Рис. 5. Гистограмма количества положительных откликов после вычитания из количества откликов нейронов на фрагментах, содержащих кислотоустойчивые микобактерии, количества откликов на
фрагментах, содержащих только элементы фона
Нейроны, у которых количество откликов осталось положительным являются нейронами, которые откликаются на фрагменты, содержащие кислотоустойчивые микобактерии. На рис. 6 данные нейроны выделены рамкой и образуют кластер. Все остальные нейроны откликаются на элементы фона.
Рис. 6. Визуализация весов самоорганизующейся карты Кохонена с выделенными нейронами, откликающимися на фрагменты, содержащие кислотоустойчивые микобактерий
Для выполнения сегментации микроскопического изображения мокроты, окрашенной по методу Циля-Нильсена, выполняется проход окном 10*10 пикселей и определяется нейрон победитель для каждого фрагмента изображения, если данный нейрон относится к группе нейронов, откликающихся на фрагменты, содержащие кислотоустойчивые микобактерии, то данный фрагмент остается на изображении, иначе закрашивается белым цветом. Результат применения данного алгоритма показан на рис. 7.
Рис. 7. (а) - фрагмент микроскопического изображения мокроты с выделенными кислотоустойчивыми микобактериями вручную, (б) - сегментация данного фрагмента разработанным алгоритмом (увеличение
10*60, окраска по методу Циля-Нильсена)
Заключение. Таким образом, с использованием математического аппарата самоорганизующейся карты Кохонена разработан алгоритм сегментации микроскопических цифровых изображений мокроты, окрашенной по методу Циля-Нильсена. Данный алгоритм может быть использован в автоматизированных системах бактериоскопической диагностики туберкулеза для нахождения на изображениях различных объектов схожих с кислотоустойчивыми микобактериями с целью их последующего распознавания в качестве кислотоустойчивых микобактерий или иных объектов. Внедрение таких автоматизированных компьютерных систем, наряду с разработкой аппаратной части, позволяющей в автоматическом режиме осуществлять цифровую микроскопическую съемку микроскопических препаратов мокроты, позволит повысить качество микробиологической диагностики туберкулеза.
Литература
1. Боресков А.В., Харламов А.А. Основы работы с технологией CUDA. М.: ДМК Пресс, 2010. 232 с.
2. Косых Н.Э., Смагин С.И., Гостюшкин В.В., Савин С.З., Литвинов К.А. Система автоматизированного компьютерного анализа медицинских изображений // Информационные технологии и вычислительные системы. 2011. №3. С. 51-56.
3. Наркевич А.Н., Шеломенцева И.Г., Виноградов К.А., Сысоев С.А. Сравнение методов сегментации цифровых микроскопических изображений мокроты, окрашенных по методу Циля-Нильсена // Инженерный вестник Дона. 2017. №4. URL: http://www.ivdon.ru/uploads/article/pdf/IVD_ 45_Narkevich_Shelomenceva.pdf_fb818d84aa.pdf.
4. Порев В.Н. Компьютерная графика. СПб.: БХВ-Петербург, 2002. 432 с.
5. Приказ Министерства здравоохранения Российской Федерации от 21 марта 2003 г. №109 «О совершенствовании противотуберкулезных мероприятий в Российской Федерации».
6. Кохонен Т. Самоорганизующиеся карты. М.: БИНОМ. Лаборатория знаний, 2013. 655 с.
7. Сойфер В.А. Компьютерная обработка изображений. Часть 2. Методы и алгоритмы // Соросов-ский образовательный журнал. 1996. №3. С. 110-121.
8. Agoston M.K. Computer graphics and geometric modeling: implementation and algorithms. London: Springer, 2005. 907 p.
9. Hsu C.Y., Lai Y.L., Chen C.C., Lee Y.T., Tseng K.K., Lai Y.K., Zheng C.Y., Jheng H.C. Time sequence image analysis of positron emission tomography using wavelet transformation // Technology and health care. 2015. №24. P. 393-400.
10. Liu D., Wang S., Huang D., Deng G., Zeng F., Chen H. Medical image classification using spatial adjacent histogram based on adaptive local binary patterns // Computers in Biology and Medicine. 2016. №72. P. 185-200.
11. Xu Z., Bagci U., Mansoor A., Kramer-Marek G., Luna B., Kubler A., Dey B., Foster B., Papadakis G.Z., Camp J.V., Jonsson C.B., Bishai W.R., Jain S., Udupa J.K., Mollura D.J. Computer-aided pulmonary image analysis in small animal models // Medical Physics. 2015. №7. P. 3896-3910.
References
1. Boreskov AV, Harlamov AA. Osnovy raboty s tekhnologiej CUD A [basics of CUD A technology]. Moscow: DMK Press; 2010. Russian.
2. Kosyh NEH, Smagin SI, Gostyushkin VV, Savin SZ, Litvinov KA. Sistema avtomatiziro-vannogo komp'yuternogo analiza medicinskih izobrazhenij [the system of automated computer analysis of medical images]. Informacionnye tekhnologii i vychislitel'nye sistemy. 2011;3:51-6. Russian.
3. Narkevich AN, SHelomenceva IG, Vinogradov KA, Sysoev SA. Sravnenie metodov segmentacii ci-frovyh mikroskopicheskih izobrazhenij mokroty, okrashennyh po metodu Cilya-Nil'sena [Comparison of methods of segmentation of digital microscopic images of sputum, painted by the method of tsilya-Nilsen]. Inzhe-nernyj vestnik Dona. 2017 [cited 2018 May 03];4 [about 6 p.]. Russian. Available from: http://www.ivdon.ru/uploads/article/pdf/IVD_ 45_Narkevich_Shelomenceva.pdf_fb818d84aa.pdf.
4. Porev VN. Komp'yuternaya grafika [Computer graphics]. Sankt-Peterburg: BHV-Peterburg; 2002. Russian.
5. Prikaz Ministerstva zdravoohraneniya Rossijskoj Federacii ot 21 marta 2003 g. №109 «O sover-shenstvovanii protivotuberkuleznyh meropriyatij v Rossijskoj Federacii» [Order No. 109 of the Ministry of health of the Russian Federation of 21 March 2003 on improving TB control in the Russian Federation]. Russian.
6. Kohonen T. Samoorganizuyushchiesya karty [self-Organizing maps]. Moscow: BINOM. Laboratoriya znanij; 2013. Russian.
7. Sojfer VA. Komp'yuternaya obrabotka izobrazhenij [Computer processing of images. Part 2. Methods and algorithms]. CHast' 2. Metody i algoritmy. Sorosovskij obrazovatel'nyj zhurnal. 1996;3:110-21. Russian.
8. Agoston MK. Computer graphics and geometric modeling: implementation and algorithms. London: Springer; 2005.
9. Hsu CY, Lai YL, Chen CC, Lee YT, Tseng KK, Lai YK, Zheng CY, Jheng HC. Time se-quence image analysis of positron emission tomography using wavelet transformation. Technology and health care. 2015;24:393-400.
10. Liu D, Wang S, Huang D, Deng G, Zeng F, Chen H. Medical image classification using spatial adjacent histogram based on adaptive local binary patterns. Computers in Biology and Medicine. 2016;72:185-200.
11. Xu Z, Bagci U, Mansoor A, Kramer-Marek G, Luna B, Kubler A, Dey B, Foster B, Papadakis GZ, Camp JV, Jonsson CB, Bishai WR, Jain S, Udupa JK, Mollura DJ. Computer-aided pulmonary image analysis in small animal models. Medical Physics. 2015;7:3896-910.
Библиографическая ссылка:
Сысоев С.А., Наркевич А.Н., Шеломенцева И.Г., Виноградов К.А., Соболев П.М. Сегментация самоорганизующейся картой Кохонена цифровых микроскопических изображений мокроты, окрашенной по методу Циля-Нильсена // Вестник новых медицинских технологий. Электронное издание. 2018. №3. Публикация 1-1. URL: http://www.medtsu.tula.ru/VNMT/Bulletin/E2018-3/1-1.pdf (дата обращения: 03.05.2018). DOI: 10.24411/2075-40942018-15963. *
* номера страниц смотреть после выхода полной версии журнала: URL: medtsu.tula.ru/VNMT/Bulletin/E2018-3/e2018-3.pdf
