CC BY
82
УДК 616 - 073.75 + 519.21
ПРОГРАММНОЕ ОБЕСПЕЧЕНИЕ АВТОМАТИЧЕСКОЙ КЛАССИФИКАЦИИ РЕНТГЕНОГРАММ ГРУДНОЙ КЛЕТКИ НА ОСНОВЕ ГИБРИДНЫХ КЛАССИФИКАТОРОВ
© 2018 г. Р. А. Томакова, С. А. Филист, *И. В. Дураков
ФГБОУ ВО «Юго-Западный государственный университет», г. Курск; *МУЗ скорой медицинской помощи, г. Курск
Цель работы - построение метода классификации патологических образований, предназначенного для автоматизированной обработки рентгеновских снимков грудной клетки. Методы. Для установления оптимальных параметров метода классификации патологических образований применялись дескрипторы Фурье, позволяющие сформировать пространство информативных признаков. Предложена гибридная технология классификации рентгенограмм грудной клетки, основанная на трехуровневой иерархической структуре. На первом уровне формируются «слабые» классификаторы, основанные на двух способах анализа данных. Первый способ основан на анализе амплитудных спектров Фурье в скользящем окне. Изображение последовательно сканируется окнами различного масштаба. В каждом окне определяется амплитудный спектр Фурье, на основе которого строят «слабый» классификатор. Он относит фрагмент изображения, попавшего в скользящее окно, к определенному классу. Второй способ основан на дескрипторах, полученных в результате аппроксимации гистограмм яркости в окне анализа. «Слабых» классификаторов получают столько, сколько масштабов окон анализа было выбрано. На втором иерархическом уровне объединяются решения «слабых» классификаторов внутри каждого способа анализа первого иерархического уровня. Окончательное решение принимает финальный классификатор, агрегирующий решения двух классификаторов второго иерархического уровня. Классификатор построен на основе нейронных сетей прямого распространения, обучаемых посредством реализации алгоритма обратного распространения ошибки. Результаты. Произведена оценка качества классификации морфологических образований на изображениях. Сформирован критерий проверки качества классификации, основанный на количестве неправильно классифицированных пикселей данного класса к общему количеству пикселей этого класса на эталонном изображении. Установлено, что предложенный метод многооконного спектрального преобразования позволяет осуществить дифференциальную диагностику пневмонии и онкологических морфологических образований по критерию не ниже 15 %. Вывод: результаты проведенных исследований могут быть использованы для построения интеллектуальных систем поддержки принятия решений по диагностике и прогнозированию социально значимых заболеваний.
Ключевые слова: рентгенограмма грудной клетки, классификатор, окно анализа, гистограмма яркости, спектр Фурье, агрегатор решений
SOFTWARE OF AUTOMATIC CLASSIFICATION OF A CHEST X-RAY BASED
ON HYBRID CLASSIFIERS
R. A. Tomakova, S. A. Filist, *I. V. Durakov
South-West State University, Kursk; *Municipal health care of emergency medical services, Kursk, Russia
The purpose of this research is to develop a method of classification of pathological formations, intended for the automated processing of x-ray images of the chest. Method to build classifiers with the aim of establishing the optimal parameters were applied to the Fourier descriptors, in order to form the space of informative features. Hybrid technology of classification of chest x-ray based on three-level hierarchic system is suggested. «Weak» classifiers, which are based on two ways of data analysis, are generated on the first level. The first approach of building the «weak» classifier is based on an analysis of amplitude of Fourier spectrum at a sliding window. X-ray pattern is scanning sequentially by windows of different scale. Each window determine the amplitude of Fourier spectrum with reference to which «weak» classifier is building. It assigns image segment, which is captured by sliding window, to certain class. The second approach of building the «weak» classifier is based on descriptors, resulting from approximation of intensity histogram on analysis window. The number of «weak» classifiers, based on two ways of analysis, is that of a number of the chosen scales of the windows. At the second hierarchic level, the solutions of the «weak» classifiers are combines in each way of analysis of the first hierarchic level. The definitive decision is taken by a final classifier, which aggregates the solutions of two classifiers of the second hierarchic level. The classifier built based on the neural networks of direct distrib. Results. Evaluated ution of trainees by implementing the algorithm of back propagation errors the quality of classification of the morphological formations in the images. Generated validation criterion of classification quality based on the number of incorrectly classified pixels in a given class to the total number of pixels of that class in the reference image. It is established that the proposed method of multi-window spectral transformation allows to perform differential diagnosis of pneumonia and oncological morphological formations by the criterion of not less than 15 %. Conclusion: The results of these studies can be used to build intelligent systems of decision support for the diagnosis and prediction of diseases.
Key words: chest x-ray, classifier, analysis window, intensity histogram, Fourier spectrum, solution aggregator
Библиографическая ссылка:
Томакова Р. А., Филист С. А., Дураков И. В. Программное обеспечение автоматической классификации рентгенограмм грудной клетки на основе гибридных классификаторов // Экология человека [Human Ecology]. 2018. № 6. С. 59-64.
Tomakova R. A., Filist S. A., Durakov I. V. Software of Automatic Classification of a Chest X-Ray Based on Hybrid Classifiers. Ekologiya cheloveka [Human Ecology]. 2018, 6, pp. 59-64.
Стратегическая цель государственной политики в сфере здравоохранения — снижение уровня заболеваемости населения. Поэтому одним из возможных путей сохранения здоровья населения является раннее обнаружение и качественная диагностика заболеваний лёгких. В соответствии с Приказом № 124н Министерства здравоохранения РФ от 21 марта 2017 г. «Об утверждении порядка и сроков проведения профилактических медицинских осмотров граждан в целях выявления туберкулеза» [1] более половины взрослого населения нашей страны ежегодно проходят рентгенологическое обследование легких для диагностики различных заболеваний легких.
Врачу-рентгенологу приходится просматривать большое количество рентгеновских снимков (РС), качество которых не всегда удовлетворительно, а размер сравнительно мал. Кроме того, яркость пикселей на изображении РС мало отличается у анатомических и патологических образований. Это затрудняет постановку диагноза врачом. Поэтому качественный анализ РС требует высокой квалификации врача-рентгенолога. При массовых обследованиях, например с помощью флюорографии, эта работа весьма утомительна и может привести к ошибкам. Широкое распространение компьютерной техники и информационных технологий создает условия для реализации автоматизированной обработки большого количества изображений. Поэтому повышение качества диагностики заболеваний легких на основе диагностических интеллектуальных систем анализа растровых изображений рентгенограмм грудной клетки и создание программного обеспечения автоматизированного рабочего места врача-рентгенолога является важной практической инновационной задачей в области медицины.
Обработка медицинских цифровых изображений на протяжении последних десятилетий является объектом пристального внимания исследователей. Множество работ посвящено математическим и программным методам в данной области, а также разработке аппаратных средств [2, 7, 8]. Интерес исследователей к современным средствам обработки рентгеновских медицинских изображений обусловлен возросшими требованиями к качеству и надежности разрабатываемых диагностических систем [3, 4, 9].
Для классификации изображений используются дескрипторы, получаемые посредством скользящих локальных окон, формируемых в координатах классифицируемых пикселей [3]. Одним из способов вычисления дескрипторов в локальным окне является нахождение двумерного спектра Фурье фрагмента изображения, попавшего в окно. Релевантность определенных таким образом дескрипторов (спектральных коэффициентов Фурье) определяют посредством нейросетевого моделирования [5, 6].
Для обработки цифровых биомедицинских изображений на кафедре биомедицинской инженерии Юго-Западного государственного университета (Курск) создано программное обеспечение, позволяющее получить набор дескрипторов, предназначенных для
построения классификаторов изображений. Исходный интерфейс (главное окно) этого программного обеспечения, разработанного в среде МаИаЬ 7.10, представлен на рис. 1.
Цифровая обработка изображений в среде МАНАВ X 1
1 файл изображение методы обработки изображений помощь
Пневмонш^двусторонняя-ТП7
Рис. 1. Исходный интерфейс программного обеспечения для обработки биомедицинских изображений в среде МайаЬ 7.10
Цель исследования заключается в разработке инструментальной среды, предназначенной для автоматической классификации изображений рентгенограмм на основе дескрипторов Фурье. В соответствии с поставленной целью для реализации возможностей создаваемого программного обеспечения необходимо было решить следующие задачи: разработать алгоритмическое и математическое обеспечения для гибридных нейросетевых структур, выделить программные модули, реализующие спектральные методы обработки изображений.
Методы
На основе выдвинутой концепции построения классификатора рентгенограмм грудной клетки применялись аналитические методы исследования с целью выявления оптимальных значений качественных и количественных параметров. В качестве объекта исследования для обработки и классификации изображений были использованы рентгенограммы грудной клетки пятидесяти пациентов больницы скорой медицинской помощи г. Курска, больных пневмонией, и десять рентгенограмм с морфологическими образованиями, соответствующими онкологическим заболеваниям. В качестве референтного класса применялись рентгенограммы здоровых людей (не больных пневмонией), полученные из базы данных пациентов, имевших положительные заключения о состоянии здоровья при устройстве на работу. Эта база данных достаточно обширна, и из нее тоже было отобрано пятьдесят снимков. Контрольные и обучающие выборки формировались по рентгеновским снимкам здоровых и больных пневмонией. По рентгеновским снимкам онкологических больных формировались только контрольные выборки. Согласно этой концепции рентгенограмма грудной клетки сканируется окнами
переменного размера. При этом первоначальный размер выделенного окна полагали равным 1 % от размера исходного изображения флюорограммы грудной клетки. Из модулей отсчетов оконного двумерного преобразования Фурье определялись дескрипторы Фурье. Для каждого размера окна строится классификатор, который относят к «слабым» классификаторам. В основе построения «слабого» классификатора были использованы дескрипторы, которые определялись по гистограмме яркости амплитудного двумерного спектра Фурье [2, 10]. На рис. 2 в качестве примера представлены два фрагмента рентгенограммы грудной клетки, полученных в окнах одного и того же размера. Справа показаны соответствующие им амплитудные спектры Фурье.
Рис. 2. Изображения оконных фрагментов рентгенограммы грудной клетки (слева) и их оконные двумерные преобразования Фурье (справа)
Результаты
При исследовании оконных спектров рентгенограмм грудной клетки были обнаружены эволюции
амплитудных спектров Фурье в зависимости от наличия или отсутствия патологии. Эти эволюции могут быть установлены посредством «слабых» классификаторов, построенных на основе обучаемых нейронных сетей. В качестве информативных признаков были использованы гистограммы яркости изображения оконного амплитудного спектра Фурье. Примеры таких гистограмм показаны на рис. 3.
Для сравнения, слева показаны гистограммы яркости соответствующих исходных изображений в окне. Анализ изображений, приведенных на рис. 2 и 3, показал, что форма гистограммы яркости оконных спектров имеет более высокую устойчивость по сравнению с соответствующими формами, получаемыми у изображений-оригиналов, что позволило на ее основе сформировать дескрипторы, воспользовавшись методикой, предложенной в [2, 5].
Второй «слабый» классификатор основан на дескрипторах, полученных в результате аппроксимации гистограмм в окне анализа. Для понимания этого метода построения «слабого» классификатора рассмотрим рис. 4. На рис. 4а слева показано окно анализа рентгенограммы в поле легкого без патологических изменений. Справа на этом рисунке приведена гистограмма яркости в этом окне.
Анализ аналогичных гистограмм пятидесяти различных рентгеновских снимков показал, что при отсутствии патологических изменений в окне анализа гистограммы имеют многомодальную форму. На рис. 4б слева проиллюстрировано окно анализа, которое моделирует наличие заболевания пневмонией. Для моделирования в окне анализа флюорограммы здорового пациента использовалась низкочастотная фильтрация посредством двумерного преобразования Фурье. При наличии низкочастотной фильтрации исчезает модальность гистограммы яркости, и гистограмма приобретает форму, близкую к треугольной.
На рис. 5 показаны окна анализа одного и того же изображения флюорограммы, у которого имеются сегменты, классифицируемые как пневмония.
Рис. 3. Гистограммы яркости оконных фрагментов рентгенограммы грудной клетки (справа) и гистограммы их оконных двумерных амплитудных преобразований Фурье (слева)
Рис. 4. Окна анализа и гистограммы яркости рентгенограммы: окно без патологии — а; модель окна с патологией, полученная в результате низкочастотной фильтрации окна без патологии — б
Рис. 5. Окна анализа и гистограммы яркости рентгенограммы: окно без патологии — а; окно с пневмонией — б
Анализ представленных изображений позволяет сделать вывод, что и у реальных патологических образований с пневмонией гистограммы яркости в окне анализа приобретают треугольную форму. Поэтому дескрипторы второго классификатора формируются как примитивы, аппроксимирующие гистограммы яркости в окне анализа.
«Слабые» классификаторы строятся для каждого размера окна. Для объединения «слабых» классификаторов в «сильные» используются обучаемые нейронные сети прямого распространения. Обучение классификаторов осуществляется для различной патологии и для каждого размера окна.
Обсуждение результатов
Таким образом, разработан трехуровневый классификатор и программное обеспечение для анализа
и классификации рентгеновских снимков, позволяющий осуществлять анализ амплитудных спектров Фурье и гистограммы яркости пикселей изображения в скользящем окне. Рентгеновское изображение последовательно сканируется скользящими окнами различного размера. По мере продвижения окна анализа по изображению формируется амплитудный спектр Фурье и гистограмма яркости исходного изображения. На основе анализа гистограмм амплитудного спектра Фурье и гистограмм яркости в окне получают дескрипторы, которые используют в качестве пространства информативных признаков для «слабых» классификаторов, построенных на основе обучаемых нейронных сетей. В рамках данной работы классификатор построен на основе нейронных сетей прямого распространения [6, 11]. В качестве основного принципа обучения классификатора в работе реализован алгоритм обратного распространения ошибки [6, 12]. При этом следует подчеркнуть, что отличительной особенностью алгоритма настройки нейронной сети является то, что сначала нейронная сеть настраивается на тестовых образцах, моделирующих пневмонию. Затем на втором этапе настройки с реальными образцами фрагментов флюорограммы с пневмонией при необходимости осуществляется коррекция весовых коэффициентов нейронной сети.
«Слабых» классификаторов, основанных на двух способах анализа, получают столько, сколько масштабов окон анализа было выбрано. На втором иерархическом уровне объединяются решения «слабых» классификаторов внутри каждого способа анализа первого иерархического уровня. Окончательное решение принимает финальный классификатор, агрегирующий решения двух классификаторов второго иерархического уровня. Алгоритмы настройки и функционирования гибридных моделей, а также
модели сегментации рентгенограмм апробированы на сегментации рентгенограмм больных пневмонией.
В работе была произведена оценка качества классификации морфологических образований на изображениях рентгенограмм грудной клетки. С этой целью был сформирован критерий проверки качества классификации, основывающийся на количестве неправильно классифицированных пикселей данного аг класса к общему количеству пикселей этого класса на эталонном изображении:
где п — количество классов, C — количество
ше т1
правильно классифицированных пикселей со класса,
пщ
— количество пикселей, в действительности
/=1
принадлежащих к классу.
На рис. 6 представлены диаграммы, отражающие распределение этого критерия на моделях морфологических образований различных классов, полученные на 12 рентгеновских снимках.
Рис. 6. Результаты критерия Мщ , полученные на 12 рентгенограммах грудной клетки: ¡Щ — модель активного контура: ЦЦ — модель сегментации на основе предварительной обработки и многооконного спектрального анализа: — модель сегментации без предварительной обработки посредством многооконного спектрального анализа
На каждом из снимков формируются модели морфологических образований пневмонии (ю1) и онкологии (ю2).
Таким образом, сравнительный анализ показателей качества различных методов сегментации рентгеновских снимков показал, что предложенный метод многооконного спектрального преобразования позволяет осуществить дифференциальную диагно-
стику пневмонии и онкологических морфологических образований по критерию M ниже 15 %.
Вместе с тем следует отметить ограничения автоматизированного анализа рентгеновских снимков, которые связаны с противоречием между качеством классификации морфологических образований на рентгеновских снимках и временем проведения исследований. При этом время исследования одного снимка может достигать двух-трех минут, что доставляет дискомфорт практикующему врачу. Поэтому необходимы дальнейшие исследования для преодоления этой проблемы.
Результаты проведенных исследований могут быть использованы для построения интеллектуальных систем поддержки принятия решений по диагностике и прогнозированию социально значимых заболеваний. В перспективе дальнейшие исследования возможны для разработки аналогичных систем для ранней и донозологической диагностики заболеваний, а также связаны с развитием математического, алгоритмического и программного обеспечения автоматизированного рабочего места врача-рентгенолога.
Международный опыт разработки подобных компьютерных систем диагностики цифровых рентгеновских снимков связан с автоматическим обнаружением областей легких на основе использования адаптивной модели легких, построенной на нечеткой логике и нейросетевом анализе [9—11].
Работа выполнена при финансовой поддержке РФФИ в рамках научного проекта № 16-07-00164а.
Список литературы
1. Приказ Министерства здравоохранения РФ № 124н от 21 марта 2017 г. «Об утверждении порядка и сроков проведения профилактических медицинских осмотров граждан в целях выявления туберкулеза». Дата регистрации 31.05.2017 г. № 46909. Опубликован на официальном интернет-портале правовой информации 01.06.17 г.
2. Кудрявцев П. С., Кузьмин А. А., Филист С. А. Развитие методологии бустинга для классификации флюорограмм грудной клетки // Биомедицинская радиоэлектроника, 2016. № 9. С. 10-14.
3. Томакова Р. А., Емельянов С. Г., Филист С. А. Интеллектуальные технологии сегментации и классификации биомедицинских изображений. Курск: Юго-Зап. гос. ун-т, 2012. 222 с.
4. Безруков Н. С., Еремин Е. Л., Перельман Ю. М. Автоматизированная система диагностики заболеваний легких // Проблемы управления. 2007. № 5. С. 75-80.
5. Филист С. А., Дюдин М. В., Зуев И. В. Автоматические классификаторы сложно структурируемых изображений на основе мультиметодных технологий многокритериального выбора // Вопросы радиоэлектроники. Серия «Системы и средства отображения информации и управления спецтехникой» (СОИУ). 2015. Вып. 1. С. 130-140.
6. Осовский С. Нейронные сети для обработки информации. М.: Финансы и статистика, 2002. 344 с.
7. Sonka M., Hlavac V., Boyle R. Imageprocessing, analysis, andmachinevision. Cengage Learning, 2014. 875 p.
8. Sankar K., Ghosh A., Kundu M. Soft computing for image processing // Physica. 2013. Vol. 42. 589 p.
9. Candemir S. Lung segmentation in chest radiographs using anatomical atlases with nonrigid registration // IEEE transactions on medical imaging. 2014. Vol. 33. P. 577—590.
10. Babenko A. Neural codes for image retrieval // European conference on computer vision. Springer International Publishing, 2014. P. 584-599.
11. Kruse R., Jorg G., RainerE. Fuzzy-systems in computer science. Springer-Verlag, 2013. 341 p.
12. Zhicheng Y. Hd-cnn: Hierarchical deep convolutional neural network for image classification // International Conference on Computer Vision (ICCV). 2015. Vol. 2. P. 435-443.
Referenses
1. Order of the Ministry of Health of the Russian Federation No. 124h from March 21, 2017 "On approval of procedure and terms of carrying out of preventive medical examinations of citizens in order to detect tuberculosis." Registration date 31.05.2017, No. 46909. Published on the official Internet portal of legal information 01.06.17 G. [In Russian]
2. Kudryavcev P. S., Kuz'minA. A., Filist S. A. Development of boosting methodology for the classification of chest fluorograms. Biomeditsinskaya radioelektronika [Biomedicinskaya radioehlektronika]. 2016, 9, pp. 10-14. [In Russian]
3. Tomakova R. A., Emel'yanov S. G., Filist S. A. InteUektual'nye tekhnologii segmentatsii i klassifikatsii biomeditsinskih izobrazhenii [Intellectual technologies of segmentation and classification of biomedical images]. Kursk, 2012, 222 p.
4. Bezrukov N. S., Eremin E. L., Perel'man Yu. M. Automated system for diagnosing lung diseases. Problemy
upravleniya [Management issues]. 2007, 5, pp. 75-80. [In Russian]
5. Filist S. A., Dyudin M. V, Zuev I. V Automatic classifiers of complex structured images based on multimethod technologies of multi-criteria choice. Voprosy radioelektroniki [Questions of radio electronics]. 2015, 1, pp. 130-140. [In Russian]
6. Osovskii S. Neironnye seti dlya obrabotki informatsii [Neural networks for information processing]. Moscow, Finance and Statistics Publ., 2002, 344 p.
7. Sonka M., Hlavac V., Boyle R. Image processing, analysis, and machine vision. CengageLearning, 2014, p. 875.
8. Sankar K., Ghosh A., Kundu M. Soft computing for image processing. Physica. 2013, 42, p. 589.
9. Candemir S. Lung segmentation in chest radiographs using anatomical atlases with nonrigid registration. IEEE transactions on medical imaging. 2014, 33, pp. 577-590.
10. Babenko A. Neural codes for image retrieval. European conference on computer vision. Springer International Publishing, 2014, pp. 584-599.
11. Kruse R., Jorg G., Rainer E. Fuzzy-systems in computer science. Springer-Verlag, 2013, 341 p.
12. Zhicheng Y. Hd-cnn: Hierarchical deep convolutional neural network for image classification. International Conference on Computer Vision (ICCV). 2015, 2, pp. 435443.
Контактная информация:
Томакова Римма Александровна — доктор технических наук, профессор кафедры программной инженерии ФГБОУ ВО «Юго-Западный государственный университет»
Адрес: 305040, г. Курск, ул. 50 лет Октября, д. 94
E-mail: rtomakova@mail.ru
