CC BY
51
Сравнение алгоритмов выделения области интереса на компьютерных томограммах легких
Т.А. Пашина1, А.В. Гайдель ',2, П.М. Зельтер 3, А.В. Капишников 3, А.В. Никоноров1,2 1 Самарский национальный исследовательский университет имени академика С.П. Королёва, 443086, Россия, г. Самара, Московское шоссе, д. 34, 2 ИСОИ РАН - филиал ФНИЦ «Кристаллография и фотоника» РАН, 443001, Россия, г. Самара, ул. Молодогвардейская, д. 151, 3 ФГБОУ ВО «Самарский государственный медицинский университет» Минздрава России, 443099, Россия, г. Самара, ул. Чапаевская, д. 89
Аннотация
Рассматривается автоматическое создание масок для выделения лёгких на компьютерных томограммах с помощью трёх подходов: метода Оцу, простой свёрточной нейронной сети, состоящей из 10 одинаковых слоёв, и свёрточной нейронной сети U-Net. Произведено исследование и сравнение используемых методов автоматического выделения области интереса на реальных изображениях компьютерной томографии лёгких, полученных в Клиниках СамГ-МУ. Решение данной задачи актуально, так как она является первым этапом при автоматизированном поиске патологических изменений на изображениях компьютерной томографии. Предложен алгоритм постобработки изображений, основанный на поиске контуров, который позволяет повысить качество сегментации. Сделан вывод о том, что U-Net выделяет область интереса, относящуюся к легкому, несколько лучше, чем два других подхода. При этом простая свёрточная нейронная сеть обеспечивает достоверность сегментации 97,5 %, что лучше достоверности сегментации 96,7 %, достигнутой с помощью метода Оцу, и лучше достоверности сегментации 96,4 %, достигнутой с помощью нейронной сети U-Net.
Ключевые слова: обработка изображений, сегментация, компьютерная томография лёгких, пороговая обработка, свёрточные нейронные сети, U-Net.
Цитирование: Пашина, Т.А. Сравнение алгоритмов выделения области интереса на компьютерных томограммах лёгких / Т.А. Пашина, А.В. Гайдель, П.М. Зельтер, А.В. Капишников, А.В. Никоноров // Компьютерная оптика. - 2020. - Т. 44, № 1. - С. 74-81. - DOI: 10.18287/2412-6179-CO-659.
Citation: Pashina TA, Gaidel AV, Zelter PM, Kapishnikov AV, Nikonorov AV. Automatic highlighting of the region of interest in computed tomography images of the lungs. Computer Optics 2020; 44(1): 74-81. DOI: 10.18287/2412-6179-C0-659.
Введение
В настоящее время в медицине широко используются такие методы лучевой диагностики, как компьютерная томография и магнитно-резонансная томография для исследования состояния внутренних органов человека. С помощью таких методов врачи могут получать довольно большой объём информации в виде изображений или даже видеопотоков, который помогает сделать более точный и качественный анализ полученных данных о пациенте.
Компьютерная томография лёгких с высокой точностью визуализирует структуры, которые не различаются при флюорографии и рентгенографии лёгких. Она позволяет определять наличие и распространённость опухолей, патологию внутригрудных лимфоузлов, патологические изменения в плевральной полости и лёгочной ткани, а также состояние сосудов, трахеи и бронхов. Такие результаты достигаются более высоким пространственным разрешением, в результате чего можно делать мультипланарные реконструкции, и возможностью измерения плотности [1].
Одним из важных этапов автоматизированного анализа медицинских изображений является выделение области интереса (сегментация). Довольно часто требуется отделить некоторые участки или объекты на медицинских изображениях, представляющие интерес, от других частей изображения для более детального исследования. Следовательно, анализ выделенной области во многом зависит от того, насколько точно была произведена сегментация.
Сейчас написано достаточное количество работ о сегментации, однако сравнение работы нейронной сети с более традиционными методами выделения области интереса на изображениях компьютерной томографии лёгких не проводилось. Например, в [2] был разработан метод автоматического выделения области интереса на изображениях компьютерной томографии лёгких, при которой лучше всего работает последующая классификация изображений, а в [3, 4] представлены алгоритмы автоматической сегментации долей лёгкого. В [4] для этой же задачи был достигнут результат достоверности сегментации в 74- 80%.
В работе [5] рассматривается проблема автоматического выделения лёгких на изображениях компьютерной томографии при наличии патологий, искажающих границы лёгких и нарушающих резкость этих границ. Авторы работы предлагают алгоритм выделения паренхимы лёгкого, основанный на пороговой обработке с итеративным подбором порога, однако количественные показатели эффективности предложенного подхода в работе не приводятся.
В [6] предлагается использовать нейронную сеть Ц-№1 для этой же задачи, что позволяет авторам достичь Б-меры качества сегментации в 95 %. В [7] авторы предлагают для той же задачи подход, основанный на модели активных контуров, что позволяет им получить 99 % процентов достоверности сегментации на изображениях из открытой базы ЬГОС-ГОШ [8].
Целью данной работы является исследование и сравнение некоторых методов автоматического выделения области интереса на изображениях компьютерной томографии лёгких, полученных в Клиниках Самарского государственного медицинского университета, так как для исследования различных алгоритмов автоматизированной диагностики медицинским работникам приходится вручную выделять область интереса, что занимает много времени. Например, в работе [9] предлагается метод автоматизированной диагностики эмфиземы по компьютерным томограммам лёгких, однако область лёгкого на первом этапе работы предложенного метода предлагается выделять вручную. Таким образом, сегментация объектов является важной и актуальной технологией для систем автоматизированной медицинской диагностики.
1. Методы сегментации
Пороговая обработка
Задача сегментации заключается в разбиении множества отсчётов изображения на несколько подмножеств, соответствующих определённым сегментам изображения. В качестве такой характеристики, которой отличаются сегменты изображения, может выступать средняя яркость. Самым простым и часто применяемым видом сегментации является бинарная сегментация, когда имеется только два типа однородных участков: объект и фон.
В этом случае для выделения области интереса используется пороговая обработка. Пороговая обработка ориентирована на работу с изображениями, отдельные однородные участки которых различаются средней яркостью. Суть данного способа заключается в использовании такого порога /, что каждый пиксель изображения х (/1, Ц) преобразовывается в у (/1, Ц) по правилу [10]:
уОь /2) =
Уо, при х(/1, /2) < /, у1, при х(/ь /2) > t.
(1)
По формуле (1), в зависимости от значения пикселя изображения, пиксель относят либо к фону у0, либо к объекту у1.
Чтобы определить нужное значение порога для каждого изображения, в данной работе используется метод Оцу. Применяемый метод базируется на данных гистограммы исходного изображения.
Имеется два класса - объект и фон. Суть данного метода заключается в том, чтобы минимизировать внутриклассовую дисперсию ст2(/) [11], вычисляемую по формуле (2):
) = ИС КС) + ?2(' )ст2(' ) =
(2)
где
д = ±ДО; 42«) = ± Р(/); р(/) = N;
/=1 +1 N
*(')=±^(о= ±- (,у
/=1 ,=+142(0
о?(0 = ±[/ -ц,(0]2а2(0 = ±[/-Ц2(0]2 т-
41(0
422)
п, - число пикселей с яркостью /, N - общее число пикселей, I - максимальное значение яркости.
Свёрточные нейронные сети
В настоящее время большую популярность набирают свёрточные нейронные сети. Входными данными свёрточной нейронной сети в данной работе являются изображения. Сеть состоит из некоторой последовательности слоёв, которые, в свою очередь, состоят из нейронов, расположенных в трёх измерениях: ширине, высоте и глубине. Для создания нейронной сети в работе использовалось три типа слоёв: свёрточный слой, слой пулинга и полносвязный слой.
Известны различные архитектуры нейронных сетей. Особого внимания для рассматриваемой задачи достойны SegNet, СагШасМй и и-№1 В работе [12] с помощью данных нейронных сетей была произведена сегментация различных медицинских изображений. Самой популярной на данный момент архитектурой для сегментации медицинских изображений является и-№1
U-Net была создана специально для сегментации биомедицинских изображений [13]. Данная архитектура позволяет достичь высоких результатов, используя малое количество данных, что идеально подходит для задачи данной работы.
Архитектура сети U-Net состоит из двух частей. Первая часть состоит из линейной последовательности слоёв свёртки с функцией активации Я^Ьи (3):
/ (х) = тах(0, х),
(3)
и следующего за ними слоя пулинга, который уменьшает размерности сформированных карт признаков в два раза. Полученный результат каждого блока сохраняется с целью подачи этих карт признаков на вход второй части свёрточной нейронной сети. Вто-
рая часть состоит из последовательности слоёв обратной свёртки, объединения, свёртки, и слоя активации с функцией ЯеЬи (3). Следует обратить внимание, что в данной части происходит объединение карт признаков только одного размера. В конце добавляется слой, который выполняет свёртку по каналам для каждого отсчёта. В итоге, на выходе свёрточная нейронная сеть выдаст матрицу значений функции активации на выходном слое.
2. Предварительная обработка изображений
В качестве исходных данных используется выборка, состоящая из 143 изображений х (¡1, '2) отдельных двумерных слоёв компьютерной топографии лёгких с различными разрешениями, не превосходящими 200 х 300 пикселей. Допустим, изображение х(г\, '2) определено на конечном множестве Бх а Z2 с количеством отсчётов | Дт|, где Z - множество целых чисел. Перед тем как работать с данными изображениями, следует привести их к определённому виду, а именно стандартизировать изображение с помощью формулы (4) [14].
z ( i2 )= xii^,
CT
где ц - математическое ожидание:
^ = Ш £ Х ('Ь '2 ),
\их\ ('1,'2 )ЕДх
ст - стандартное отклонение:
(4)
ст2 =
737 Z (х (i" i2 )"^)2-
'x| 1(ii,i2 )eDx
N -
Данное преобразование необходимо в случае возможных поэлементных искажений. Например, таких как засветка снимка.
Также важным шагом является подготовка выборки изображений для сравнения полученного результата с ожидаемым. Для каждого изображения компьютерной томографии специалистом вручную была получена маска, а именно чёрно-белое изображение, на котором лёгкое выделено и закрашено белым цветом, а всё остальное вокруг него - чёрным. Пример маски показан на рис. 1.
Рис. 1. Исходное изображение и его маска
3. Выделение области интереса с помощью метода Оцу
Сегментация лёгких является сложной задачей ввиду наличия объектов, сложных для выявления на изображении. К таким объектам относятся неоднородности в области лёгких и лёгочные структуры с одинаковыми плотностями (артерии, вены, бронхи и бронхиолы) [15]. После нахождения порога с помощью метода Оцу и пороговой обработки изображения по формуле (1) получается неоднородная маска с точками и лишними частями на ней, не являющимися лёгкими (рис. 2).
Можно заметить, что края маски не гладкие, а лёгкое не является односвязным. Для того, чтобы исправить это, были использованы операции математической морфологии [16]. Для этого сначала была использована операция закрытия, а затем открытия маской Ж в виде матрицы 4*4. Операция закрытия применяет к изображению сначала дилатацию
У ((, i2) = (max,F (х (( + j, i2 + j2));
а затем эрозию
У ((, i2) = min (х ( + j, i2 + j2));
(j'l, j2 )EWV "
(5)
(6)
а операция открытия применяет сначала эрозию (6), а после дилатацию (5). Данная последовательность операций позволяет выравнивать контуры, также стираются элементы, которые по размеру меньше, чем используемая маска, и возможно восстановление разорванных линий. Но, как можно заметить на рис. 2, операции математической морфологии не всегда могут закрасить точки в лёгком и не помогут избавиться от лишних частей, не относящихся к лёгкому.
.ЕОПП
Рис. 2. Получение маски: исходное изображение (а); маска после пороговой обработки (б); маска после операций математической морфологии (в)
Чтобы избавиться от лишних частей на изображениях компьютерной томографии лёгких, были использованы контуры. Первым делом с помощью алгоритма, описанного в [17], находятся все внешние замкнутые контуры, которые присутствуют на изображении, затем среди них находится самый большой контур, и вся область внутри него считается областью лёгкого и закрашивается белым цветом. Вся остальная часть изображения считается фоном и закрашивается чёрным. Таким образом, получается конечная маска. Результаты работы всего алгоритма целиком представлены на рис. 3.
Рис. 3. Исходные изображения и полученные для них маски
Для исследования эффективности данного алгоритма были вычислены такие показатели, как достоверность сегментации а (7), чувствительность Ь (8) и специфичность с (9) [18].
птр + П^м
ПТР + пТЫ + пРР + пРЫ
Ь = -
птр + п РЫ
с = -
пТЫ + ПЕР
(7)
(8) (9)
где птр - число верно определённых отсчётов объекта на изображении, пты - число верно определённых отсчётов фона, пРР - число отсчётов, ошибочно отнесённых к объекту, пры - число отсчётов, ошибочно отнесённых к фону.
Средняя достоверность сегментации (7) по всем изображениям составила 96,7 %, средняя чувствительность (8) - 94% и средняя специфичность (9) -99,5%. Худшее значение достоверности сегментации в данной выборке изображений составило 86,8% (рис. 4), а лучшее значение составило 97,9 % (рис. 5).
Рис. 4. Маска с худшим значением достоверности сегментации: исходное изображение (а); полученная маска (б); реальная маска (в)
Рис. 5. Маска с лучшим значением достоверности сегментации: исходное изображение (а); полученная маска (б); реальная маска (в)
4. Выделение области интереса с помощью и-^е
Для обучения свёрточной нейронной сети U-Net было выбрано 43 изображения компьютерной томографии лёгких, а оставшиеся 100 изображений вошли в контрольную выборку, по которой производилась оценка эффективности работы сети. Данные изображения были приведены к одинаковому размеру 256 х 256. В качестве функции потерь была использована бинарная кросс-энтропия (10):
Нр (д) = 1 М
= -ы ±(у, • ^ (р, ) + ( - У, )• ^ (1 - р,)) =
(10)
где N - количество отсчётов на изображении, у, -класс /-го отсчёта, р/ - выходное значение свёрточной нейронной сети для /-го отсчёта.
Свёрточная нейронная сеть обучалась 50 эпох в течение суток. После обучения нейроны на выходном слое выдают значения от 0 до 1 в зависимости от того, насколько соответствующий отсчёт походит на отсчёт из искомой области интереса. Отдельной задачей является подбор порога для этих значений таким образом, чтобы получить наивысшее значение достоверности сегментации (7). Порог выбирается по маскам, полученным на обучающей выборке, таким образом, чтобы достигалась наилучшая достоверность сегментации. Выбранное значение порога используется в дальнейшем для исследования эффективности всего подхода на изображениях контрольной выборки.
На рис. 6 представлен график средней достоверности сегментации для разных порогов обработки полученных изображений. С помощью полученного порога можно будет определить, относится ли исследуемый отсчёт к лёгкому или к фону.
Достоверность сегментации 0,72
0,70 0,68 0,66 0,64 0,62 0,60 0,58
/
/
/
/
/
/
П( "¡рог
О 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1,0
Рис. 6. График зависимости средней достоверности сегментации от разных порогов для свёрточной нейронной сети и-ЫвХ
Исходя из графика на рис. 6, можно отметить, что наилучшим пороговым значением является 1.
U-Net может устранять некоторые части, не являющиеся лёгкими, и закрашивать дыры в самом лёгком. Но не всегда полученные с помощью свёрточной нейронной сети U-Net маски являются односвязными. Иногда на них присутствуют лишние части. Поэтому, чтобы улучшить маску, используется та же методика,
а =
п
ТР
п
основанная на контурах, как и для выделения области интереса с помощью метода Оцу. Результат её использования представлен на рис. 7.
ЕС
Рис. 7. Улучшение маски: маска, полученная с помощью и-ЫвХ (а); маска после использования контуров (б)
Средняя достоверность сегментации до выделения объекта с помощью контуров составляла 96,3 %, чувствительность была равна 99,5 %, а специфичность -92,8%. После улучшения средняя достоверность сегментации составила 96,4 %, средняя чувствительность - 99,6 % и средняя специфичность - 92,9%. Легко заметить, что улучшение не сильно повлияло на точность, что показывает хорошую работу Ц-№1 Худшее значение достоверности сегментации в данной выборке изображений составило 93,6 % (рис. 8), а лучшее равно 97,5% (рис. 9).
а) I_1б)1_\в)[
Рис. 8. Маска с худшим значением достоверности сегментации: полученная маска (а); реальная маска (б); исходное изображение (в)
а) I_I б) II_I в)
Рис. 9. Маска с лучшим значением достоверности сегментации: полученная маска (а); реальная маска (б); исходное изображение (в)
5. Выделение области интереса с помощью простой свёрточной нейронной сети
Данная свёрточная нейронная сеть состоит из десяти следующих друг за другом одинаковых свёрточных слоёв с размером, равным приведённому размеру изображения компьютерной томографии лёгких, а именно 256*256. Первые восемь слоёв используют функцию активации сигмоид (11), а последующие два слоя ЯеЬи (3). Стоит отметить, что по результатам экспериментов, предварительно проведённых авторами, если использовать на всех слоях функцию активации сигмоид
ст( x) =
1
1 + e~
(11)
то качество работы такой сети будет крайне низким.
Для обучения и контроля работы сети использовались те же обучающая и контрольная выборки, что и для сети Ц-№1 Данная сеть обучалась 50 эпох, что составило по времени примерно 3 часа. Также, как и для Ц-№1, требуется выбрать порог вероятности, при котором достоверность сегментации обучающей выборки будет лучше. Исходя из графика на рис. 10, порог для данной свёрточной нейронной сети составил 0,1. Отсчёты, у которых выходное значение нейрона больше или равно пороговому значению, относятся к лёгкому, а все остальные - к фону.
Достоверность сегментации
0,700
0,698
0,696
0,694
0,692
огл
Пор
0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1,0 Рис. 10. График зависимости средней достоверности сегментации от разных порогов для простой свёрточной нейронной сети
Пример маски, которая была предсказана простой свёрточной нейронной сетью, представлена на рис. 11. Данная свёрточная нейронная сеть не справляется с лишними частями и не делает лёгкое односвязным. При этом достоверность сегментации составляет 91 %, чувствительность - 90,5 %, а специфичность - 91,6%.
Рис. 11. Исходное изображение компьютерной томографии и маска, полученная с помощью простой свёрточной нейронной сети
Рис. 12. Маска, полученная с помощью свёрточной нейронной сети и улучшенная маска
X
С применением описанного ранее подхода, основанного на выделении контуров, точность была улучшена. При этом достоверность сегментации стала равна 97,5 %, чувствительность - 94,7 %, а специфичность - 99,7 %. На рис. 12 представлен результат улучшения маски.
В итоге, лучшая достоверность сегментации составила 99,1 % (рис. 13), а худшая равна 85 % (рис. 14).
Рис. 13. Маска с лучшим значением достоверности сегментации: исходное изображение (а); полученная маска (б); реальная маска (в)
\в)
Рис. 14. Маска с худшим значением достоверности сегментации: исходное изображение (а); полученная маска (б); реальная маска (в)
6. Сравнение результатов работы алгоритмов выделения области интереса
В табл. 1 приведены сводные показатели эффективности исследованных подходов.
Табл. 1. Сравнение полученных результатов
Исходя из табл. 1, можно заключить, что лучший результат показал третий способ. Однако следует отметить, что данная сеть может предсказать маску с точностью ниже 90 %. В то же время U-Net позволяет получить маску с минимальной точностью в 93 %, что гораздо лучше подходит для выделения области интереса. Также стоит обратить внимание, что чувствительность U-Net составляет 99,6 %, что означает, что свёрточная нейронная сеть U-Net лучше остальных способов определяет отсчёты лёгкого. Специфичность данного способа является самой низкой, так как при предсказании данная свёрточная нейронная сеть захватывает лишние отсчёты вокруг лёгкого и относит их к маске. Можно увидеть на рис. 15, что белые границы предсказанной маски выступают за область, выделенную серым, которая является оригинальной маской. За счёт этого маска лёгкого будет содержать в себе больше реальных отсчётов, относящихся к лёгкому, тем самым предсказывая нахождение лёгкого более точно.
Рис. 15. Серая реальная маска находится внутри белой предсказанной маски
Способ выделения области интереса Достоверность сегментации Чувствительность Специфичность
Среднее Худшее Лучшее
Метод Оцу 96,7% 86,8% 97,9% 94% 99,5%
96,4% 93,6% 97,5% 99,6% 92,9%
Простая свёрточная нейронная сеть 97,5% 85% 99,1% 94,7% 99,7%
Результаты, полученные с помощью первого и третьего методов, довольно похожи. Области, выделенные с помощью простой свёрточной нейронной сети, всегда требуют дальнейшей обработки, как и первый способ, основанный на пороговой обработке. Данная сеть не может сама предсказывать маску, не содержащую дыры и лишние части, в то время как маскам, предсказанным с помощью только
иногда нужно дополнительно применять обработку с помощью контуров, именно поэтому дополнительная обработка полученных масок незначительно отразилась на подсчитанных показателях.
Также точность предсказанной маски зависит от качества исходного изображения компьютерной то-
мографии лёгкого. Это можно заметить исходя из полученных результатов. Все три способа выдают худшие результаты на размытых изображениях, на которых трудно определяется нахождение лёгкого, и хорошие результаты на изображениях, где чётко видно лёгкое.
Таким образом, лучшим способом является выделение области интереса с помощью свёрточной нейронной сети которая позволяет получать
хороший результат более стабильно и требует меньшей дополнительной обработки, чем другие два способа. Вторым по эффективности является способ выделения области интереса с помощью простой свёр-точной нейронной сети, которая показывает
отличный результат на изображениях компьютерной томографии, где чётко видны границы лёгкого.
Заключение
В данной работе были рассмотрены три способа выделения легкого на изображении компьютерной томографии: с помощью метода Оцу, простой свёр-точной нейронной сети и U-Net.
При использовании операций математической морфологии и выделения контуров для обеспечения связности фона и лёгкого способ, использующий пороговую обработку методом Оцу, показал неплохие результаты. Исходя из значений показателей данного способа, рассчитанных в работе, а именно достоверности сегментации - 96,7%, чувствительности - 94% и специфичности - 99,5%, можно отметить, что данный метод довольно прост и эффективен для выделения областей интереса. Однако не во всех случаях данный алгоритм работает хорошо.
Свёрточная нейронная сеть, состоящая из 10 свёр-точных слоёв, показала лучшее значение средней достоверности сегментации в 97,5%. При этом чувствительность равна 94,7%, а специфичность - 99,7%, что очень похоже на значения показателей у способа, использующего пороговую обработку. Как и алгоритм, использующий метод Оцу, данный способ требует дополнительной обработки.
Результаты, полученные с помощью свёрточной нейронной сети U-Net, показывают, что для сегментации высокого качества крайне редко требуется прибегать к дополнительной обработке изображений, так как при использовании выделения контуров для создания связности фона и лёгкого полученные результаты остались практически неизменными. Достоверность сегментации составила - 96,4%, чувствительность 99,6%, а специфичность - 92,9%, следовательно, можно отметить, что U-Net выделяет область, относящуюся к лёгкому, лучше, чем два других способа, однако на практике зачастую достаточно использовать подход, основанный на пороговой обработке методом Оцу.
Благодарности
Разработка методов и алгоритмов выполнена при поддержке грантов РФФИ № 18-07-01390, № 19-29-01235 мк и № 19-29-01135 мк, экспериментальные исследования - в рамках госзадания ИСОИ РАН - филиала ФНИЦ «Кристаллография и Фотоника» РАН (соглашение № 007-ГЭ/Ч3363/26).
Литература
1. Тюрин, И.Е. Компьютерная томография органов грудной клетки / И.Е. Тюрин. - С.-Пб.: ООО «Элби-СПб», 2003. - 371 с.
2. Gaidel, A. Method of automatic ROI selection on lung CT images / A. Gaidel // Procedia Engineering. - 2017. -Vol. 201. - P. 258-264.
3. Lassen, В. Automatic segmentation of the pulmonary lobes from chest CT scans based on fissures, vessels, and bronchi / B. Lassen, E.M. van Rikxoort, M. Schmidt, S. Kerkstra, B. van Ginneken, J.-M. Kuhnigk // IEEE Transactions on Medical Imaging. - 2013. - Vol. 32, Issue 2. - P. 210-222.
4. Van Rikxoort, E.M. Automatic segmentation of pulmonary segments from volumetric chest CT scans / E.M. van Rikxoort, B. de Hoop, S. van de Vorst, M. Prokop, B. van Ginneken // IEEE Transactions on Medical Imaging. -2009. - Vol. 28. - P. 621-630.
5. Memon, N.A. Segmentation of lungs from CT scan images for early diagnosis of lung cancer / N.A. Memon, A. Mirza, A. Gilani // Proceedings of World Academy of Science, Engineering and Technology. - 2006. - Vol. 14. - P. 228-233.
6. Skourt, B.A. Lung CT image segmentation using deep neural networks / B.A. Skourt, A.E. Hassani, A. Majda // Procedia Computer Science. - 2018. - Vol. 127. - P. 109-113.
7. Nithila, E.E. Segmentation of lung from CT using various active contour models / E.E. Nithila, S.S. Kumar // Biomedical Signal Processing and Control. - 2019. - Vol. 47. -P. 57-62.
8. Armato III, S.G. The Lung Image Database Consortium (LIDC) and Image Database Resource Initiative (IDRI): A completed reference database of lung nodules on CT scans / S.G. Armato III, G. McLennan, L. Bidaut, et al. // Medical Physics. - 2011. - Vol. 38. - P. 915-931.
9. Гайдель, А. В. Возможности текстурного анализа компьютерных томограмм в диагностике хронической об-структивной болезни / А.В. Гайдель, П.М. Зельтер, А.В. Капишников, А.Г. Храмов // Компьютерная оптика. - 2014. - Т. 38, № 4. - С. 843-850.
10. Грузман, И. С. Цифровая обработка изображений в информационных системах: Учебное пособие / И.С. Грузман, В.С. Киричук, В.П. Косых. - Новосиби-срк: Изд-во НГТУ, 2002. - 352 c.
11. Otsu, N. A threshold selection method from gray-level histograms / N. Otsu // IEEE Transactions on Systems, Man, and Cybernetics. - 1979. - Vol. 9, Issue 1. - P. 62-66.
12. Mortazi, A. Automatically designing CNN architectures for medical image segmentation // International Workshop on Machine Learning in Medical Imaging. - 2018. - P. 98-106.
13. Ronneberger, O. U-Net: Convolutional networks for biomedical image segmentation / O. Ronneberger, P. Fischer, T. Brox. - In: Medical image computing and computerassisted intervention - MICCAI 2015 / ed. by N. Navab, J. Hornegger, W.M. Wells, A.F. Frangi. - Part III. - 2015. -P. 234-241.
14. Kreyszig, E. Advanced engineering mathematics / E. Kre-yszig, H. Kreyszig. - 10th ed. - New York: John Wiley & Sons, Ltd, 2011. - 880 p.
15. Митрюшина, Н.Н. Компьютерная диагностика рака легкого: обзор методов сегментации лёгких на изображении / Н.Н. Митрюшина, Ю.С. Белов // Электронный Журнал: Наука, Техника и Образование. - 2015. -Т. 5(1). - С. 1-9.
16. Serra, J. Image analysis and mathematical morphology / J. Serra. - Orlando: Academic Press, 1983. - 610 p.
17. Suzuki, S. Topological structural analysis of digitized binary images by border following / S. Suzuki, K. be // Computer Vision, Graphics, and Image Processing. - 1985. -Vol. 30, Issue 1. - P. 32-46.
18. Альбом, А. Введение в современную эпидемиологию: учебное пособие / А. Альбом, С. Норрел; пер. с англ. И. Боня. - Таллин: Институт экспериментальной и клинической медицины (Эстония), 1996. - 122 с.
Сведения об авторах
Пашина Татьяна Андреевна, 1997 года рождения, студентка Самарского национального исследовательского университета имени академика С.П. Королёва. В 2019 году защитила выпускную квалификационную работу бакалавра по направлению «Прикладная математика и информатика». E-mail: [email protected] .
Гайдель Андрей Викторович, 1989 года рождения, кандидат технических наук, в 2012 году окончил Самарский государственный аэрокосмический университет имени академика С.П. Королёва по направлению «Прикладная математика и информатика», в 2015 году защитил кандидатскую диссертацию. Работает доцентом кафедры технической кибернетики Самарского университета и научным сотрудником в Институте систем обработки изображений РАН - филиале ФНИЦ «Кристаллография и фотоника» РАН. Область научных интересов: компьютерная обработка изображений, теория распознавания образов, интеллектуальный анализ данных, теория алгоритмов. E-mail: [email protected] .
Зельтер Павел Михайлович, 1986 года рождения, в 2010 году с отличием окончил Самарский государственный медицинский университет, в 2012 году ординатуру по специальности «Рентгенология», работает ассистентом кафедры лучевой диагностики и лучевой терапии с курсом медицинской информатики СамГМУ. Область научных интересов: компьютерная томография, ХОБЛ, компьютерный анализ медицинских изображений. E-mail: [email protected] .
Капишников Александр Викторович, 1955 года рождения. В 1972 году окончил лечебный факультет Куйбышевского медицинского института. Докторскую диссертацию защитил в 2004 году. Заведует кафедрой лучевой диагностики и лучевой терапии с курсом медицинской информатики СамГМУ Минздрава России. Область научных интересов: лучевая диагностика и ядерная медицина в пульмонологии, остеологии, нефрологии и онкологии, информационные технологии медицинской радиологии, CADe и CADx — системы для компьютерной поддержки диагностики.
Никоноров Артем Владимирович, родился в 1979 году. В 2005 году окончил Самарский государственный аэрокосмический университет. Доктор технических наук (2016), профессор кафедры суперкомпьютеров и общей информатики Самарского университета, заведующий лабораторией интеллектуального анализа видеоданных ИСОИ РАН - филиала ФНИЦ «Кристаллография и фотоника» РАН. Опубликовал более 80 работ, две монографии. Область научных интересов: распознавание образов и анализ изображений, идентификация систем, параллельные и распределённые вычисления, вычисления с использованием графических процессоров. E-mail: [email protected] .
ГРНТИ: 28.23.15
Поступила в редакцию 21 октября 2019 г. Окончательный вариант - 21 ноября 2019 г.
Automatic highlighting of the region of interest in computed tomography images of the lungs
T.A. Pashina1, A.V. Gaidel1-2, P.M. Zelter 3, A.V. Kapishnikov 3, A. V. Nikonorov12 1 Samara National Research University, Moskovskoye Shosse 34, 443086, Samara, Russia, 2IPSIRAS - Branch of the FSRC "Crystallography and Photonics " RAS, Molodogvardeyskaya 151, 443001, Samara, Russia, 3 Samara State Medical University, Samara, Russia
Abstract
This article discusses the creation of masks for highlighting the lungs in computed tomography images using three methods - the Otsu method, a simple convolutional neural network consisting of 10 identical layers, and the convolutional neural network U-Net. We perform a study and comparison of methods used for automatically highlighting the region of interest (ROI) in computed tomography images of the lungs, which were provided as a courtesy from the Clinics of Samara State Medical University. The solution to this problem is relevant, because medical workers have to manually select the ROI as the first step of the automated processing of lung CT images. An algorithm for post-processing images based on the search for contours, which allows one to improve the quality of segmentation, is proposed. It is concluded that the U-Net highlights the ROI relating to the lung better than the other two methods. At the same time, the simple convolutional neural network highlights the ROI with an accuracy of 97.5%, which is better than the accuracy of 96.7% of the Otsu method and 96.4% of the U-Net.
Keywords: image processing, computed tomography of the lungs, convolutional neural networks, U-Net.
Acknowledgements: The work was partially funded by the Russian Foundation for Basic Research under grants No. 18-07-01390, 19-29-01235 and 19-29-01135 (theoretical results) and the RF Ministry of Science and Higher Education within the government project of the FSRC "Crystallography and Photonics" RAS under grant No. 007-GZ/Ch3363/26 (numerical calculations).
Citation: Pashina TA, Gaidel AV, Zelter PM, Kapishnikov AV, Nikonorov AV. Automatic highlighting of the region of interest in computed tomography images of the lungs. Computer Optics 2020; 44(1): 74-81. DOI: 10.18287/2412-6179-CO-659.
References
[1] Tyurin IE. Computed tomography of the chest cavity [In Russian]. Saint-Petersburg: "ELBI-SPb" Publisher; 2003.
[2] Gaidel AV. Method of automatic ROI selection on lung CT images. Procedia Engineering 2017; 201: 258-264.
[3] Lassen B, van Rikxoort EM, Schmidt M, Kerkstra S, van Ginneken B, Kuhnigk J-M. Automatic segmentation of the pulmonary lobes from chest CT scans based on fissures, vessels, and bronchi. IEEE Trans Med Imaging 2013; 32(2): 210-222.
[4] van Rikxoort EM, de Hoop B, van de Vorst S, Prokop M, van Ginneken B. Automatic segmentation of pulmonary segments from volumetric chest CT scans. IEEE Trans Med Imaging 2009; 28: 621-630.
[5] Memon NA, Mirza A, Gilani A. Segmentation of lungs from CT scan images for early diagnosis of lung cancer. Proceedings of World Academy of Science, Engineering and Technology 2006; 14: 228-233.
[6] Skourt BA, Hassani AE, Majda A. Lung CT image segmentation using deep neural networks. Procedia Computer Science 2018; 127: 109-13.
[7] Nithila EE, Kumar SS. Segmentation of lung from CT using various active contour models. Biomed Signal Process Control 2019; 47: 57-62.
[8] Armato SG III, McLennan G, Bidaut L, et al. The Lung Image Database Consortium (LIDC) and Image Database Resource Initiative (IDRI): A completed reference database of lung nodules on CT scans. Med Phys 2011; 38: 915-931.
[9] Gaidel AV, Zelter PM, Kapishnikov AV, Khramov AG. Computed tomography texture analysis capabilities in diagnosing a chronic obstructive pulmonary disease. Computer Optics 2014; 38(4): 843-850.
[10] Gruzman IS, Kirichuk VS, Skew VP. Digital image processing in information systems [In Russian]. Novosibisrk: Publishing house of NSTU; 2002.
[11] Otsu N. A threshold selection method from gray-level histograms. IEEE Transactions on Systems, Man, and Cybernetics 1979; 9(1): 62-66.
[12] Mortazi A. Automatically designing CNN architectures for medical image segmentation. International Workshop on Machine Learning in Medical Imaging 2018; 98-106.
[13] Ronneberger O, Fischer P, Brox T. U-Net: Convolutional networks for biomedical image segmentation. In Book: Navab N, Hornegger J, Wells WM, Frangi AF, eds. Medical image computing and computer-assisted intervention -MICCAI 2015; III: 234-241.
[14] Kreyszig E, Kreyszig H. Advanced engineering mathematics. 10th ed. New York: John Wiley & Sons, Ltd; 2011.
[15] Mitryushina NN, Belov YuS. Computer diagnostics of lung cancer: a review of lung segmentation methods in the image. Electronic Journal: Science, Technology and Education 2015; 5(1): 1-9.
[16] Serra J. Image analysis and mathematical morphology. Orlando: Academic Press; 1983.
[17] Suzuki S, be K. Topological structural analysis of digitized binary images by border following. Computer Vision, Graphics, and Image Processing 1985; 30(1): 32-46.
[18] Ahlbom A, Norrell S. Introduction to modern epidemiology. 2nd ed. Epidemiology Resources Inc, 1990.
Author's information
Tatiana Andreevna Pashina (b. 1997) is a student of the Samara National Research University, majoring in Applied Mathematics and Informatics. In 2019, she defended the final qualifying work of the bachelor degree in the direction of "Applied Mathematics and Informatics". E-mail: [email protected] .
Andrey Viktorovich Gaidel (b. 1989) graduated from Samara State Aerospace University in 2012, majoring in Applied Mathematics and Informatics. He received his Candidate of Science degree in Physics and Math in 2015 from the SSAU. Currently he is a teaching assistant of the Technical Cybernetics sub-department and Engineer at SSAU's laboratory SRL-35 of Samara State Aerospace University, also working as an intern researcher of the Image Processing Systems Institute of the Russian Academy of Sciences, - Branch of the FSRC "Crystallography and Photonics" RAS, Samara, Russia. His research interests currently focus on computer image processing, pattern recognition, data mining and theory of computation. E-mail: [email protected] .
Pavel Mikhailovich Zelter (b. 1986) graduated with honors from Samara State Medical University in 2010, residency in Radiology in 2012. Assistant lecturer of Radiology department with course of Medical Informatics of Samara State Medical University. Research interests are currently focused on computered tomography, COPD, digital analysis of medical images. E-mail: [email protected] .
Aleksandr Viktorovich Kapishnikov (b.1955). In 1972 he graduated from the Medical faculty of the Kuibyshev Medical Institute. Doctor of Science in Medicine (2004). Head of Diagnostic Radiology and Medical Informatics department of Samara State Medical University. Research interests: diagnostic radiology and nuclear medicine in pulmo-nology, osteology, nephrology and oncology, information technology in medical imaging, computer-based diagnostic support system (CADe and CADx).
Artem Vladimirovich Nikonorov (b. 1979). He graduated from SSAU in 2002. He received his PhD degree in 2016. Now he works as a professor at Supercomputing and Computer Science sub-department of Samara University and as a head of laboratory of video mining in IPSI RAS. He has more than 70 publications, two monographs. Field of scientific interest: pattern recognition and image analysis, system identification, parallel and distributed programming, GPGPU programming. E-mail: [email protected] .
Received October 21, 2019. The final version - November 21, 2019.
