CC BY
25
Выделение контуров костей коленного сустава на медицинских рентгенограммах
А.А. Михайличенко1, Я.М. Демяненко1 1 Южный Федеральный университет, Институт математики, механики и компьютерных наук,
Ростов-на-Дону, Россия
Аннотация
Важным шагом в автоматическом анализе медицинских рентгенограмм является детектирование интересующих объектов. Однако медицинские рентгенограммы зачастую имеют низкую контрастность и варьирующуюся в широких пределах цветовую гамму, что затрудняет их анализ традиционными методами, которые в своей работе опираются на конкретные критерии однородности регионов. В данной работе мы предлагаем подход к выделению контуров объектов, не требующий критерия однородности. Метод основан на выделении фрагментов границ и устранении разрывов между фрагментами границы одного объекта. Нами был предложен численный критерий для определения точности соответствия полученного контура описываемому объекту. Полученные результаты могут применяться для диагностики отклонений, болезней, а также использоваться как промежуточный результат для более интеллектуальных методов анализа изображений.
Ключевые слова: обработка изображений; сегментация медицинских рентгенограмм; извлечение контуров.
Цитирование: Михайличенко, А.А. Выделение контуров костей коленного сустава на медицинских рентгенограммах / А.А. Михайличенко, Я.М. Демяненко // Компьютерная оптика. -2019. - Т. 43, № 3. - С. 455-463. - DOI: 10.18287/2412-6179-2019-43-3-455-463.
Введение
Для диагностики заболеваний костной системы широко применяются цифровые изображения, полученные из различного рода источников - рентгеновские лучи для получения двумерного профиля костей; компьютерная томография (КТ), сочетающая в себе сложное рентгеновское оборудование, которое делает снимки интересующего участка с разных ракурсов, и вычислительную систему, с помощью которой эти снимки объединяются в трехмерную модель; магнитно-резонансная томография (МРТ), которая для получения снимков использует мощный магнит и т.п. Несмотря на то, что в некоторых случаях для получения полной информации о болезни нет альтернатив использованию МРТ или КТ (к примеру, в случае заболевания связок, сухожилий, травмы хрящей или различного рода опухолей), во многих ситуациях предпочтительным является использование простых рентгеновских снимков (МРТ/КТ может быть просто излишним и слишком дорогим). К одной из таких ситуаций относится диагностика ряда заболеваний суставов. Рентген суставов вполне позволяет оценить степень поражения костей, хрящей и околосуставных тканей для выявления заболевания. На заболевание могут указывать костные наросты в суставе, сужение пространства между костями, которое обычно покрыто хрящом, нарушение «параллельности» костей сустава, а также их переломы.
Таким образом, зная определенные геометрические характеристики объектов на рентгенограмме (имея информацию о положении и форме костей на рентгенограмме), можно диагностировать некоторые болезни, в том числе и в автоматическом или полуавтоматическом режимах. Одним из подходов к получению такой информации является выделение контуров объектов на изображении. Однако из-за таких
особенностей медицинских рентгенограмм, как низкая контрастность, нерегулярная текстура и интенсивность, применение традиционных методов сегментации изображений не позволяет получить результат необходимой точности.
В работе на примере рентгенограмм коленного сустава предлагается новый метод выделения контуров костей на медицинских изображениях. Метод основан на детектировании фрагментов границ объектов и устранении разрывов между фрагментами, принадлежащими одному объекту. Кроме того, предложен подход к оценке качества выделения контуров и решение проблемы захвата ложных границ. Полученные результаты могут быть использованы для автоматической диагностики заболеваний костной системы.
1. Обзор
В [1, 2] приводится обзор основных существующих подходов к сегментации медицинских рентгенограмм. Однако подавляющее большинство этих методов используется лишь для очень ограниченного класса изображений (рентгенограммы кистей рук, зубов и т.д.) и показывает плохие результаты в выделении контуров на других классах.
Для сегментации изображений, в том числе и медицинских рентгенограмм, иногда используют методы порогового разделения. Однако они редко применяются в чистом виде и, как правило, являются одним из этапов более сложных методов [3].
Более универсальными и действенными, нежели пороговые методы, можно назвать подходы, использующие сегментацию. Но методы сегментации и кластеризации, основанные на критерии однородности регионов, малоприменимы для медицинских рентгенографических изображений из-за отсутствия четкого критерия однородности регионов.
В [4] для решения задачи выделения контуров на рентгенограммах рассматривается возможность применения модели активных форм. Данный метод основан на использовании некоторого «обучающего» набора контуров. В качестве начальной инициализации используется усреднение всех контуров из обучающей выборки, поэтому для успешной работы данного подхода необходимо очень точное позиционирование начального шаблона. В [4] авторы приводят пример некорректной работы метода из-за ошибочного определения начальной позиции объекта. В [5] демонстрируется некорректная работа метода, основанного на модели активных форм, в случае низкоконтрастного изображения и большой разницы между контурами тренировочной выборки и контуром объекта на одном из тестовых изображений.
В некоторой степени похожим на модель активных форм является использование деформируемых моделей, или активных контуров. Это весьма популярный и распространенный подход к решению подобного рода задач. Он основан на использовании шаблона целевого объекта, заданного контуром или конфигурацией контуров [6], который деформируется под действием некоторых сил и стремится принять форму объекта на изображении. Однако в этом случае также большую роль играет задача позиционирования начальной конфигурации, решение которой сильно влияет на точность и корректность результата.
Медицинские изображения, как правило, представляют собой изображения одних и тех же объектов, которые обычно отличаются друг от друга лишь в определенных пределах. Таким образом, можно предположить, что у нас есть некоторая априорная информация об объектах. Алгоритмы, которые используют эту априорную информацию, в основном решают задачу инициализации для деформируемых моделей. В качестве априорных знаний используется информация о связи между объектами на изображении [7], особенностях формы объектов [8, 9] и т.д. В работе [8], авторы которой решают задачу выделения контуров бедренной кости, для определения начальной позиции шаблона предлагается использовать поиск конфигурации параллельных прямых и кругов, описывающих объект. Также в некоторых работах для начального позиционирования шаблона используется обобщенное преобразование Хафа.
Использование априорной информации позволяет ослабить ограничения и решить часть проблем, возникающих при сильном искажении формы объекта, однако полностью ее не решает. В [8] приводится пример невозможности выделить контуры в случае нестандартной формы объекта и перелома с тяжелой формой искажений. Однако в случае медицинских изображений такие объекты и представляют особый интерес.
Предлагаемый нами подход не использует априорную информацию о форме для детектирования объектов. Это позволяет избежать проблем, возникающих при сильном искажении формы объекта.
2. Описание алгоритма
Для избавления от шума изображение подвергается сглаживанию. В данной работе для этих целей предлагается использовать билатеральную фильтрацию [10]. В отличие от медианного фильтра, фильтра Гаусса и других сглаживающих фильтров, в результате применения которых может быть потеряна информация о границах, билатеральная фильтрация границы сохраняет. Одно из подобных сглаженных изображений, на примере которого будут проиллюстрированы все этапы алгоритма, представлено на рис.1а.
Рис. 1. Сглаженное исходное изображение (а);результат поэлементного перемножения модулей градиента и ОУЕ (представлено в инвертированном виде) (б)
Для сглаженного изображения I (рис. 1а) вычисляется поле векторного потока градиента ^УТ, [12]) и градиент изображения - через VI и Ьг обозначим значение модуля и направления этого градиента соответственно. В работе в качестве основного градиентного оператора используется оператор Кирша [13]. В качестве карты границ О\, с которой мы будем работать дальше, будем рассматривать результат поэлементного перемножения модуля поля GVF и модуля градиента (рис. 1б).
Используя значения направлений GVF, к карте границ 0\ применяется подавление немаксимумов. В каждой точке значения направлений округляются до ближайших 45°, что соответствует 8-связной окрестности пикселя. Эта операция аналогична этапу утончения краев в методе Кэнни [14]. Обозначим итоговое изображение О.
После бинаризации изображения О с некоторым порогом получим бинарное изображение Оъы, содержащее в себе фрагменты границ объектов (рис. 2а). Этап поиска порога бинаризации будет рассмотрен ниже.
Рис. 2. Результат бинаризации О с некоторым порогом (фрагмент) (а); результат устранения разрывов (фрагмент) (б)
Следующий этап - устранение разрывов межу фрагментами границы, принадлежащими одному и тому же объекту (рис. 2б). Это необходимо для
того, чтобы при помощи стандартных методов на бинарном изображении можно было выделить контуры замкнутых областей. После получения набора контуров происходит их уточнение с помощью метода активных контуров [15, 16].
Т.к. полученный контур довольно точен, то количество итераций в методе активных контуров мало. Если же изменения контура после метода активных контуров значительны, то, как правило, этот контур контуром объекта не является и его можно отбросить. Заметим еще, что интересующие нас объекты (кости) на медицинских рентгенограммах, как правило, светлого оттенка. Поэтому контуры, которые ограничивают области преимущественно темного цвета, также можно отбросить. Стоит отметить, что перед применением метода необходимо обеспечить одинаковую ориентацию обхода точек всех обрабатываемых контуров. Однотипность ориентации контуров также важна на этапе распознавания.
После этого становится возможным проведение классификации объектов, чьи контуры были выделены (например, определение типа кости, получение её нормального вида или определение дефектов).
3. Устранение разрывов
Условимся, что в дальнейшем будем рассматривать случай 8-связной окрестности пикселя. Прежде всего, фиксируются все имеющиеся на изображении точки разрыва границы. Такими точками будем считать точки на изображении, которые обладают одним из следующих свойств:
• точка имеет не более одного смежного соседа (рис. 3а);
• точка имеет два смежных соседа, причем эти две соседние точки стоят на одной и той же вертикали или горизонтали (рис. 36);
• точка имеет трех смежных соседей, причем все три соседа одновременно не лежат на одной вертикали или горизонтали (т.н. угловая точка, рис. 3в).
а)
б)
в)
Рис. 3. Пример точек разрыва первого типа (а), второго типа (б) и третьего типа (в): серым цветом обозначены сами точки, белым - все остальные
Алгоритм устранения разрывов состоит из двух этапов. На первом этапе устраняются разрывы между парами точек разрыва, на втором происходит обработка точек разрыва, оставшихся без пар.
Первый этап заключается в том, что рассматриваются все возможные комбинации пар точек разрыва, за исключением заведомо неинтересных - пар точек, расстояние между которыми слишком велико, чтобы быть реальным разрывом границы; пар, устранить разрыв между которыми можно только пересечением
уже существующей границы (рис. 4, слева); пар точек, по конфигурации которых однозначно можно сказать, что они не являются частью одного разрыва границы и т.п. При этом используется несколько попыток с различными ограничениями в виде максимально допустимой длины разрыва между точками и минимально возможной «стоимости» устраняющих разрыв участков границы.
Рис. 4. Нарушение условия о непересечении
существующей границы (слева) и пример устранения разрыва (справа)
Для устранения разрыва между двумя точками будем использовать поиск пути между ними. В качестве алгоритма поиска пути предлагается использовать А* [17] - этот эвристический алгоритм является улучшением алгоритма Дейкстры и часто используется в различных приложениях для поиска пути на двумерной сетке. Будем использовать следующие эвристики:
• проходима вся область изображения;
• стоимость прохождения через точку - значение модуля градиента изображения со знаком «минус»: -У1(Р,)';
• стоимость перехода из одной точки в другую -сумма евклидового расстояния между ними и модуля разности между модулями градиента в этих точках:
р (р-1, р,) + IV/(р-1) - VI (р,)|;
• помимо стоимости перехода, при выборе следующей точки учитывается эвристическое расстояние от нее до цели: р р р*).
Таким образом, итоговая стоимость прохода через точку р, из точки р,ч равна
С(Р1) (р1) +р(р,_!, р, ) + +1 VI(р1 _,)-VI(р!)| +р(р!,р*).
(1)
Предварительно производится масштабирование значений модуля градиента. Выбор диапазона зависит от качества обрабатываемых изображений и необходимой точности при определении границ объектов -чем больше диапазон возможных значений модуля градиента, тем более точно найденный путь будет повторять границу исследуемого объекта. Однако на изображении иногда существуют участки, которые содержат близкорасположенные границы двух различных объектов. На таких участках в процессе поиска алгоритм может «перескочить» на границу другого объекта из-за особенностей градиента. На практике хорошие результаты показывало приведение значений градиента к диапазону [0, 10].
Значение модуля градиента у соседних точек границы, как правило, мало отличается, поэтому при выборе следующей точки приоритет рационально отдавать той точке, модуль градиента в которой как можно меньше отличается от такового в предыдущей точке - за это условие отвечает слагаемое в виде модуля разности между модулями градиента в точках.
В результате получим набор точек, являющийся оптимальным с точки зрения алгоритма А * путём Г между двумя точками при выбранных эвристиках. Обозначим через Ф стоимость данного пути, вычисляемую как сумма модулей градиента изображения в каждой его точке.
Если выполняется условие (2), где п - количество точек Г, ц - среднее значение модуля градиента во всём изображении, 6 - параметр алгоритма, регулирующий жёсткость требований к пути Г, то точки, принадлежащие множеству Г, отмечаются на изображении Оып как фрагменты границы (рис. 4, справа). В противном случае они игнорируются.
Ф > 6цп. (2)
Альтернативой использованию А * для связывания фрагментов границы между собой является соединение двух точек разрыва простой прямой линией. Этот способ в среднем в два раза быстрее описанного выше, однако при большой длине разрыва менее точен. Оптимальным вариантом видится комбинирование двух методов - упрощенное связывание прямой линией для близкорасположенных точек и более точное, но затратное связывание при помощи алгоритма А* для точек, расстояние между которыми велико.
На втором этапе будем работать с одиночными точками разрыва, с которыми не удалось справиться на первом этапе. Предположим, что работаем с одной из таких точек. Из этой точки начинает формироваться кривая, «растекаясь» по градиенту. Можно провести аналогию с формированием русла ручья, где вода выбирает оптимальный путь.
Следующая точка кривой выбирается в направлении, сонаправленном с перпендикуляром к направлению градиента в предыдущей точке. Рост кривой прекращается, когда в качестве очередной точки будет выбрана точка с определенными свойствами. Например, условиями остановки могут быть достижение точки, принадлежащей границе объекта, или выход за границу изображения. Для каждого полученного таким образом набора точек также проверяется условие (2). В случае его выполнения полученные точки отмечаются на изображении как точки границы. На рис. 5 представлена иллюстрация устранения разрыва на втором этапе.
В дальнейшем изображение, к которому был применен алгоритм устранения разрывов, будем обозначать через О.
4. Оценка качества выделения контуров
Для вспомогательных целей вычисляется бинарная версия размытого изображения - 1ып. В качестве
порога бинаризации используется порог, получаемый при помощи метода Оцу [11]. Для получения целостной картины к результирующему бинарному изображению применяется операция морфологического расширения с небольшим радиусом.
Рис. 5. Пример устранения разрывов на втором этапе
Предположим, что в полученных после устранения разрывов замкнутых областях выделены их конуры. Для каждой области О, ограниченной контуром, соберем следующую информацию:
■(О)=£ 1Ы„ (p),
pеQ
^ = ТОТ X1 (Р).
I О I реО
Здесь ■(О) - количество белых точек на бинарной версии исходного изображения I внутри области О, |о| - общее количество точек в области О, Отес1 -средний цвет в I внутри области О.
С помощью ■(А) будем обозначать количество белых точек в некотором бинарном изображении А, т. е.
(А) = ХХА(х, у).
у = 1 X= 1
Также для оценки нам будет необходимо значение
% = 1 -
* ^ ) ) ■
В качестве областей интереса будем рассматривать те, в которых Оmed выше порога, определенного методом Оцу для исходного изображения, и в которых ■(О) достаточно близко к размеру области. Обозначим совокупность таких областей О . В качестве меры для оценки выделения будем использовать величину
П = %
■(О)
)
1—
| О I - ■(О)
NM - ),
(3)
Второй сомножитель в (3) от выделенных областей не зависит. Он отвечает за то, чтобы в процессе бинаризации О было выделено как можно меньше пикселей, не относящихся непосредственно к границе объектов. Величина % позволяет отбросить те варианты выбранного порога бинаризации, при котором получается переизбыток выделения границ, т.е. в качестве границы выделено много пикселей, которые к ней на самом деле не относятся (выбран слишком маленький порог).
5. Вычисление верхнего значения порога бинаризации
Для поиска верхнего предела упомянутого выше порога для бинаризации изображения О будем использовать алгоритм, состоящий из двух шагов:
1. Определяется модуль градиента яркости для каждого пикселя изображения:
О(х, у) = тах(| О^, (х,у) |,| у (х, у) |).
Для вычисления производных по направлению О1х , О:,у используется дискретный аналог оператора дифференцирования:
О1, х (х, У) = О( х +1, у) - О( х -1, у), О1,у (х, у) = О(х, у +1) - О(х, у -1).
2. Вычисляется порог по формуле
N М
ХЕ7 (х, у )О( х, у)
Т = у=1 х=1_
N М '
ЕЕО(. х, у)
у =1 х=1
Т здесь не что иное, как математическое ожидание цвета границы объектов на изображении I, ведь градиент О можно интерпретировать как вероятность принадлежности точки с определенными координатами (и яркостью) к границе объекта - чем больше значение О(х, у), тем больше вероятность, что точка (х, у) принадлежит к границе объекта. Знаменатель требуется для того, чтобы общая сумма вероятностей была равна единице.
6. Поиск оптимального порога
Оптимальный порог бинаризации будем искать в виде аТ , где а - некоторый коэффициент из интервала [0, 1]. Делать это будем путем перебора значений а с некоторым шагом. Для всех значений а, участвующих в переборе, выполняются следующие шаги:
1. Выполняется бинаризация изображения О с порогом аТ .
2. На полученном бинарном изображении выполняется процедура устранения разрывов, в результате которой получается изображение О .
3. На изображении О выделяются контуры объектов с фильтрацией (т.е. контуры, не представляющие интереса, отбрасываются).
4. Для полученного набора контуров вычисляется оценка качества выделения Еа.
После нахождения численных оценок для всех значений а выбирается то значение, оценка качества которого максимальна, т.е.
а* = а^тахЕа .
Уа
В качестве искомых контуров выбираются контуры, которые были найдены при пороге бинаризации, равном а Т .
7. Устранение захвата ложных границ
В большинстве случаев предметом исследования на медицинской рентгенограмме является сустав, т.е. определенные части контуров двух или более костей на подобных рентгенограммах расположены близко друг к другу.
Если контуры расположены слишком близко, то на соответствующих фрагментах изображения при обработке автоматическими методами в некоторых случаях возникает неоднозначность. К примеру, на рис. 6а можно заметить, что из-за сильной размытости верхней части для нижней кости сустава был некорректно определен один из фрагментов ее контура.
□
Рис. 6. Пример захвата ложных границ (а); результат устранения с помощью поиска разреза графа (б)
Слишком близкое расположение костей сустава уже может свидетельствовать о необходимости более детального изучения проблемного участка, однако, чтобы более точно оценить степень нарушения, полезно получить представление об истинной конфигурации контуров.
Таким образом, необходимо скорректировать все проблемные участки, корректно сопоставив фрагменты границы соответствующим объектам. Для решения проблемы предлагается использовать поиск разреза графа. Данная задача обладает большой вычислительной сложностью и является очень ресурсоемкой, поэтому, чтобы уменьшить количество необходимых вычислений, рассматривается граф, построенный только для проблемной области изображения. Как показали эксперименты, в этом случае время работы алгоритма сопоставления границ не превышает нескольких процентов от всего времени работы метода.
Сначала определяется непосредственно область изображения, для которой будем строить граф и искать минимальный разрез. Для этого достаточно рассмотреть совпадающие точки двух контуров или точки, относящиеся к разным контурам, но расположенные достаточно близко друг к другу, и найти их минимальный ограничивающий прямоугольник. Чтобы захватить корректные точки двух контуров (для определения принадлежности новых точек тому или иному контуру), полученные границы области предлагается расширить на несколько пикселей во все стороны.
Процесс поиска проблемного участка полностью автоматический и предполагает попарное рассмотрение имеющихся контуров на предмет наличия близкорасположенных точек, принадлежащих разным контурам.
Вес ребра между соседними на изображении точками р и ц определяется по формуле
ехр
ю(р,q) =-
2ст
|р - q|
(4)
где 1р, 1ц - значение яркости изображения, ст - некоторый параметр, от которого зависит скорость поиска разреза (в работе использовалась ст = 2).
Необходимо как можно более точно разделить границы двух объектов, имеющихся в обрабатываемом фрагменте. В качестве источника предлагается выбирать непосредственно точки контуров, попадающие в выделенный фрагмент (рис. 7а). В качестве точек, принадлежащих стоку, выбираются несколько полос точек в верхней и нижней частях фрагмента (рис. 76).
Рис. 7. Иллюстрация выбора точек для источника (а) и стока (б) в задаче поиска разреза графа на фрагменте изображения, вид полученного разреза (в) и результат сглаживания методом активных контуров (г)
После определения источника и стока применяется алгоритм поиска минимального разреза графа (в работе использовался алгоритм Эдмондса-Карпа [18], который является частным случаем метода Форда - Фалкерсона). Общий вид полученного минимального разреза представлен на рис. 7 в.
Фрагменты контуров заменяются вершинами, принадлежащими минимальному разрезу. Часть обновленных точек точно описывают границу на фрагменте нижнего контура (рис. 7в). Оставшаяся часть, относящаяся к верхнему контуру, описывает границу неточно. Изначально точки контуров по формальным признакам точно обозначали границы объектов, однако точки одного из контуров указывали на границу соседнего объекта. Положение точек было оптимальным. После замены фрагментов контуров на вершины минимального разреза часть точек больше не находится в оптимальном положении. Несколько итераций активных контуров исправляют эту ситуацию (рис. 7г).
8. Вычисление меры эффективности алгоритма
Для проверки эффективности разработанного алгоритма было использовано несколько различных метрик. Оценивалось соответствие автоматически выделенных контуров контурам, выделенным экспертом вручную. Рассмотрим два различных контура
Г = {у,. }П=„ к= {и, }»!.
В качестве метрик соответствия использовалось среднее расстояние между соответствующими точками контуров (МП), среднеквадратическое отклонение между соответствующими точками контуров (БП) и метрика Хаусдорфа (с1ь) в пикселях:
МП (Г, N) = ц =1X У у,.-и* п ,=1
I 1 _п
Ж(Г, N = ^ - X (II у, -и* У -ц)
dh (Г, N = тах \ sup М
уеГ
| у-и ||, supinf У у-и |
иеМ уеГ
где
и, = а^ тт
иеЫ
|у, -и|,у, еГ.
Таким образом, каждой точке контура Г ставится в соответствие точка контура N которая расположена к ней ближе всего после совмещения положения обоих контуров.
9. Экспериментальные результаты Для проверки работоспособности описанных выше алгоритмов на языке С++ был реализован программный комплекс. В ходе экспериментов было выявлено, что время работы метода в целом для изображения 300x500 в среднем не превышает 1,5 секунды.
Тестирование проводилось на наборе из 93 рентгенографических изображений коленного сустава в боковой и фронтальной проекциях, имеющих различные разрешение и качество. Часть изображений были предоставлены Ростовским медицинским государственным университетом. В табл. 1 приводится оценка качества выделения контуров. Сравнение производилось с контурами, выделенными экспертом вручную.
Табл. 1. Оценка выделения контуров; дробью разделены значения для верхнего и нижнего контуров
Рисунок БП МП dh
Рис. 8а 0,51 / 0,98 0,30 / 0,56 3,60 / 5,40
Рис. 8б 1,22 / 0,58 0,41 / 0,31 6,00 / 2,82
Рис. 8в 0,69 / 0,89 0,95 / 0,97 4,24 / 6,00
Рис. 8г 9,48 / 1,67 4,40 / 0,86 38,29 / 13,00
10. Эффективность алгоритма В результате тестирования контуры на 74 % изображений были успешно извлечены, несмотря на различия в форме, размерах и степени травмированности сустава (рис. 8а - в). Степень успешности оценивалась экспертом индивидуально для каждого изображения.
На 14,2 % отмечен частичный успех (рис. 8г) -иначе говоря, результат автоматического детектирования немного отличается от экспертных данных, однако теоретически может быть улучшен, к примеру, подбором коэффициентов активных контуров или другими методами. На оставшихся 11,8 % искомые контуры предложенным методом выделить не удалось (рис. 8д).
После применения предложенного метода постобработки контуров (уточнения границы путем поиска разреза графа) точность детектирования увеличилась с 74 % до 81 %.
Рис. 8. Пример работы алгоритма (сверху); контуры, выделенные экспертом вручную (снизу)
Заключение
В работе предложен подход к выделению контуров объектов на рентгенографических изображениях, а также представлен способ постобработки контуров, позволяющий в некоторых случаях повысить точность обнаружения. Полученные контуры можно использовать как для определения геометрических характеристик выделенных объектов, так и для классификации этих объектов.
В отличие от методов, основанных на применении шаблона объекта, разработанный подход может применяться для выделения контуров объектов с серьезными нарушениями формы (переломами, опухолями и прочими видами деформаций кости или всего сустава). Результирующие контуры могут быть использованы как для оценки состояния здоровья сустава, так и для классификации и локализации различного рода дефектов.
Предварительные результаты исследований ранее были представлены на различных конференциях и опубликованы в [19, 20].
Литература
1. Dougherty, G. Medical image processing: Techniques and applications (Biological and medical physics, biomedical engineering) / G. Dougherty. - New York: Springer-Verlag, 2011.
2. Stolojescu-Crisan, C. Comparison of X-Ray image segmentation techniques / C. Stolojescu-Crisan, S.A. Holban // Advances in Electrical and Computer Engineering. - 2013. - Vol. 13, Issue 3. - P. 85-92.
3. Goshtasby, A. Segmentation of cardiac cine MR images for extraction of right and left ventricular chambers / A. Goshtasby, D.A. Turner // IEEE Transactions on Medical Imaging. - 1995. - Vol. 14, Issue 1. - P. 56-64.
4. Feng, D. Segmentation of bone structures in X-Ray image [Electronical Resource] / D. Feng // PhD thesis. - Singapore: School of Computing National University of Singapore, 2006. - URL: http://www.comp.nus.edu.sg/~leowwk/the-sis/dingfeng-proposal.pdf (request date 06.02.2019).
5. Kulkarni, M. X-ray image segmentation using active shape models [Electronical Resource] / M. Kulkarni. - Master's thesis, University of Cape Town, 2008. - URL:
http://www.dip.ee.uct.ac.za/~klkmay001/MK_undergrad_th esis.pdf
6. Seise, M. Segmenting tibia and femur from knee X-ray images / M. Seise, S.J. McKenna, I.W. Ricketts, C.A. Wigde-rowitz // Proceedings of the Medical Image Understanding and Analysis. - 2005. - P. 103-106.
7. Garcia, R.L. A fully automatic algorithm for contour detection of bones in hand radiographs using active contours / R.L. Garcia, M.M. Fernandez, J.I. Arribas, C.A. Lopez // IEEE International Conference on Image Processing. -2003. - P. 421-424.
8. Chen, Y. Automatic extraction of femur contours from hip X-Ray images / Y. Chen, X.H. Ee, W.K. Leow, T.S. Howe // Computer Vision for Biomedical Image Applications. -2005. - P. 200-209.
9. Chernuhin, N.A. On an approach to object recognition in X-ray medical images and interactive diagnostics process / N.A. Chernuhin // IEEE Proceedings: Computer Science and Information Technologies (CSIT). - 2013.
10. Paris, S. Bilateral filtering: Theory and applications / S. Paris, P. Kornprobst, J. Tumblin, F. Durand // Foundations and Trends in Computer Graphics and Vision. - 2009.
11. Otsu, N. A threshold selection method from gray-level histograms / N. Otsu // IEEE Transactions on Systems, Man, and Cybernetics. - 1979. - Vol. 9. - P. 62-66.
12. Xu, C. Snakes, shapes, and gradient vector flow / C. Xu, J.L. Prince // IEEE Transactions on Image Processing. -1998. - Vol. 7, Issue 3. - P. 359-369.
13. Kirsch, R. Computer determination of the constituent structure of biological images / R. Kirsch // Computers and Biomedical Research. - 1971. - Vol. 4. - P. 315-328.
14. Canny, J. A computational approach to edge detection / J. Canny // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 1986. - Vol. 8, Issue 6. - P. 679-698.
15. Williams, D.J. A fast algorithm for active contours and curvature estimation / D.J. Williams, M. Shah // CVGIP: Image Processing. - 1992. - Vol. 55, Issue 1. - P. 14-26.
16. Петров, В.О. Модификация алгоритма активных контуров для решения задачи интерактивной сегментации растровых изображений дефектов металлических отливок / В.О. Петров, О.О. Привалов // Современные проблемы науки и образования. - 2008. - № 6 - С. 14-19.
17. Hart, P.E. Formal basis for the heuristic determination of minimum cost paths / P.E. Hart, N.J. Nilsson, B.A. Raphael // IEEE Transactions on Systems Science and Cybernetics. -1968. - Vol. 4, Issue 2. - P. 100-107.
18. Cormen, T.H. Introduction to algorithms / T.H. Cormen, Ch.E. Leiserson, R.L. Rivest, C. Stein. - 3rd ed. - MIT Press, 2009. - P. 727-730.
19. Mikhaylichenko, A. Automatic detection of bone contours in X-Ray Images / A. Mikhaylichenko, Y. Demyanenko, E. Grushko // CEUR Workshop Proceedings (AIST 2016). -2016. - Vol. 1710. - P. 212-223.
20. Михайличенко, А.А. Метод точного выделения контуров медицинских объектов на рентгенограммах / А.А. Михайличенко, Я.М. Демяненко // Труды 26-й Международной конференции по компьютерной графике и обработке изображений, ГрафиКон 2016. - 2016. -С. 193-198.
Сведения об авторах
Михайличенко Алексей Андреевич, аспирант кафедры прикладной математики и программирования института математики, механики и компьютерных наук Южного Федерального университета. Область научных интересов: компьютерное зрение, обработка изображений, машинное обучение. E-mail:
Демяненко Яна Михайловна, к.т.н., доцент института математики, механики и компьютерных наук Южного Федерального университета. Область научных интересов: компьютерная графика, компьютерное зрение, обработка изображений. E-mail: [email protected] .
ГРНТИ: 28.23.15
Поступила в редакцию 17 августа 2018 г. Окончательный вариант - 19 апреля 2019 г.
Detection of the bone contours of the knee joints on medical X-ray images
A.A. Mikhaylichenko1, Y.M. Demyanenko1
1Southern Federal University, Institute of Mathematics, Mechanics and Computer Science,
Rostov-on-Don, Russia
Abstract
Detection of objects of interest is a crucial step in the automatic analysis of the medical X-ray images. However, medical X-rays are often characterized by the low contrast as well as great variability in range of colours, which makes it more difficult to be analysed by the common methods based on the regions homogeneity principles. In our paper, we present an alternative approach to the contours detection problem that does not require the homogeneity criteria to be satisfied. Our method is based on the identification of edge fragments and elimination of discontinuities between them. Moreover, we describe a numeric criterion for quality evaluation of contours detection. The obtained results can used for diagnosis of abnormalities and diseases, and also as an intermediate step for more sophisticated methods of image analysis.
Keywords: image processing; medical X-ray images segmentation; contours extraction.
Citation: Mikhaylichenko AA, Demyanenko YM. Detection of the bone contours of the knee joints on medical X-ray images. Computer Optics 2019; 43(3): 455-463. DOI: 10.18287/2412-61792019-43-3-455-463.
References
[1] Dougherty G. Medical Image Processing: Techniques and Applications (Biological and Medical Physics, Biomedical Engineering). New York: Springer-Verlag; 2011.
[2] Stolojescu-crisan C, Holban SA. Comparison of X-Ray image segmentation techniques. Advances in Electrical and Computer Engineering 2013; 13(3): 85-92.
[3] Goshtasby A, Turner DA. Segmentation of cardiac cine MR images for extraction of right and left ventricular chambers. IEEE Transactions on Medical Imaging 1995; 14(1): 56-64.
[4] Feng D. Segmentation of bone structures in X-Ray image. PhD thesis. Singapore: School of Computing National University of Singapore; 2006. Source: (http://www.comp.nus.edu.sg/~leowwk/thesis/dingfeng-proposal.pdf).
[5] Kulkarni M. X-ray image segmentation using active shape models. Master's thesis, University of Cape Town, 2008. Source: (http://www.dip.ee.uct.ac.za/~klkmay001/MK_un-dergrad_thesis.pdf ).
[6] Seise M, McKenna SJ, Ricketts IW, Wigderowitz CA. Segmenting tibia and femur from knee X-ray images. Proc Medical Image Understanding and Analysis 2005: 103-106.
[7] Garcia RL, Fernandez MM, Arribas JI, Lopez CA. A fully automatic algorithm for contour detection of bones in hand radiographs using active contours. IEEE International Conference on Image Processing 2003: 421-424.
[8] Chen Y, Ee XH, Leow WK, Howe TS. Automatic extraction of femur contours from hip X-Ray images. Computer Vision for Biomedical Image Applications 2005: 200-209.
[9] Chernuhin NA. On an approach to object recognition in X-ray medical images and interactive diagnostics process. IEEE Proceedings: Computer Science and Information Technologies (CSIT) 2013.
[10] Paris S, Kornprobst P, Tumblin J, Durand F. Bilateral filtering: Theory and applications. Foundations and Trends in Computer Graphics and Vision 2009.
[11] Otsu N. A threshold selection method from gray-level histograms. IEEE Trans Sys Man Cyber 1979; 9: 62-66.
[12] Xu C. Snakes, shapes, and gradient vector flow. IEEE Trans Image Process 1998; 7(3): 359-369.
[13] Kirsch R. Computer determination of the constituent structure of biological images. Computers and Biomedical Research 1971; 4: 315-328.
[14] Canny J. A computational approach to edge detection. IEEE Transactions on Pattern Analysis and Machine Intelligence 1986; 8(6): 679-698.
[15] Williams DJ, Shah M. A fast algorithm for active contours and curvature estimation. CVGIP: Image Processing 1992; 55(1): 14-26.
[16] Petrov VO, Privalow OO. Modification of the active contour algorithm for solving the problem of interactive segmentation of raster images of defects in metal castings [In Russian]. Modern Problems of Science and Education 2008; 6: 14-19.
[17] Hart PE, Nilsson NJ, Raphael BA. Formal basis for the heuristic determination of minimum cost paths. IEEE Transactions on Systems Science and Cybernetics 1968; 4(2): 100-107.
[18] Cormen TH, Leiserson CE, Rivest RL, Stein C. Introduction to algorithms. 3rd ed. MIT Press; 2009: 727-730.
[19] Mikhaylichenko A, Demyanenko Y, Grushko E. Automatic detection of bone contours in X-Ray images. CEUR Workshop Proceedings (AIST 2016) 2016; 1710: 212-223.
[20] Mikhaylichenko A, Demyanenko Y. Method of accurate edge detection of medical objects on radiographs [In Russian]. Proceedings of the 26th International Conference on Computer Graphics and Vision (GraphiCon 2016) 2016: 193-198.
Authors' information
Alexey Andreevich Mikhaylichenko, graduate student of Applied Mathematics and Programming department of the Institute of Mathematics, Mechanics and Computer Science of the Southern Federal University. His research interests are currently focused on computer vision, image processing and machine learning. E-mail:
Yana Mikhaylovna Demyanenko, Ph.D., associate professor of the Southern Federal University. Institute of Mathematics, Mechanics and Computer Science. Research interests are computer graphics, computer vision, image processing. E-mail: [email protected] .
Received August 17, 2018. The final version - April 19, 2019.
