CC BY
43
УДК 004.932.72
КОМБИНИРОВАННЫЙ МЕТОД ДЕТЕКТИРОВАНИЯ ГРАНИЦ НА РЕНТГЕНОГРАФИЧЕСКИХ МЕДИЦИНСКИХ ИЗОБРАЖЕНИЯХ, ИСПОЛЬЗУЮЩИЙ МЕТОДИКУ АКТИВНЫХ КОНТУРОВ
Чернухин Никита Андреевич
Южный федеральный университет, Ростов-на-Дону, Россия шшuЫn@,gmail .com
В статье предлагается метод детектирования границ объектов на рентгенографических медицинских изображениях. Предложенный метод использует методику активных контуров для уточнения границ объектов и сочетает преимущества этой методики и метода, предложенного автором в предыдущих исследованиях. Предполагается использование предложенного метода в системах интерактивной медицинской диагностики.
Ключевые слова: ОБРАБОТКА ИЗОБРАЖЕНИЙ, РАСПОЗНАВАНИЕ ОБРАЗОВ, ДЕТЕКТИРОВАНИЕ ГРАНИЦ, АКТИВНЫЕ КОНТУРЫ, РЕНТГЕНОГРАФИЧЕСКИЕ ИЗОБРАЖЕНИЯ, МЕДИЦИНСКИЕ ИЗОБРАЖЕНИЯ
Введение
UDC 004.932.72
COMBINED METHOD OF EDGE DETECTION FOR X-RAY MEDICAL IMAGES USING ACTIVE CONTOUR APPROACH
Chemukhin Nikita Andreevich
Southern federal university, Rostov-na-Donu, Russia nuinuhin@gmail .com
The method of edge detection for X-ray medical images is proposed in the article. The method uses active contours approach for object edge refinement and combines advantages of active contours and those of the method proposed by author in his earlier researches. The method is suggested to be used in interactive diagnosis systems
Keywords: IMAGE PROCESSING, IMAGE RECOGNITION, EDGE DETECTION, ACTIVE CONTOURS, X-RAY IMAGES, MEDICAL IMAGES
Работа посвящена обнаружению объектов и детектированию их границ на медицинских рентгенографических изображениях и продолжает исследование, начатое в [1].
В [1] был предложен метод детектирования объектов и их точных границ, основанный на сопоставлении имеющихся на изображении контуров с некоторым заранее заданным шаблоном, соответствующим медицинской и физиологической норме для заданной рентгенографической проекции. Сопоставление осуществлялось через введение меры расстояния между контурами, основанной на оценке как геометрической близости их точек, так и точных направлений вектора градиента интенсивности изображения в соответствующих точках. Поиск наилучшего наложения эталонного контура на реальные контуры производился посредством минимизации в пространстве гипотез (сдвиг-масштаб-поворот).
В настоящей работе предлагается модификация описанного в [1] метода, которая заключается в векторизации и упрощении исходного шаблона, а также в применении подхода активных контуров (т. н. «змей») для приближения границы целевого объекта. Предлагаемые усовершенствования не только позволяют повысить качество и производительность метода, но и увеличивают его пригодность для систем автоматической и полуавтоматической диагностики, построение которых является конечной целью настоящего исследования.
Состояние исследований и актуальность работы
Потребность в новых методах цифровой обработки медицинской информации высока, и существующие тенденции позволяют предположить, что в дальнейшем спрос на такие методы будет лишь возрастать. Интерес к данной области обусловлен постоянным развитием медицины и совершенствованием как технической базы медицинских исследований, так и методик проведения таких исследований. Следует также отметить, что средства цифровой обработки изображений применимы не только к изображениям, полученным на современном оборудовании цифровым способом, но и к изображениям, полученным традиционным фотографическим способом и впоследствии оцифрованным. Это расширяет сферу применимости разрабатываемых методов, позволяя использовать в исследованиях большую накопленную за многие годы базу изображений.
Обработка медицинских изображений попадает в сферу особого внимания исследователей не только из-за очевидной практической необходимости обработки таких изображений, но также и потому, что наличие стандартов на проведение исследований и сама природа этих изображений делают их более предсказуемыми и, как следствие, более поддающимися обработке формальными способами.
В качестве объекта исследований была выбрана фронтальная рентгенографическая проекция коленного сустава, что обусловлено ее хорошей изученностью и относительной простотой составляющих ее объектов. Такой выбор также и практически целесообразен, в силу высокой распространенности заболеваний и травм коленного сустава.
В заключительной части работы [1] отмечалось, что исходный шаблон не только служит для детектирования объекта, но и является носителем априорной информации о целевом объекте в его условно нормальном состоянии. Предполагалось, что сравнение отклонений границы реального объекта от должным образом позиционированного шаблона позволит дать количественную оценку степени деформации целевого объекта на конкретных участках границы. Известно, что такая оценка является важным диагностическим критерием.
Используемый в [1] метод рассматривал контуры как неупорядоченное множество точек, однако для оценки отклонения на конкретных участках границы представляется целесообразным представление контура в виде ломаной или многоугольника. Кроме того, контур, заданный ломаной, может быть легко упрощен путем удаления вершин, лежащих на относительно прямолинейных участках. Удаление вершин, не влияющих на форму контура, позволяет существенно увеличить производительность без потери качества.
Методика активных контуров, предложенная в [2], является одним из ключевых направлений в обработке изображений. Основная идея этого подхода состоит в поиске локального минимума энергии, связанной с контуром. Значение энергии складывается из внутренней энергии, порожденной эластичностью и упругостью контура и внешней, порожденной целевым изображением. Выбор внешних сил производится таким образом, чтобы локальный минимум энергии, достигаемый при балансе внутренних и внешних сил соответствовал требуемому положению контура: как прави-
ло, требуется прилегание контура к границам исследуемых объектов на изображении.
Активные контуры позволяют легко выделять границы объекта, будучи при этом устойчивы к масштабированию и шумам, однако их существенным недостатком является чрезвычайная чувствительность к начальному положению контура: фактически начальное положение должно быть близко к требуемому. В противном случае происходит фиксация отдельных точек контуров на локальных минимумах или на границах посторонних объектов, оказавшихся вблизи от начального положения.
Предложенный в [1] метод, напротив, не предъявляет никаких требований к начальному положению шаблона и позволяет осуществлять детектирование, располагая шаблон вблизи истинного положения объекта. В связи с этим представляется интересным осуществить комбинацию метода [1] с методикой активных контуров, используя в качестве начального положения активного контура трансформированный шаблон.
Таким образом, целью настоящего исследования является разработка метода векторизации и последующего упрощения исходного шаблона, а также адаптация существующего метода детектирования объектов для векторного шаблона. Второй задачей является проверка возможности комбинирования предложенного метода с методами активных контуров с целью получения точной границы целевого объекта в векторной форме (заданная точками ломаная на плоскости).
Постановка задачи
Под изображением будем понимать матрицу X размером M х N с элементами из множества {0,1,2,...,255}, то есть будем рассматривать полутоновые изображения с глубиной цвета 8 бит. Контуром будем называть последовательность {С, }^=01 элементов из R2. Исходный шаблон является контуром, полученным на основе эталонного изображения и представля-
ющим границы целевого объекта (кости или отдела кости) в состоянии, соответствующем медицинской и биологической норме. Будем говорить, что контур С не содержит самопересечений, если для любых г, у = 0, 1, 2 • K -1 отрезки СгСг+1 и СуСу+1 не пересекаются. Здесь и далее будем подразумевать, что для любого контура С длины к Сг = Сг ^ к при г > к
Входными данными для метода являются:
1. целевое изображение х;
2. шаблон С для поиска целевого объекта, соответствующий возрастной, половой и конституционной группе изображения.
На выходе метода получаем границы целевого объекта в виде контура Е.
Исходя из природы медицинских рентгенографических изображений, будет естественным полагать, что границы целевого объекта (кости) должны представляться одним (в простом случае) или несколькими контурами без самопересечений. Будем полагать, что качество детектирования границы определяется степенью приближения границы целевого объекта ломаной, порожденной результирующим контуром Е. Такой критерий допускает количественную оценку и, вместе с тем, позволяет визуально оценивать качество детектирования при наложении полученного контура на исходное изображение.
Исходный шаблон
Построение исходного шаблона производится экспертом вручную. Для этой цели нами был разработан инструмент, позволяющий эффективно осуществлять ввод шаблона на основании «эталонного» изображения. Перед вводом шаблона исходное изображение У подвергается предварительной обработке. В первую очередь к нему применяется фильтр Гаусса для устранения шумов и сглаживания перепадов интенсивности (в эксперименте использовался фильтр с радиусом 5 и а = 3):
у = °к* • у. (1)
Здесь ок * — матрица гауссовского размытия размером (2 к +1) х (2 к +1) и
со среднеквадратичным отклонением *, а «•» — оператор свертки.
К размытому изображению применяется детектор Кенни с оператором Собеля, в результате работы которого получается матрица ^, каждый элемент которой является вектором градиента интенсивности изображения У в соответствующей точке. Матрицу ^ будем называть градиентным препаратом изображения У.
В окне приложения (см. Рис. 1) отображается «эталонное» изображение. Задача оператора состоит в том, чтобы, перемещая курсор вдоль границы целевого объекта, выделить эту границу нажатиями на кнопку мыши. При нажатии кнопки мыши в некоторой окрестности выделенной точки (в эксперименте — окрестность 9 на 9 точек) производится поиск точки, в которой модуль градиентного препарата ^ максимален. При этом рассматриваются только точки, удовлетворяющие следующим условиям:
1. Расстояние от точки до предыдущей точки, добавленной в контур, не менее некоторого порога (порог выбирается в процессе калибровки метода, в эксперименте — использовался порог 10);
2. Добавление точки в контур не породит самопересечений;
3. Модуль градиентного препарата в точке не менее некоторого порога (в эксперименте — 16).
Рис. 1. Ввод шаблона
Если локальный максимум найден (что возможно при условии, что в указанной окрестности нашлась по меньшей мере одна точка, удовлетворяющая трем условиям), то первая точка, на которой этот максимум достигается, добавляется в контур.
В результате применения данного инструмента получается контур без самопересечений, точки которого удалены друг от друга не менее, чем на некоторое заданное расстояние и располагаются на перепадах интенсивности изображения. Практика показывает, что этот инструмент позволяет быстро получать контуры объектов на рентгенограммах с высокой точностью. Полученные таким образом шаблоны содержат на порядок меньше точек, чем полученные добавлением всех точек границы целевого объекта. На Рис. 2 представлены результаты получения шаблона на основании одного и того же изображения обоими способами. Шаблон а содержит 966 элементов, а Ь — 83.
а Ъ
Рис. 2. Шаблон дистального отдела бедренной кости, полученный из всех точек границы (а) и при помощи нового инструмента ввода (Ь). Цветом обозначено направление вектора градиента интенсивности изображения.
Полученный шаблон сохраняется для дальнейшего использования. Вместе с координатами элементов контура сохраняются компоненты вектора градиента интенсивности изображения в соответствующих точках.
Упрощение шаблона
Время работы алгоритма детектирования линейно зависит от количества точек шаблона. Уменьшение количества точек шаблона, следовательно, приводит к увеличению производительности детектирования. С этой целью в работе [3] было предложено при вычислении степени близости контуров использовать каждую п-ю точку шаблона, пропуская оставшиеся; такой же подход использовался нами в [1]. Эксперимент в [1] показал, что использование только каждой пятой и даже каждой десятой точки шаблона позволяет осуществлять надежное детектирование. Однако при таком подходе не учитывается, что различные точки шаблона вносят различный вклад в форму объекта. Действительно, точки, лежащие на относи-
тельно прямолинейных участках контура, содержат гораздо меньше информации, чем точки, в которых контур меняет направление.
Представление шаблона в виде последовательности точек (ломаной), в отличие от его представления в виде множества точек, используемого в [3,1], позволяет оценивать информационный вклад точек в форму объекта и исключать точки, несущие меньше информации. Для этой цели нами был разработан алгоритм, исключающий точки, лежащие на относительно прямолинейных участках контура.
На вход алгоритма подается контур с, состоящий из к элементов и параметр е > 0, задающий максимальное допустимое отклонение точки от прямолинейного участка. Обозначим через р (х, х1з х2) расстояние от точки х = (Ч, у) до прямой, проходящей через точки х1 = (г1, у!) и х2 = (Ч2, у2):
р( ) |(У2 - " (*2 " ОУ + О2Л " ^ ^
р(х, х1, х2) = ]-. -1 (2)
л/(У2 - У1)2 + (': - Ч)2 К '
Рассмотрим работу алгоритма по шагам:
1. Если к < 3, результирующий контур состоит из всех вершин исходного, и упрощение не требуется.
2. Положим V = 0, Ь = 3. Добавим в результирующий контур вершину с0.
3. Положим I = V +1.
4. Если р(С,Су, СЬ) < е, перейдем на шаг 5. Иначе, перейдем на шаг 7.
5. Увеличим I на единицу. Если I = Ь, увеличим с на единицу и перейдем на шаг 6. Иначе, перейдем на шаг 4.
6. Если Ь > к , алгоритм завершен. Иначе, перейдем на шаг 3.
7. Добавим в результирующий контур точку СЬ-1. Если Ь = к , алгоритм завершен. Иначе, положим V = Ь, Ь = V +1 и перейдем на шаг 3.
В алгоритме V — номер последней точки, классифицированной как «вершина», Ь — номер текущего рассматриваемого элемента, I — итерационный параметр. Алгоритм вычисляет расстояние от точек исходного контура, лежащих между последней вершиной и текущим элементом до прямой, проходящей через текущую вершину и текущий элемент. Как только находится элемент, для которого это расстояние превышает пороговое значение е, элемент, предшествующий текущему, объявляется новой вершиной и добавляется в упрощенный контур.
Если построить ломаную, соединяющую точки результирующего контура, то расстояние от любой точки исходного контура до ближайшего сегмента полученной ломаной всегда будет меньше е. Большие значения е приводят к уменьшению числа точек упрощенного контура. Пример работы алгоритма приведен на Рис. 3.
Рис. 3. Упрощение шаблона. Исходный шаблон (а) 81 элемент, упрощенный с е = 0,05 (Ь) 38 элементов, упрощенный с е = 1 (с) 27 элементов.
Детектирование объекта
В настоящем исследовании применяется способ детектирования, предложенный в [1]. Отличие состоит в том, что вычисление метрики производится по всем точкам шаблона, а не по каждой и-ой, так как в данном случае шаблон уже упрощен.
Для рассматриваемого изображения X размером M х n вычисляется градиентный препарат F. Через E обозначим множество точек изображения X в которых модуль градиентного препарата отличен от нуля:
E = {(/, j) е {1,2,3,. ,M} х {1,2,3,• N}||F| > 0} (3)
Рассматривается пространство гипотез х, элементами которого являются преобразования шаблона (сдвиг, поворот, масштабирование). Производится минимизация функции P(X, C, X) на множестве х :
P( X, C, X) = d (E, w(C , X))® min, (4)
где C — исходный шаблон, w(C, X) — шаблон, преобразованный в соответствии с гипотезой X е х, d — разработанная нами модификация меры расстояния между контурами, предложенной в [3]. Подробное описание меры и метода минимизации дано в [1].
В результате минимизации получаем элемент X0 е х, соответствующий преобразованию исходного шаблона, при котором он наилучшим образом накладывается на границы, присутствующие на изображении X . Пример детектирования представлен на Рис. 4.
Рис. 4. Результат детектирования объекта.
Выделение границ. Использование активных контуров.
Одним из главных моментов в применении механизма активных контуров является выбор источника внешних сил, т. е. векторного поля, некоторым образом зависящего от целевого изображения, действие которого на контур вместе с внутренними силами заставляет контур двигаться к положению устойчивого равновесия в локальном минимуме потенциальной энергии. Традиционным (и естественным) является выбор в качестве такого поля градиента модуля градиента изображения, что заставляет точки контура смещаться к положениям, в которых перепад интенсивности изображения достигает максимума. Однако природа рентгенографических изображений, объекты на которых зачастую находятся близко друг к другу или вовсе пересекаются, делает такой подход неприменимым для детектирования границ отдельных объектов или, в лучшем случае, вынуждает к очень точному позиционированию начального положения контура.
Данная проблема была решена при помощи предложенного нами в [1] способа фильтрации градиента изображения. Введение адаптивного порога позволяет подавлять компоненты градиента в точках, не принадлежащих границам целевого объекта.
Располагая целевым изображением X, исходным шаблоном с и преобразованием |0, полученным в результате детектирования, проведем ряд преобразований, для получения отфильтрованного градиента.
Сначала изображение обрабатывается фильтром Гаусса:
X = ок,а - X (5)
Затем вычисляется градиент размытого изображения, путем применения оператора Собеля. Отметим, что в данном случае не используется детектор Кенни, так как «толстый» контур, полученный без его использования более пригоден для методики активных контуров в силу плавного возрастания модуля градиента на таком контуре.
УХ = БоЬв1 (X) (6)
Применим к УХ порог т(с, X, у) [1]:
2 =||УХу.|,если |УХ.| >т(с,X,л (7)
У [ 0, в противном случае.
В качестве поля внешних сил для активных контуров будем использовать У2. Результат фильтрации градиента изображения представлен на Рис. 5. Прерывистость границы на Рис. 5 (с) объясняется разреженностью точек шаблона С0.
Рис. 5. Фильтрация градиента изображения. Исходное изображение (а), градиент |УХ| (Ь) и 2 — результат фильтрации (с).
Используемый нами жадный алгоритм активных контуров подробно описан в [4] и применяется практически без изменений.
Эксперимент
Эксперимент проводился на группе из 15 рентгенографических изображений, содержащих фронтальную проекцию коленного сустава. Использовался шаблон дистального отдела бедренной кости, подготовленный при помощи описанного выше инструмента. Результаты приведены на Рис. 6.
Рис. 6. Выделение границ. Исходное изображение (левый столбец), результат детектирования (центральный столбец) и результат выделения границ
(правый столбец).
Заключение
Предложен комбинированный метод детектирования объектов и выделения их границ на рентгенографических изображениях. Предложенный метод сочетает в себе сильные стороны детектирования объектов при помощи наложения контуров и подхода активных контуров. Субъективная визуальная оценка качества выделения границ позволяет сделать вывод,
что данный подход дает лучшие результаты, чем предыдущий предложенный нами метод.
Представление результирующей границы объекта в виде последовательности точек (многоугольника) позволяет осуществлять сравнение форм и оценку отклонения границы на определенных участках, классификацию и т. д. Такое представление также открывает возможность применения обширной группы методов, требующих представления контура в виде ломаной, например [5].
Упомянутые особенности позволяют сделать заключение о пригодности данного метода для обработки рентгенограмм и о целесообразности продолжения исследований в данном направлении.
Список литературы
1. Бабаев М. В., Пилиди В. С., Чернухин Н. А. Метод детектирования объектов и выделения границ для рентгенографических медицинских изображений // Вестник компьютерных и информационных технологий. — 2012 №8. — С. 41-45.
2. Kass M., Witkin A., Terzopoulos D. Snakes: Active Contour Models // International Journal of Computer Vision. — 1988. Volume 2. — P. 321-331.
3. Shotton J., Blake A., Cipolla R. Multi-scale categorical object recognition using contour fragments // IEEE Transactions on Pattern Analysis and Machine Intelligence. — 2008. — Volume 30, Issue 7. — P. 1270 — 1281.
4. Williams D. J., Shah M. A Fast Algorithm for Active Contours and Curvature Estimation // CVGIP: Image Processing. — 1992. Volume 55, No 1, January. — P. 14-26.
5. Pun C.-M., Lin C. Shape Classification Using Contour Simplification and Tangent Function // International Journal of Circuits, Systems and Signal Processing. — 2010 Issue 1, Volume 4. — P. 17-24.
References
1. Babaev, MV Pilidi VS Chernukhin NA method for the detection of objects and border selection for X-ray medical imaging / / West nickname of computer and information technologies. - 2012 № 8. - S. 41-45.
2. Kass M., Witkin A., Terzopoulos D. Snakes: Active Contour Models / / International Journal of Computer Vision. - 1988. Volume 2. - P. 321-331.
3. Shotton J., Blake A., wCipolla R. Multi-scale categorical object recognition us-ing contour fragments / / IEEE Transactions on Pattern Analysis and Machine Intelligence. -2008. - Volume 30, Issue 7. - P. 1270 - 1281.
4. Williams D. J., Shah M. A Fast Algorithm for Active Contours and Curvature Estimation / / CVGIP: Image Processing. - 1992. Volume 55, No 1, January. - P. 14-26.
5. Pun C.-M., Lin C. Shape Classification Using Contour Simplification and Tangent Function / / International Journal of Circuits, Systems and Signal Processing. - 2010 Issue 1, Volume 4. - P. 17-24.
