CC BY
87
УДК 621.3.019:621.397:681.3
Н. Г. Федотов, А. С. Кольчугин, О. А. Смолькин, С. В. Романов
ТРИПЛЕТНЫЕ ПРИЗНАКИ РАСПОЗНАВАНИЯ СЛОЖНОСТРУКТУРИРОВАННЫХ, СЕМАНТИЧЕСКИ НАСЫЩЕННЫХ ИЗОБРАЖЕНИЙ1
В статье дается описание признаков распознавания образов, основанных на методах стохастической геометрии и имеющих трехфункциональную структуру (триплетных признаков). Рассматриваются подходы к формированию информативных триплетных признаков на основе генерации и экстракции. На примере распознавания изображений из области медицинской диагностики обосновывается применимость описываемых методов формирования признаков для распознавания сложноструктурированных, семантически насыщенных изображений.
Введение
При решении многих практических задач распознавания образов приходится иметь дело со сложноструктурированными изображениями. В случае, когда изображение содержит множество объектов, относящихся к нескольким различным видам, каждый из которых обладает своими собственными значимыми характеристиками, задача формирования признаков существенно усложняется.
В теоретических работах по распознаванию образов основное внимание уделяют исследованию методов построения решающих процедур и соответствующего математического аппарата. В качестве исходной предпосылки при этом считается, что признаки, на основе которых осуществляется отнесение образа к одному из классов, уже известны и измерены. Однако при решении практических задач в области распознавания образов, в частности при распознавании образов, представленных графическими изображениями, получение информативных числовых признаков представляет собой не менее сложную задачу, чем разработка решающей процедуры. Выделение признака по изображению можно рассматривать как процесс предельного сжатия информации, когда изображению, состоящему из сотен тысяч пикселей, ставится в соответствие конкретное числовое значение.
Традиционно формирование признаков считается эмпирической задачей. Аппарат стохастической геометрии позволяет не только дать теоретическое описание этому этапу распознавания, но и предложить универсальный метод формирования большого числа новых конструктивных признаков для образов, представленных в виде изображений. Опора на большое количество признаков повышает надежность и гибкость распознавания.
Характерной особенностью признаков, формируемых на основе предложенного метода, является их структура в виде композиции трех функционалов [1-3]. Исходя из этого, мы называем получаемые признаки триплетны-ми. Благодаря трехфункциональной структуре возможно осуществить генерацию большого числа признаков, что расширяет круг решаемых задач распознавания, включает в него задачи с большим числом классов, таких как
1 Работа выполнена при поддержке INTAS, Ref. № 04-77-7036 и гранта РФФИ, проект № 05-01-00991.
распознавание иероглифов, объектов из области нанотехнологий, технической диагностики [4].
К настоящему моменту выявлено более 200 функционалов из различных областей математики: теории вероятностей, математической статистики, теории рядов и фракталов, пригодных для формирования триплетных признаков. Это позволяет получить тысячи различных признаков, причем в режиме автоматической компьютерной генерации. Эффективность получаемых признаков связана с их геометричностью. Большинство формул стохастической геометрии, а также преобразования Радона, Хо, Фурье представимы в виде композиции трех функционалов.
Исследованы триплетные признаки, в основе которых лежит сканирование изображений как детерминированной решеткой, так и по траекториям со случайными параметрами [5]. На основе трейс-преобразования и двойственного трейс-преобразования можно не только формировать признаки распознавания, но и выполнять предварительную обработку изображений [6, 7].
В настоящей статье показано, что методы и подходы к формированию признаков на основе стохастической геометрии могут быть эффективно применены не только к распознаванию искусственных демонстрационных изображений, но и при разработке прикладных распознающих систем, работающих с реальными, сложноструктурированными, семантически насыщенными изображениями.
Ярким примером таких изображений являются изображения, получаемые и распознаваемые в системах медицинской диагностики. Ниже будут рассмотрены конкретные примеры формирования признаков для изображений ультразвуковых и гистологических исследований, используемых при диагностике онкологических заболеваний щитовидной железы.
1. Трейс-преобразование
Ключевым моментом в теории триплетных признаков является геометрическое трейс-преобразование, связанное со сканированием изображения по заданным траекториям. Теория трейс-преобразования нашла подробное отражение в предшествующих работах авторов [2, 3, 6, 7]. Наибольшее применение в прикладных исследованиях нашел дискретный вариант трейс-преобразо-вания, осуществляемого на основе дискретной сканирующей решетки.
Пусть F(х, y) - функция изображения на плоскости (х, y). Определим на плоскости сканирующую прямую l (, р, t), которая задается нормальными координатами ф и р:
х cos ф+ y sin ф = р .
Рассмотрим результат пересечения изображения F (х, y) со сканирующей прямой l (ф, р, t). Определим функцию двух аргументов g(ф, р) = T( nl(ф, р, t)) как результат действия функционала Т на результат пересечения изображения со сканирующей прямой при фиксированных значениях переменных ф и р . В дискретном случае параметры сканирующей прямой образуют два дискретных множества ^ = {ф}, ф2, ..., ф„},
Г = {Р1, Р2,..., Рт} . В результате действия функционала Т получаем матрицу, элементами которой являются значения ^ = Т^ п I (j, рг-, г) . Детерминированное сканирование позволяет однозначно определить каждый элемент матрицы. Назовем эту матрицу трейс-матрицей или трейс-трансформантой.
Вычисление трейс-трансформанты демонстрирует рисунок 1,а. Здесь показано получение функции /(ф, р, г) действительной переменной при сканировании прямой I. Если изображение бинарное, функция / (ф, р, •) равна 1 в интервалах (^, ^) и (^, г4) и принимает нулевое значение при других значениях г (для полутонового изображения за значение функции может быть взята интенсивность изображения в данной точке).
а) б)
Рис. 1 Трейс-преобразование: а) исходное изображение; б) трейс-матрица
Рассмотрим функционал Т от данной функции и в качестве независимой переменной определим г, получая в результате трейс-трансформанту g(ф, р) = Т(/(ф, р, г)). В простейшем случае функционал Т(/(ф, р, г)) может быть суммой длин ненулевых отрезков в области определения функции / (ф, р, •). Для отображенной на рисунке 1,а прямой I трейс-трансформанта
будет равна сумме величин ^ - г1 и ^ ^. Если мы определим трейс-
трансформанту для всех прямых, сканирующих изображение на рисунке 1,а при различных углах ф и расстояниях р, мы получим трейс-матрицу (рис. 1,б). В рассмотренном случае преобразование совпадает с преобразованием Радона для бинарных изображений, хотя в общем случае оно не сводится к нему.
Заметим, что трейс-функционал не обязательно должен определяться лишь характеристиками сечения изображения сканирующей прямой (числом пересечений, суммой длин областей пересечения и т.п.). Для его вычисления может быть привлечена информация об окрестности этого сечения, что особенно актуально при сканировании полутоновых изображений.
При разработке распознающих систем важна устойчивость признаков к определенным видам деформаций изображений. Например, если при съемке трудно обеспечить точное позиционирование объекта, было бы крайне желательно обеспечить независимость значения признака от параллельного переноса или вращения изображения. Такое свойство признака называется инвариантностью. Допустим, что изображение претерпело сдвиг и поворот, при этом возникло новое изображение F'. При этом же сдвиге и повороте прямая
I перейдет в прямую I', оставаясь, таким образом, «вмороженной» в изображение. Функционал Т будет называться полностью инвариантным к группе движения, если для всех прямых и всех допустимых изображений будет соблюдаться равенство Т jF п I ) = Т jF' п I'). В [2] рассматриваются теоремы,
доказывающие существование инвариантных признаков, основанных на три-плетной структуре.
2. Триплетный признак
Трейс-преобразование представляет собой первый этап формирования триплетного признака. Как уже было отмечено, в дискретном варианте преобразование дает трейс-матрицу, элементами которой являются значения
функции преобразования, вычисленные для сканирующей прямой I (ф j, рг-, г).
Последующее вычисление признака заключается в последовательном свертывании столбцов матрицы с помощью диаметрального функционала Р . Результатом применения функционала Р к трейс-трансформанте является 2п -периодическая кривая, а в дискретном варианте - вектор. Дальнейшее сжатие информации осуществляется с помощью циркового функционала Ф , в результате чего для изображения получается некоторое число-признак.
Таким образом, мы вычисляем новый триплетный признак как последовательную композицию трех функционалов: П(F) = Ф о Р о Т(F п Ь(ф, р, г)), где каждый функционал (Ф , Р и Т) действует на функции одной переменной (ф, р и г) соответственно.
3. Генерация и экстракция признаков
Мы выделяем два основных подхода к формированию триплетных признаков.
Первый подход использует уже отмеченное выше свойство, обеспечиваемое трехфункциональной структурой признака, которое позволяет на основе базового набора из нескольких десятков функционалов каждого вида получать тысячи различных признаков в режиме автоматической компьютерной генерации.
Генерация триплетных признаков осуществляется формальным образом на основе имеющейся библиотеки функционалов для обучающей выборки, без учета геометрического смысла и других априорных характеристик получаемых признаков. Затем осуществляется отбор согласно некоторому критерию как можно меньшего числа наиболее информативных признаков. Отбор признаков часто называют процессом минимизации признакового пространства, который основан на применении аппарата математической статистики и теории информации. Основным преимуществом данного подхода является его универсальный характер, позволяющий применять его в тех случаях, когда выделить конкретные геометрические характеристики, важные для классификации, представляется затруднительным (а такие случаи, пожалуй, составляют большинство при решении прикладных задач). Недостатком подхода являются большие вычислительные затраты на обучение распознающей системы, поскольку мы вынуждены генерировать, а затем селекционировать тысячи признаков с целью выделения небольшого числа наиболее информативных.
Второй подход основан на способности признаков стохастической геометрии хорошо отражать геометрические характеристики распознаваемых объектов (форму, размер, выпуклость, ровность контура, ориентацию и т.п.). Это позволяет изначально сформировать небольшое число информативных признаков, подбирая для этого функционалы с заданным геометрическим смыслом. Мы называем данный подход экстракцией признаков. Он хорошо применим при распознавании изображений с достаточно четко выделяющимися геометрическими характеристиками распознаваемых образов каждого класса при малом числе классов распознавания.
Таким образом, выбор используемого подхода прежде всего зависит от количества классов и специфики распознаваемых изображений.
При разработке систем, связанных с распознаванием изображений из области медицинской диагностики, находят применение оба подхода, причем каждому подходу соответствует своя группа признаков. С точки зрения генезиса, в медико-диагностических системах можно выделить две группы признаков: стандартные признаки и абстрактные признаки.
Стандартные признаки - это характеристики изображений, имеющие ясный смысл с точки зрения медицины. Именно эти признаки используются для интерпретации результатов исследования профессиональным врачом-диагностом. Например, для изображений УЗИ это могут быть геометрические размеры, эхогенность и плотность органа и т.п. Автоматическое определение таких признаков реализуется на основе процедуры экстракции.
Абстрактные признаки - это числовые признаки, имеющие исключительно математическое происхождение. Мы не знаем их смысл с точки зрения медицины, однако мы можем показать, что они успешно разделяют изображения на классы в соответствии с поставленным диагнозом. Формирование информативных абстрактных признаков реализуется с помощью процедуры генерации.
4. Экстракция признаков на примере ультразвуковых изображений
Ультразвуковое исследование является основным методом ранней диагностики онкологических заболеваний, в том числе и диагностики рака щитовидной железы.
В анализе и распознавании изображений УЗИ щитовидной железы можно выделить две последовательно решаемых задачи:
- локализация очага поражения органа на изображении;
- оценка (измерение) характеристик очага поражения.
Первая задача является задачей предварительной обработки и решается методом морфологической реконструкции [8]. В результате предварительной обработки на ультразвуковом изображении нами были выделены контуры щитовидной железы, а на ней, в свою очередь, была выполнена сегментация очагов поражения.
Решение второй задачи осуществлено на основе теории триплетных признаков распознавания и представляет собой классический пример экстракции.
Основными геометрическими характеристиками очагового образования являются размер, форма и граница очагового образования.
Определение размеров очагового образования. Размеры очагового образования оцениваются по максимальной протяженности объекта в любом направлении (длине) и максимальной протяженности объекта в перпендикулярном длине направлении (ширине).
Если в качестве Т -функционала взять длину большего отсекаемого отрезка прямой І(ф, р, ї) на объекте, а функционалы Р и Ф определить как функции максимума, то получим максимальный диаметр объекта (длину). Зная значение параметра ф^ , при котором Р(ф^) принимает максимальное значение, мы можем получить ширину объекта. Для этого достаточно найти значение, получаемое с помощью функционала Р при значении параметра ф = ф£ +п .
Определение формы очагового образования. При проведении ультразвукового исследования форма очагового образования в щитовидной железе характеризуется как правильная или неправильная (рис. 2,а). В общем случае правильной можно назвать форму, близкую к эллипсу.
а) б)
Рис. 2 Свойства очага: а) правильная и неправильная форма; б) ровная и неровная граница
В качестве функционала Т возьмем функцию количества точек пересечения прямой I(ф, р, г) с объектом; Р и Ф - средние значения. Тогда полученный признак будет являться числовой характеристикой формы объекта. Значения признака, близкие к двум, будут характеризовать правильную форму очага. Неправильную форму объекта будут характеризовать значения, существенно большие двух, при этом величина отклонения будет характеризовать степень «неправильности» формы очага.
Характеристика границы очагового образования. Граница очагового образования в ультразвуковой диагностике обычно рассматривается как ровная либо неровная (рис. 2,б).
Для формирования соответствующего признака в качестве Т -функционала возьмем длину большего отсекаемого отрезка прямой I (ф, р, г) на
объекте. Функционал Р определим как оценку изменчивости величины гу . В
качестве оценки изменчивости может выступать количество знакоперемен в векторе значений Дгу, где Дгу = гу _ гг- у_. В качестве функционала Ф выберем среднее арифметическое. Полученный числовой признак будет представлять собой числовую оценку неровности границы объекта. Ровную границу очага будут характеризовать значения признака, близкие к единице; неровную - значения, существенно большие единицы.
Описанный подход был протестирован на наборе ультразвуковых изображений, полученных методом «свободной руки», для 70 различных пациентов.
5. Экстракция и генерация признаков гистологических изображений
Система распознавания гистологических изображений ткани щитовидной железы должна обеспечивать их разделение на следующие классы: нор-
мальная щитовидная железа, неопухолевые поражения (зоб), доброкачественная опухоль (аденома) и злокачественная опухоль (рак).
Изображения гистологических препаратов тканей щитовидной железы представляют собой цветные, многокомпонентные, семантически насыщенные изображения. На них изображены ядра, фолликулы, соединительная ткань и другие виды объектов, каждый из которых имеет свои значимые характеристики. Триплетные признаки хорошо «схватывают» геометрические особенности изображенных объектов, но для этого сначала необходимо выполнить предварительную обработку изображений с целью выделения на них объектов определенного вида.
В настоящей статье рассматриваются изображения 400-кратного увеличения, в качестве основных объектов на которых выделяют ядра и фолликулы. Для построения автоматизированной системы диагностики представляют интерес форма и размеры ядер и фолликул, взаимное расположение и ориентация ядер, плотность расположения объектов в препарате и т.п. Исходя из этого, в качестве цели предварительной обработки было поставлено выделение отдельного изображения фолликул и отдельных изображений ядер препарата. Решение данной задачи было рассмотрено ранее в [9]. На рисунке 3,а показан пример исходного изображения и полученных в результате предобработки изображений ядер и фолликул.
Поскольку нам известен ряд геометрических свойств, используемых для постановки диагноза врачами-гистологами, мы можем построить ряд признаков путем экстракции. Для этого мы выберем функционалы, чувствительные к этим геометрическим свойствам.
а)
400
200
300
500
800
600
700
100
б)
в)
Рис. 3 Гистологические изображения: а) исходное изображение и результат предварительной обработки; б) гистограмма значений признака, характеризующего размеры фолликул; в) принцип получения трейс-преобразования для признака, характеризующего однородность ядра
Одной из таких важных характеристик является размер фолликул, который можно оценить, используя для построения признака следующие функционалы:
I / (ф, Р, г )ёг
Т( F п /) = р п/=0----------;
га(Ф, Р)
я
Р(Т(F п /)) = | Т(F п /)йр ;
- я
П
П(F) = Ф(Р(Т(F п /)))= | Р(g(Ф, рМф ,
-п
где и(ф, р) - функция числа пересечений изображения F прямой / (ф, р, г); Я - радиус сетчатки. На рисунке 3,б видно, что полученный признак обладает следующим свойством: он позволяет различать опухолевые и неопухолевые поражения, но не пригоден для определения типа опухоли. Проанализировав множество признаков, отражающих характеристики фолликул, мы пришли к выводу, что они все обладают отмеченным свойством.
Для различения типа опухоли необходимо задать признаки, отражающие свойства ядер. Используя бинарные изображения ядер, мы определяем признаки, характеризующие правильность формы ядер, подобно тому, как это было описано ранее для ультразвуковых изображений. Ядра раковых клеток, как правило, отличаются неправильной, угловатой формой. Используя полутоновые изображения ядер, мы можем определить более сложные признаки, основанные на трейс-функционалах, чувствительных к перепадам интенсивности, распределению интенсивности и т.п. Ядра доброкачественных опухолей, как правило, имеют более равномерную интенсивность, в то время как для ядер злокачественных опухолей характерно наличие темного контура и светлых, «прозрачных» областей в центре. Для формирования признаков, чувствительных к этому свойству ядер, предлагается в качестве функционала Т взять площадь области S между сечением изображения F прямой / и выпуклой оболочкой этого сечения. На рисунке 3,в область S выделена штриховкой.
Вместе с тем подход на основе экстракции позволяет сформировать довольно ограниченное число признаков и не позволяет обнаружить неочевидные информативные характеристики, которыми богаты сложные изображения. Как уже было отмечено, в этом случае необходимо использовать генерацию признаков. Собранная нами библиотека из десятков функционалов каждого вида позволила нам сгенерировать около 13 000 различных триплетных признаков.
Для минимизации признакового пространства после генерации была разработана процедура определения минимального набора эффективных поисковых признаков на основе коэффициентов разложения Карунена-Лоэва. Основанием применения дискретного разложения Карунена-Лоэва является наличие у него следующих оптимальных свойств:
- оно минимизирует среднеквадратичную ошибку при использовании лишь конечного числа базисных функций в разложении;
- оно минимизирует функцию энтропии, выраженную через дисперсии коэффициентов разложения.
Пусть образы подлежат классификации на m классов распознавания
'xi (*i)'
0>1, Ю2,..., rom . Через Xi = <
xi (t2 )
обозначим выборку значений n признаков,
. X(гп),
относящихся к одному из классов юг-, I = 1,..., m .
Дискретный вариант обобщенного разложения Карунена-Лоэва можно
П
представить формулами: X; = ^ cijф у , или, в матричной форме, X; = Фсг-,
]=1
причем предполагается, что коэффициенты су удовлетворяют условию Е{сгу} = 0. Оператор математического ожидания вычисляется по всем значениям су . Собственные векторы корреляционной матрицы имеют выражение
П
я = X р(ю;)Е {х;хг-}.
;=1
Коэффициенты этого разложения определяются по формулам:
ФС; = X; ^ ФФС; = Ф'хг- ^ С; = Ф'х; ,
так как ФФ = I в силу ортонормированности базисных векторов, составляющих матрицу Ф . Обоснование разложения Карунена-Лоэва приведено в [10], поэтому мы перейдем к алгоритму нахождения наименьшего числа информативных признаков распознавания, основанном на коэффициентах разложения Карунена-Лоэва.
Обозначим через /у; выборку значений признака у (у = 1,..., п) объекта
класса юг-, I = 1,..., т . Построим матрицу математических ожиданий следующим образом:
Е[/П] Е[/12] ... Е[/1п ]
Е[/21] Е[/22] ... Е[/2п ]
Е[/т1] Е[/т2] ... Е[/тп ],
где Е[/у; ] - среднее значение у -го признака у I -го класса.
Для каждого из п признаков вычислим значения дисперсий Бу (Е[ /у; ]). Полученные значения дисперсий Б у (у = 1,..., п) упорядочим таким образом, чтобы выполнялись неравенства: Б > Б >... > Бр-1 > Бр >...
При упорядочении координатных функций фу в порядке убывания соответствующих им собственных значений Бу (у = 1,..., п) коэффициенты раз-
ложения обладают также в порядке убывания наилучшими разделительными качествами, т.е. вносят в систему большее количество информации. Это означает, что если координатным функциям фг и ф; соответствуют значения дисперсий Dr и D;, и при этом Dr > Di , то признак хг обладает лучшими разделительными свойствами, чем признак X;. Использование признака xr вносит в систему распознавания больше информации, чем использование признака x;.
Для исключения малоинформативных признаков найдем сумму всех
П
дисперсий S = ^ Dj . В набор информативных признаков будем включать
j =1
признаки в порядке убывания соответствующих им дисперсий до тех пор, пока сумма дисперсий выбранных признаков не достигнет величины kS . Экспериментальным путем установлено, что оптимальное значение k лежит в пределах 0,8 < k < 0,95, в зависимости от требуемой точности решения. В описываемой задаче при k = 0,8 было отобрано 59 наиболее информативных признаков.
Заключение
Методы стохастической геометрии позволяют получить новые конструктивные признаки распознавания со структурой в виде композиции трех функционалов - триплетные признаки.
Ключевым элементом теории признаков на основе стохастической геометрии является новое геометрическое трейс-преобразование изображений. Оно является источником формирования триплетных признаков и ценным инструментом для исследования движений объектов и линейных деформаций.
Подход к формированию триплетных признаков на основе экстракции позволяет получать признаки, чувствительные к заданным геометрическим характеристикам распознаваемых изображений.
Теория триплетных признаков позволяет получать большое количество признаков в режиме автоматической компьютерной генерации. Из полученного множества признаков с помощью процедуры минимизации отбираются наиболее информативные признаки.
Методы стохастической геометрии обнаруживают высокую эффективность при распознавании сложноструктурированных изображений, таких как изображения из области медицинской диагностики.
Список литературы
1. Федотов, Н. Г. Методы стохастической геометрии в распознавании образов / Н. Г. Федотов. - М. : Радио и связь, 1990.
2. Fedotov, N. G. Image Scanning in Machine Vision Leads to New Understanding of Image / N. G. Fedotov, A. A. Kadyrov // Proc. of 5th Int. Workshop of Digital Image Processing and Computer Graphics. - Samara, Russia: Held by the Int. Society for Optical Engineering (DIP’94), SPIE, 1994. - Vol. 2363.
3. Fedotov, N. G. The Theory of Image Recognition Features Based on Stochastic Geometry / N. G. Fedotov // Pattern Recognition and Image Analysis. - 1998. - Vol. 8. -№. 2. - Р. 264-267.
4. Федотов, Н. Г. Техническая дефектоскопия на основе новой теории распознавания образов / Н. Г. Федотов, Т. В Никифорова. // Измерительная техника. -2002. - № 12. - С. 27-31.
5. Федотов, Н. Г. Анализ свойств признаков распознавания, основанных на стохастической геометрии, при различных вариантах сканирования изображений / Н. Г. Федотов, А. В. Моисеев, Л. А. Шульга, А. С. Кольчугин // Математические методы распознавания образов : сборник докладов XII Всероссийской конференции, ноябрь 2005 г. - М. : МАКС Пресс, 2005. - С. 472-475.
6. Fedotov, N. G. Pattern Recognition Feature and Image Processing Theory on the Basis of Stochastic Geometry / N. G. Fedotov, L. A. Shulga, A. V. Moiseev, A. S. Kol-chugin // Proc. of the 2nd Int. Conf. on Informatics in Control, Automation and Robotics, ICINCO 2005, Barcelona, Spain, September 2005. - Vol. III. - Р. 187-192.
7. Федотов, Н. Г. Новое геометрическое двойственное трейс-преобразование и его приложение для нелинейной фильтрации изображений / Н. Г. Федотов, Л. А. Шульга, А. В. Моисеев, А. С. Кольчугин // Искусственный интеллект. -2006. - № 2. - С. 117-120.
8. Vincent, L. Morphological Grayscale Reconstruction in Image Analysis: Applications and Efficient Algorithms / L. Vincent // IEEE Transactions on Image Processing. -1993. - April. - Vol. 2. - № 2. - Р. 176-201.
9. Fedotov, N. G. Histological image analysis in diagnostic system based on stochastic geometry methods / N. G. Fedotov, L. A. Shulga, A. S. Kol’chugin, S. V. Romanov // Pattern Recognition and Information Processing : Proc. of the 9th Int. Conf. (PRIP 2007). - Minsk, 2007. - May. - Vol. 1. - Р. 113-117.
10. Tou, J. Pattern recognition principles / J. Tou, R. Gonzalez. - Addison-Wesley, 1974.
