CC BY
56
УДК004.93’1;004.932
ОБ АКСИОМАТИКЕ ТЕКСТУРНОГО АНАЛИЗА В ЗАДАЧАХ ОБРАБОТКИ ИЗОБРАЖЕНИЙ
ПАНЧЕНКО И.А., ПУТЯТИН Е.П.
В настоящее время разработано значительное количество методов распознавания текстур. Но несмотря на определенные успехи в этом направлении, большое число практически важных задач остаются не решенными. Дальнейшее развитие методов распознавания требует более четкой систематизации терминов и определений, классификации понятий и процедур. Наметившееся разночтение делает эту задачу актуальной, а имеющееся обилие методов и подходов предоставляет такую возможность.
РИ, 2010, № 2
Введение
Современная литература по текстурному анализу содержит множество различных эмпирических и полу-эмпирических подходов. Это связано с тем, что текстурный анализ является одной из тех областей в обработке изображений, которой все еще не достает фундаментальных знаний [ 1 ].
Изучение любого природного объекта имеет целью построение адекватной его модели. Интерес к количественным соотношениям предполагает применение математических моделей. Таким образом, задачей исследователя является создание или выбор наиболее подходящего математического аппарата под имеющиеся физические факты.
Новейшие подходы к аналитической и алгоритмической формализации процесса анализа изображений
можно рассматривать как своеобразный сплав классических и нестандартных разделов математики с современными физическими представлениями, являющимися общими для разных областей науки и техники. В частности, становится ясным, что по мере развития новых представлений и математического аппарата для их описания большие потенциальные возможности имеет применение в современных информационных технологиях идей нетривиальной масштабной инвариантности - скейлинга, разделов современного функционального анализа, которые связаны с теорией множеств, теорией размерности, общей топологией и геометрической теорией меры [2].
Текстура - это широко распространенное явление, которое легко распознать, но которому сложно дать формальное определение [3]. Математическое или алгоритмическое решение задачи требует строгой формализации всех используемых в задаче понятий. Поэтому исследователи стремятся строго определять исходные положения и формально обосновывать каждый этап решения задачи. Однако этот процесс еще далек от завершения. Поэтому дальнейшая аксиоматизация и поиск наиболее удачных исходных постулатов при анализе текстур остаются актуальными.
Необходимо учесть, что процесс этого поиска чрезвычайно сложный. Движение в нем идет «на ощупь». Поэтому цель данной работы можно определить как еще один шаг на пути к формализации и дальнейшей математизации способов классификации и анализа текстур.
1. О выборе эталона
Вопрос классификации методов распознавания текстур возник давно [4-7]. В современной литературе представлен ряд систем классификации [8-13]. Однако нельзя сказать, что хоть одна из них приближается по своим показателям к возможностям человеческого сознания или аппарата распознавания, которым обладают представители животного мира. В настоящее время нам не известны иные, более совершенные системы. Поэтому человеческое сознание еще долгое время будет тем эталоном, к которому надо стремиться при разработке методов распознавания. Изучение аппарата распознавания животных окажет помощь в этой работе, но движение в этом направлении определяется успехами биопсихологии.
Анализ процессов, происходящих в человеческом сознании, относится к психологии, в которой еще много неисследованных явлений. Тем не менее, формализация требует априорного выбора понятий и определений, которые адекватно описывают конечный продукт исследований и разработок. Поэтому, не претендуя на завершенность и абсолютное соответствие рассуждений, представленных в данном разделе, можно сказать, что сознание человека - это чрезвычайно развитый набор фильтров и эффективный механизм их использования. Он включает в себя практически мгновенное формирование новых фильтров и процессов обработки. Например, однажды
увидев поворот одного объекта, человек применяет эту операцию к другим изображениям.
Система фильтров человеческого сознания многоуровневая: от внешнего вида объекта до его физического состояния и функционального назначения. Например, листва дерева, свешивающаяся сверху вниз, и листва травы, тянущаяся вверх, при этом верх и низ определяются вестибулярным аппаратом человека. Сознание легко выделяет не только повороты и изменение масштабов, но и движение, для выделения которого, вероятно, используется более эффективный способ, чем громоздкий анализ последовательностей изображений. Возможно, что в этом процессе участвует способность к стереоскопическому восприятию. Переходы между уровнями анализа эффективны и повторяются многократно. Вероятно, что остановка этого процесса происходит по критерию достоверного опознавания, т. е. соответствия уже имеющимся в памяти образа. Отличия анализируются, и если они являются принципиальными, то включаются в формирование новых фильтров. Новые представления формируются из известных, в которых новые объекты представляют новый набор уже сформированных образов, фильтров. Чем «новее» объект, тем более низкий уровень известных образов используется. Соответственно требуется больше этапов для образования новых связей. При создании каждому новому образу присваивается сложный приоритет - вероятность появления в той или иной ситуации. Например, круг на фоне неба ассоциируется с летающим объектом, круг на полу или стенке - с отверстием. Это свойство иногда приводит к ошибкам, например, известные рисунки лестниц с искажением перспективы или снимки объемных объектов (шаров, пирамид и т.д.), сделанные при боковом освещении.
Сознание учитыв ает не только окружение элемента на самом изображении, но и общую обстановку, по которой известным образам присваиваются текущие приоритеты. Например, учитываются погодные условия, времена года - листва на дереве зеленая или желтая, сухая или мокрая, освещенная солнцем или нет. А при идентификации самого дерева (лесного массива) - с листвой оно или без.
Выбор критериев анализа, их вероятностных весовых коэффициентов происходят на всех уровнях и при каждом анализе включаются все уровни.
Возвращаясь к анализу текстур сознанием человека, можно предположить, что он является одним из этапов общего процесса распознавания. Вероятно, сначала происходит оконтуривание и сегментация на основе анализа контуров. Затем уже в каждой области рассматриваются текстуры. При этом сам анализ текстур также включает все этапы, начиная с выделения контуров. На этом этапе учитыв аются масштабиров а-ния и повороты. Далее идет оценка яркостных и цветовых свойств отдельных участков, с учетом направления и вида освещения. Вероятно, существенную роль при этом играет свойство стереоскопичес-
кого восприятия и возможность наблюдателя изменить ракурс. Обладая столь совершенным механизмом, человек быстро и с высокой степенью достоверности распознает объекты, в том числе и относящиеся к различного вида текстурам, от искусственных, имеющих простейшие формы, до хаотических, которые представлены в основном в природных объектах.
Искусственное распознавание требует создания не менее четкого и совершенного аппарата и предполагает поэтапный анализ с формализацией всех процедур и результатов.
2. Определение текстур
Прежде чем перейти к определению текстур, уточним некоторые предварительные понятия. Обобщая известные в настоящее время термины и определения, можно представить следующую формулировку исходных положений.
Изображением принято называть двумерное представление реального объекта, которое формируется техническим устройством. Формально изображение является результатом применения к объекту некоторого оператора Ьи . Определяет Ьи техническое средство формирования изображения (ТСФИ). Обычно Ьи формирует многомерный вектор.
Неделимый элемент изображения - пиксель. Обычно и естественно, что в пиксель попадает множество элементов самого объекта. Их количество определяется условиями съемки и разрешающей способностью ТСФИ. В некоторых случаях на основании субъективных оценок и поставленной цели человек может уменьшать разрешающую способность ТСФИ. Формально ТФСИ применяет к каждому участку объекта оператор Lp (5x, 5y), который придает пикселю определенное цифровое значение, которое тоже может быть вектором (цветное изображение). Оператор Lp(5x, 5y) определяется физическими процессами в ТСФИ.
После формирования изображения следует процесс обработки. Обычно обрабатывается не все изображение сразу, а его часть. Если такой частью является связная область (пиксели примыкают друг к другу без промежутков), то говорят об окне анализа (ОА). Обычно выбирают прямоугольное ОА, а размер его указывают в пикселях Ax, Ay . Процесс анализа также можно представить оператором Lq , применяемым к значениям пикселей, попавших в ОА. Между собой Lq и Lp не совпадают, Lq - математический оператор, Lp - физический процесс. В отдельных случаях Lq может быть математической моделью физического Lp . В зависимости от вида Lq может быть применен и к одному пикселю. Естественно, что на разных этапах анализа могут быть использованы
различные Lq .
Если ОА включает один или малое число писелей (малое по критерию Lq(Axj, Ayi) -Lq(Ax2, Ay2) <Sq
при Ax2 << Axi и Ay2 << Ayi, с мало отличающимися значениями) и оно перемещается прямолинейно вдоль изображения, то можно говорить о направлении анализа. Если перемещение идет по сложной траектории, то можно применить термин пут ь анализа. Естественно, что на этом этапе анализа оператор Lq не должен зависеть от числа пикселей в окне анализа.
Последние два понятия расширяют определенное выше ОА до размеров области, в которой результат обработки участков изображения в соседних элементарных окнах подвергается дальнейшей совместной обработке. Часто такое расширение имеет своим пределом все изображение.
Текстура является признаком изображения нижнего уровня. Имеющийся опыт и изучение значительного числа литературных источников подсказывают определить ее следующим образом: текстура - это изображение большого количества мелких объектов единой природы. Здесь термин «мелкий объект» определяется размером его изображения относительно размеров участка, на котором представлена текстура. При различных размерах элементов текстуры это относится к наибольшим. Термин «единая природа» предполагает сходство в происхождении и/или признаках, наиболее значимых для формирования изображения.
Из этого определения непосредственно вытекает следующее свойство текстур: если применить к участку изображения (Ax, Ay) некоторый оператор L, то текстурой можно назвать тот участок, для которого L(Ax, Ay) ^ const при Ax, Ay ^ да . Изображение должно предполагать такую возможность, в противном случае текстура по данному изображению не определяется.
Результат зависит от вида оператора L. Поэтому далее необходима классификация текстур, которая позволит выбрать и обосновать оптимальный вид L. Критерием оптимальности является вероятность правильного распознавания с учетом поставленной цели в конкретной задаче.
3. Классификация текстур
Текстуры описывают очень широкий класс объектов. Например, кирпичная стена - ее изображение состоит из одинаковых элементов. Их масштаб и поворот на изображении изменяется по сравнительно простому закону. Движение соответствует изменению ракурса съемки. Такую текстуру можно отнести к простейшим.
Более сложной будет текстура, составленная из ограниченного числа квазислучайно расположенных элементов на плоскости. К таким плоским текстурам относится текст на листе бумаги.
Далее по сложности идут текстуры, изображающие трехмерные объекты. Наиболее простой вариант текстур, в которых присутствует объем, представляет рисунок на ткани, из которой сшита одежда. При этом
рисунок должен быть некрупным, чтобы на изображении сформировались участки с выраженной текстурой, которых может быть несколько. Исходные объекты таких текстур всегда составляют некоторую, в общем случае неплоскую поверхность. Масштаб и поворот элементов текстуры изменяются произвольно, особенно если одежда на человеке принимает форму тела. Если человек двигается, то движение участков текстуры происходит по достаточно сложному закону. Такие текстуры можно охарактеризовать как текстуры переменных проекций. Более сложный их вариант - текстуры, составленные ограниченным числом случайных элементов (текст на неровной бумаге).
Еще более сложную текстуру образуют россыпь яблок, или, например, трава. Такая текстура сформирована ЭБ-объектами. Эти объекты расположены под разными углами. Масштаб объектов может быть примерно одинаковым или меняться по различным законам, от простого - трава на футбольном поле, до сложного - трава на неровной поверхности. Каждый из этих объектов имеет индивидуальные отличия, но значительно большие отличия на изображении вносит поворот и изменение масштаба. Т акую текстуру можно рассматривать как набор ракурсов одного объекта. В общем случае она хаотична. Тогда при выборе размера окна анализа необходимо исходить из радиуса корреляции элементов изображения.
Свойства текстуры 3Б-объектов зависят от того, как расположены элементы. Расположение может быть плоским и объемным. Это определяет изменение масштабов элементов на изображении. Следует особо отметить, что объекты должны иметь простые формы, чтобы число различимых ракурсов и масштабов было ограничено. Если число различимых ракурсов велико или сами объекты случайны, то это текстура хаоса.
Особо следует выделить случай текстур, элементы которых состоят из таких же элементов, но меньших размеров. Их можно отнести к классу самоподобных или фрактальных текстур. К таким текстурам относится, например, визуальное представление движения жидкости в турбулентном потоке. В этом случае оператор L может представлять собой не простую формульную запись, а алгоритм выделения самоподобных элементов различного масштаба.
Такое разнообразие текстур указывает на необходимость разработки и применения различных видов анализа. Поэтому можно сформулировать направление дальнейших исследований как поиск операторов идентификации L, оптимальных для различных видов текстур. Это позволит начать оптимизацию уже на стадии априорного выбора метода анализа. Критериями здесь также могут быть максимальная вероятность обнаружения и минимальная вероятность ошибки с учетом их ценности в каждой конкретной задаче.
4. Пределы масштабирования текстур
Как правило, ТСФИ позволяет различить ограниченное число элементов исходного объекта. Каждый элемент текстурного изображения должен состоять из определенного числа пикселей, которое достаточно для определения принадлежности этого элемента текстуре. Кроме того, участок изображения, на котором представлена текстура, должен содержать достаточное число элементов самой текстуры, что требуется для ее идентификации. Это обусловливает важность масштабирования при анализе текстурных изображений. При этом следует особо подчеркнуть, что масштаб выбирается априори.
Масштаб в значительной мере влияет на вывод о том, относится объект к данной текстуре или нет. Например, листва дерева - это текстура, а отдельный листок - это объект, но далее, разворачивая изображение и рассматривая структуру самого листа, снова можно увидеть текстуру его тканей. Или текстура стенки из пенобетонных блоков, текстура пузырьков на одном блоке и текстура самого бетона.
Поэтому исходный масштаб или границы масштабов задаются в соответствии с основной задачей распознавания. В последнем примере может быть задача оценки качества кладки стены, структуры пеноблока или качества бетона.
Масштаб текстуры (xj,yj) можно определить как минимальное окно анализа, которое позволяет идентифицировать эту текстуру. Здесь для оценки может существовать два критерия. Первый - прямой, при котором по малости ошибки L(ro) - L(Ax, Ду) < е данный участок можно отнести к заданной текстуре. Второй - вероятностный, который определяется как вероятность получения результата о принадлежности данного участка к искомой текстуре -РДх, Ду[ЧДх, ДУ)].
Минимальный размер изображения, при котором существует принципиальная возможность идентификации текстуры, не может быть меньше характерного размера ее элемента.
5. Критерии выбора методов обработки
Выше было сказано, что каждой текстуре или классу текстур необходимо подбирать оптимальный оператор (метод) и указано на вероятностный характер критериев оптимизации.
Вероятностные характеристики являются наиболее общими при поиске и/или определении того или иного объекта. В радиолокации такими характеристиками являются ошибка «пропуск цели» и ошибка «ложной тревоги» [14]. В общем случае вероятности «пропуска цели» Рдц и вероятности «ложной тревоги» Рдт не равны между собой. В самом деле, если приемник локатора потерял чувствительность, то вероятность «пропуска цели» велика, а вероятность «ложной тревоги» мала. С другой стороны, Рдц + Рдт ^ 1, т.е. эти две величины являются, по крайней мере, частично
независимыми. Например, вероятность «ложной тревоги» определяется шумами приемника, и сигнал тревоги выдается при превышении шумами установленного порога. Если случится так, что антенна локатора перестанет вращаться, то Рдт не изменится, но все цели, движущиеся с любых направлений, кроме того, в котором остановилась антенна, будут пропущены.
Суть этого различия состоит в том, что вероятность «пропуска цели» Рпц и противоположная ей вероятность «обнаружения цели» Роц действуют при условии, что цель есть. В этом случае справедливо Роц + Рпц = 1. Аналогично вероятность «ложной тревоги» Рдт и вероятность «продолжения наблюдения» Рпн действуют при условии, что цели нет. Для них также Рпн + Рдт = 1. Наличие или отсутствие цели определяются соответственно вероятностями Рц и Ро . Естественно, что Рц + Ро = 1. Поэтому вероятности «обнаружения цели», «пропуска цели», «продолжения наблюдения» и «ложной тревоги» записывают как условные вероятности, для которых: (РОЦ|Ц + РПЦ|Ц )Рц + (РПН|О + РЛТ|О )Ро = 1 .
Аналогичные критерии качества можно сформулировать и для признаков распознавания текстур, для которых вероятности «обнаружения текстуры» Рот и «пропуска текстуры» Рщ- действуют при наличии на изображении данной текстуры, а вероятности «продолжения поиска» Рпп и «ложного обнаружения» Рдо действуют при ее отсутствии. Записывая для вероятностей существования P- или отсутствия Ро заданной текстуры соотношение P- + Ро = 1 и представляя вероятности «обнаружения текстуры», «пропуска текстуры», «продолжения поиска» и «ложного обнаружения» как условные вероятности, окончательно получим:
(Рот + Рпт )рх + (Рпп + Рло )Ро = 1 . (1)
Если конечным результатом распознавания является не только получение максимальной или минимальной вероятности какого-либо случая, но и достижение более общих целей, то необходимо вводить соответствующие целевые коэффициенты. Например, при массовом производстве компонентов для сложных устройств лучше забраковать годный, чем пропустить брак, из-за которого конечное изделие будет неработоспособно. Но это замечание относится уже к решению конкретных задач.
6. Предельное окно анализа
Выше отмечалось, что для определения текстуры необходимо тщательно подойти к выбору размера окна анализа. Это действие не составит труда при известном априори масштабе текстуры на изображении. Однако при реальном распознавании такая ситуация может быть только в отдельных случаях.
Текстура может быть строго периодической. Как правило, такие текстуры относятся к искусственным объектам. Признаком такой текстуры может быть то, что при любом направлении анализа формируется периодический сигнал с постоянным спектром. Здесь используется расширенное представление ОА, так как здесь значения соседних элементарных окон обрабатываются совместно. Далее это уточнение не будет указываться особо.
При изменении перспективы основная частота сигнала может монотонно меняться, пропорционально будет меняться верхняя граница пространственного спектра. Увеличение размеров элементарного ОА при некоторых видах L также может привести к пропорциональной потере высших пространственных гармоник.
У текстур переменных проекций функция изменения спектра изменяется по произвольному закону и, в общем случае, может иметь разрывы первого рода.
При сканировании изображений естественных объектов параметры выходного сигнала случайные. Например, при сканировании изображения полос на шкуре зебры случайно флуктуирует период. А при сканировании изображения лесопосадки или яблок в ячейках тарного ящика изменяется спектр. Здесь чтобы сохранить информацию - минимальное ОА определяется радиусом корреляции случайного параметра.
Для случайных процессов, к которым, согласно определению, можно отнести сигнал при сканировании естественных текстур или произвольном неупорядоченном сканировании, оценка ОА должна производиться на основании корреляционной функции. Для стационарных процессов она равна:
1 т
Rx(т) = lim — J x(t)x(t + T)dt , (2)
T——то 21 _т
где Т - время сканирования; x(t) - сигнал на выходе сканера.
Количественную оценку минимальных окон для периодических структур можно дать на основе спектрального анализа Оно должно быть не меньше пространственного периода текстуры. Согласно формуле Ви-нера-Хинчина, спектральная плотность случайного процесса может быть найдена как преобразование Фурье от корреляционной функции [15]:
то
Sx(ffl) = J Rx(T)e-i“xdx . (3)
— ТО
Нужно отметить, что вопросы стационарности и эргодичности сигналов при обработке изображений текстур требуют строгого обоснования.
Не менее важным при этом является вопрос выбора и оптимизации пути анализа.
Следует отметить также, что каждый тип текстур требует своих методов распознавания. Методы распознавания могут быть созданы на основе детерминиро-
ванных или вероятностных подходов, но результат распознавания всегда вероятностный.
Выводы
Применение математических методов в распознавании текстур в настоящее время ограничивается недостаточной формализацией понятий и несовершенной системой аксиом. Представленные в работе обобщения современных представлений и ряд предварительных рассуждений позволяют более четко определить ряд исходных терминов, выделить структурные связи и количественные соотношения между ними. Это позволит разделить процесс анализа на элементарные составляющие, и в конечном итоге повысить эффективность применения математических методов в распознав ании текстур.
Литература: 1. Яне Б. Цифровая обработка изображений. М.: Техносфера, 2007. 584 с. 2. Потапов А.А, Гуляев Ю.В, Никитов С.А., Пахомов А.А., Герман В.А.. Новейшие методы обработки изображений / Под ред. А.А. Потапова. М.: Физматлит, 2008. 496с. 3. Форсайт Д., Понс Ж. Компьютерное зрение. Современный подход. М.: Издательский дом “Вильямс”, 2004. 928 с. 4. Laws К. Textured Image Segmentation, Ph.D. Dissertation, University of Southern California, January 1980. 5. Laws К. Rapid texture identification. In SPIE Vol. 238 Image Processing for Missile Guidance, 1980. 376-380 p. 6. АнисимовБ.В., КургановВ.Д., Злобин В.К. Распознавание и цифровая обработка изображений: Учеб. пособие для втузов. М.: Высшая школа, 1983. 294 с. 7. TomitaF., Tsuji S. Computer Analysis of Visual
Textures. - Hingham, MA: Kluwer Academic, 1990. 8. Zhang J.G., Tan T.N. Brief review of invariant texture analysis methods. - Pattern Recognition. 2002. Vol. 35. N3, P. 735-747.
9. Aof H., Deravi F. Circular neighborhood and 1-D DFT feature for texture classification and segmentation. - IEE Proc. Vision Image Signal Processing. 1998.Vol. 145.N3. P. 167-172.
10. Fountain S.R., Tan T.N. A Comparative Study of Rotation Invariant Classification and Retrieval of Texture images. Proc. ofBMVC. 1998. Vol. N1. P. 266-275. 11. Путятин Е.П., Аверин С.И. Обработка изображений в робототехнике. М.: Машиностроение, 1990. 320 с. 12. Rao A.R. Taxonomy for Texture Description and Identification. Springer Verlag: Berlin, 1990. 13. Alata O., Cariou C., Ramananjarasoa C., Najim M. Classification of rotated and scaled textures using HMHV spectrum estimation and the fourier mellin transform. IEEE Proc. ICIP, 1998. Р. 53-56. 14. Ширман Я.Д., Манжос В. Н. Теория и техника обработки радиолокационной информации на фоне помех. М.: Радио и связь, 1981. 416 с. 15. Купер Дж., Макгиллем К. Вероятностные методы анализа сигналов и систем. М.: Мир, 1989.
Поступила в редколлегию 20.06.2010
Рецензент: д-р техн. наук, проф. Машталир В.П.
Панченко Ирина Александровна, аспирантка кафедры информатики ХНУРЭ. Научные интересы: анализ изображений, программирование. Адрес: Украина, 61736, Харьков, пр. Ленина, 14, тел.: (057) 7021-419.
Путятин Евгений Петрович, д-р техн. наук, профессор, заведующий кафедрой информатики ХНУРЭ. Научные интересы: анализ изображений, распознавание объектов. Адрес: Украина, 61736, Харьков, пр. Ленина, 14, тел.: (057) 7021-419.
