Методы коррекции пространственных искажений изображений плоских объектов в условиях действия полной аффинной группы преобразований Текст научной статьи по специальности «Компьютерные и информационные науки»

УДК 621.865.8

МЕТОДЫ КОРРЕКЦИИ ПРОСТРАНСТВЕННЫХ ИСКАЖЕНИЙ ИЗОБРАЖЕНИЙ ПЛОСКИХ ОБЪЕКТОВ В УСЛОВИЯХ ДЕЙСТВИЯ ПОЛНОЙ АФФИННОЙ ГРУППЫ ПРЕОБРАЗОВАНИЙ

Н.В.Соловьев,

старший преподаватель

Санкт-Петербургский государственный университет аэрокосмического приборостроения (ГУАП)

Рассмотрены применяемые в системах распознавания робототехнических комплексов методы коррекции пространственных искажений изображений, описываемых полной аффинной группой преобразований. Основное внимание уделено методам, позволяющим распознавать объекты в процессе компенсации искажений. Предложен метод определения параметров преобразования, основанный на последовательном переборе ограниченного числа характерных точек предварительно центрированного изображения объекта.

The methods of a correction of spatial aliasings of images are considered. The distortions are circumscribed by full affine group of transformations. The methods allow to recognize objects during indemnification of distortions. Area of application algorithm - robot vision.

Введение

Задача распознавания объектов и определения параметров их положения в пространстве по изображениям возникает при разработке адаптивных промышленных роботов и робототехнических комплексов различного назначения. Подобные устройства состоят из системы распознавания, системы управления, приводов и исполнительных механизмов. Система распознавания робота после получения, обработки и анализа сенсорной информации поставляет системе управления данные об окружающей среде, на основании анализа которых последняя вырабатывает управляющие сигналы для приводов исполнительной системы. Можно сказать, что именно система распознавания, являясь непременной составляющей адаптивного робота (робототехнического комплекса), превращает программно управляемое устройство в робота, совершающего целесообразные действия в условиях изменяющейся внешней среды.

Следует отметить, что первые попытки решения проблемы машинного видения, создания систем технического зрения и компьютерного анализа изображений сцен относятся к концу 60-х годов XX века, что связано с появлением возможности ввода в ЭВМ изображений. За прошедшее время появилось огромное количество литературы по проблемам технического зрения вообще и роботов в частности, как фундаментального характера, так и посвященных решению отдельных задач. Выпущено множество тематических сборников, обзоров, материалов конференций, посвященных различным аспектам технического зрения и смежным областям. Однако, несмотря на достигнутые успехи в решении отдельных проблем, системы технического зрения по своей универсальности все еще далеки от аналогичных систем в живой природе [1].

Основные трудности в создании систем распознавания объектов по их изображениям связаны с тем, что разные изображения одного и того же объекта в подавляющем большинстве случаев существенно отличаются друг от друга. Данное обстоятельство практически не позволяет подобрать для проведения классификации распознаваемого образа признаки, инвариантные к этим отличиям. Причины, вызывающие указанные отличия (или искажения, если считать одно из изображений объекта эталонным), можно разделить на три группы:

1) помехи, обусловленные несовершенством аппаратуры для получения, передачи, хранения и обработки изображений;

2) изменение с течением времени освещенности объектов сцены, изображение которой анализируется;

3) изменение взаимного положения объектов сцены относительно друг друга и устройства получения изображения (камеры).

Методы компенсации технических помех хорошо разработаны. Применение тестовых изображений и методов статистической обработки позволяет в большинстве случаев добиться вполне приемлемых результатов.

Компенсация искажений, вызванных второй причиной, более трудна, так как изменение освещенности приводит не только к глобальным изменениям яркости изображения, но и к изменению яркости изображений отдельных объектов, появлению и смещению бликов и теней. Однако применительно к промышленным роботам трудности компенсации данной причины можно существенно снизить, подобрав соответствующее освещение сцены, например, используя бестеневые матовые светильники для освещения объектов сцены.

По признанию большинства авторов [2, 3], основные сложности вызывают именно пространственные искажения. Действительно, даже при отсутствии технических помех и постоянном освещении сцены любое изменение взаимного расположения объектов и камеры приводит к изменению изображения.

Известно [2], что если в результате перемещения объектов или камеры не происходит перекрытие их изображений при изменении изображения сцены, то это изменение может быть описано групповым преобразованием. При центральном проецировании, когда расстояние от объектов до камеры сравнимо с фокусным расстоянием объектива камеры, преобразование описывается проективной группой. При параллельном проецировании, когда объекты находятся на значительном удалении от камеры, преобразование описывается аффинной группой, являющейся подгруппой проективной группы преобразований.

Постановка задачи

Пусть в пространстве и действует транзитивная группа преобразований в, каждый элемент дев которой может быть представлен в виде произведения некоторых элементов ее подгрупп С31( &2, т. е.

д = д^*д2*...*дп\ 9, еб,.

Тогда каждая точка Хс координатами (х,у) исходного изображения (эталонного образа) преобразуется элементом д:

X' = д * X = д, * д2 *... * дп * X,

гдеХ':(х',у') - координаты соответствующей точки преобразованного или искаженного изображения. Таким образом, при наличии только пространственных искажений яркость точки X' искаженного изображения полагается равной яркости точкиXисходного изображения (рис.1).

Если из каких-либо соображений будет найден элемент д1{ ил и д,~1), тогда, подвергнув искаженное изображение преобразованию элементом д;“1, мы обеспечим «сближение» искаженного и эталонного изображений. Продолжая процесс последовательной нейтрализации подгрупп можно либо полностью устранить искажения (распознать все объекты и определить их параметры положения), либо существенно упростить задачу и свести ее к известному решению.

Аффинная группа имеет вид:

н Рис. 1, Представление пространственного

искажения групповым преобразованием

х = а^х + а2у + Ьь у = а3х + а4у + Ь2,

где х, у, х, у' - исходные и преобразованные аффинной группой координаты точки изображения; аь ...,а4,ЬьЬ2 - параметры аффинной группы. Очевидно, что, зная параметры, можно легко осуществить обратное преобразование Х = д X , тем самым приведя изображение к эталонному виду. Дальнейшее распознавание не представляет сложностей и может быть выполнено, например, методом маски.

Из уравнения (1) видно, что для нахождения шести параметров аффинной группы необходимо знать как минимум координаты трех не лежащих на одной прямой точек на исходном и искаженном изображениях и соответствие между ними. Тогда, решив легко получающуюся из (1) систему шести уравнений с параметрами аа4,ЬьЬ2 в качестве неизвестных и координатами соответствующих точек изображений, можно получить искомое преобразование дг1. Рассмотренные далее методы в той или иной степени используют данный подход.

Метод последовательной компенсации подгрупп аффинной группы

Разработанный И. Л. Ерошем [4] метод позволяет совместить процесс компенсации пространственных искажений с собственно распознаванием, т. е. отнесением объекта к одному из известных эталонов.

Элемент д аффинной группы может быть представлен в виде:

9 = 9) * 92 , (2)

где 01 ев-1 - группа сдвигов вдоль координатных осей

\х' = х +

вида | / _ у + ^ ; д2£62 - аффинная группа без СДВИГА а2 1

га с матрицей преобразования вида N а I.

Если изображения эталонов распознаваемых объектов центрированы (центр формы совпадает с началом координат, что всегда можно сделать на этапе обучения системы автоматического распознавания), то, вычислив центр формы искаженного изображения, получим параметры Ь^ и Ь2. После переноса начала координат в этот центр будут нейтрализованы параметры подгруппы Следовательно, частично преобразованное, распознаваемое изображение будет связано с неизвестным пока эталоном преобразованием элементом группы С2. Этот элемент д2 может быть представлен в виде

92 = 92 * 02 ’

где д2 - элемент группы масштабного преобразова-

- (Г °) ния с некоторой матрицей, например, вида 10 11;

д2 - элемент аффинной унимодулярной группы с мат-рицеи вида |^Сз С4|

С1С4 — С2С3 — 1 .

(3)

Значения параметров г, а также сь с2, с3, с4 могут быть найдены через параметры аффинной группы без сдвига:

ГС-| — Э-,, ГС2 — д2, Сд

а1а4 ~ а2а3

1

откуда г = Э1Э4 — а2а3.

Обратная матрица, которая устраняет масштабную

часть искажении, имеет вид

1

а-,а4 — а2э3 О

О

1

Значе-

ние г неизвестно, однако его можно определить из сравнения площадей распознаваемого изображения и изображения эталонов. Для этого все эталонные изображения необходимо отмасштабировать так, чтобы их площади были равны между собой и имели бы величину Бо • Вычислив величину 5 распознаваемого изображения, можно найти коэффициент масштаба Г = в/во.

После преобразования распознаваемого изображения элементом вида

Ш

-1 Г1/(5/50) О

О 1

оно оказывается связанным с одним из эталонов (по-прежнему неизвестным) преобразованием вида (3) или

С2 = С4 )

1

с3/с1

О

с2

1/с,

Отношение с3/с1 можно определить следующим образом. Предположим, что известна одна характерная точка на каждом эталоне, и можно определить ее на исследуемом изображении. Под характерной точкой будем понимать такую точку, положение которой определяется однозначно независимо от заданных преобразований (в данном случае - аффинных). К сожалению, общий метод для выбора характерных точек на произвольных изображениях неизвестен. Для многоградационных растровых изображений в качестве характерной точки можно выбрать центр масс или центр яркости изображения, который вычисляется следующим образом:

1 £ 1 £

*с = й1*/п/.у с = м2>л.

/=1 1=1

где л,- числовое значение (вес), приписанное пикселу /', например, код яркости пиксела; N - число пикселов изображения. Для таких изображений при переносе начала координат в центр формы центр яркости оказывается «сдвинутым», т. е. может не совпадать с началом координат.

Для изображений каждого из эталонов поместим на этапе обучения центр яркости на ось X (путем поворота вокруг начала координат). Тогда, вычислив центр яркости распознаваемого изображения, получим

'1

_Гс1*с

СпХ

3 с

Из полученного выражения находим:

= Уе..

С1 *с

Тогда можно вычислить матрицу

1

с3/с1

-1

1 О

-С| / с3 1

После преобразования распознаваемого изображения этой матрицей получим, что некоторый неизвестный эталон связан с распознаваемым изображением групповым преобразованием с матрицей

С1 с2 О 1/с,

(4)

Таким образом, от полной аффинной группы с шестью неизвестными параметрами мы перешли к группе с двумя неизвестными параметрами путем нейтрализации некоторых групповых параметров.

Теперь предположим, что нам известен эталон с номером р, которому соответствует распознаваемое изображение. Его характерная точка имеет координаты {х£, 0} ■ После преобразования матрицей (4) координаты этой точки будут иметь значения:

О 1/С1

хР

ос | =

0

откуда

с, =

_ р

(5)

Представим матрицу (4) в следующем виде:

С2 1_ 1 /с.

1 слс2 0 1

0

0

1/с,

Если известно, какому эталону соответствует распознаваемое изображение, то, преобразуя изобра-

?1 0

жение эталона матрицей вида | д 1/^1» получим изображение, связанное с распознаваемым матри-(1 С1С2 ,

цеи вида о 1 |, в которой только один параметр

с2 неизвестен.

Для каждого эталона, используя соотношение (5),

найдем значения с,р; р = 1, 2,..., Р, где Р- число эталонов. Каждый р-й эталон преобразуем с помощью мат-

рицы

О

1/с?

тогда получим, по-прежнему, Р ис-

каженных эталонов, один из которых (пока неизвестный) связан с распознаваемым изображением матрицей вида

1 а 0 1

(6)

где а = с^с2

Преобразование матрицей (6) не меняет координаты у любой точки, а координатах меняется линейно х =х + ау. При таком преобразовании расстояние между любыми двумя точками, имеющими одинаковые значения у, не меняется. Из этих соображений легко находятся значения р и с2.

Таким образом, можно узнать эталон, которому соответствует искаженное изображение, и определить все параметры неизвестного преобразования. Тогда

92 =

5/50

О

1

Сі/с3

1 с1рс2 О 1

рР

С1

О

О

11сР

Приведенный алгоритм позволяет распознать объект по его искаженному изображению и определить все шесть параметров аффинного преобразования. Основное ограничение области применения алгоритма - необходимость несовпадения центра формы с центром ярко-

Рис. 2. Алгоритм распознавания перебором вершин контура

достаточно выбрать две

сти на изображении каждого эталона. На бинарных изображениях они всегда совпадают. Для многоградационных изображений необходимо практически точное совпадение яркостей всех точек изображения эталона и распознаваемого объекта, что на практике наблюдается крайне редко. Кроме этого, желательно, чтобы координаты центров яркости эталонов существенно отличались друг от друга.

Метод последовательного перебора характерных точек изображения

Аналогично рассмотренному методу на первом этапе предполагается провести центрирование изображения по координатам центра формы, тем самым компенсировав подгруппу 01 из (2).

Для нахождения параметров аффинной группы без сдвига д2:

а1 а2 а3 а4

характерные точки на изображении эталона, лежащие на прямой, не проходящей через начало координат, и найти соответствующие им точки на изображении распознаваемого объекта. Если представить контур изображения распознаваемого объекта и каждого эталона в виде замкнутой ломаной линии, то в качестве характерных точек можно использовать ее вершины. Пусть число таких вершин на изображении

р-го эталона эр е Б = ..., Эр},

где 5 - множество вершин эталонов, Р-число эталонов. Представим контур изображения распознаваемого объекта также в виде ломаной линии. Как известно [2], аффинное преобразование переводит прямую линию в прямую, следовательно, число вершин на изображении распознаваемого объекта е Э и последовательность вершин сохраняется. Если в 5 нет одинаковых элементов, то, очевидно, проблема распознавания решена. Остается найти параметры элемента группы д2. Дальнейший алгоритм, представленный на рис. 2, предполагает перебор вершин контура изображения распознаваемого объекта при конечном числе возможных сочетаний.

Возьмем две любые последовательно расположенные вершины {/',)} на контуре изображения эталона. В предположении, что им соответствуют две последовательно рас-

положенные вершины на контуре изображения распознаваемого объекта {I,к}, составим систему уравнений

х] = а1х/ + а2У/; у, = а3х, + алу-< хк = Щх1 + а2У], (7)

у к = а3ху- + а4уу,

где х1,у1,хругх1,у1,хк,ук - координаты соответствующих точек. Решив систему (7), определим параметры а1а4 и преобразуем эталонное изображение группой д2. Если после сравнения преобразованного и распознаваемого изображений совпадение будет отсутствовать, то следует повторить описанные действия для следующей пары вершин контура изображения эталона. Рано или поздно будет получено совпадение изображений, так как число вершин контура конечно.

Если в Э есть одинаковые элементы, т. е. среди эталонов есть совпадающие по числу вершин, то следует разбить в на непересекающиеся подмножества эталонов с одинаковым числом вершин контура и выполнять описанные действия по перебору вершин контура последовательно для всех эталонов подмножества до тех пор, пока не будет получено совпадение изображений. Естественно предполагается, что распознаваемый объект соответствует одному из имеющихся эталонов.

Практически при переборе пар вершин эталона не требуется подвергать преобразованию д2 все эталонное изображение (см. рис. 2). Достаточно преобразовывать только координаты вершин контура, прерывая процесс при первом несовпадении и переходя к следующей паре вершин или эталону, если вершины данного эталона закончились. Преобразовывать все изображение следует только в случае полного совпадения вершин. Последнее связано с тем, что эталоны могут иметь одинаковый контур, но отличаться внутренней структурой, например, иметь различное число и форму отверстий.

Основное ограничение рассмотренного выше алгоритма - изображения эталонов не должны преобразовываться друг в друга аффинной группой. На практике это означает, что треугольные эталоны произвольной формы и размеров должны отличаться

внутренней структурой, а четырехугольные эталоны должны иметь хотя бы две непараллельные стороны. Другое ограничение - эталоны с плавным криволинейным контуром практически невозможно представлять в виде соответствующих многоугольников на изображениях как эталонов, так и распознаваемого объекта.

Естественно, при компьютерной реализации рассмотренного алгоритма условие точного равенства координат и совпадения изображений необходимо заменить некоторой мерой близости с экспериментально подобранным порогом, определяющим наличие совпадения. Данное требование вызвано дискретным (пиксельным) принципом хранения и обработки изображения в компьютере, что приводит к погрешностям при округлении координат.

При компьютерной реализации алгоритма возникает еще одна проблема - нахождение координат вершин многоугольника. Существующие алгоритмы поиска вершин [5] наиболее эффективны для углов линий контура в искомой вершине, близких к прямым углам. При приближении угла контура при вершине к 180° или к 0° точность определения координат вершины резко падает, так как в таких случаях трудно решить, что найдено - вершина линии контура или случайное отклонение от прямой, обусловленное помехами предварительной обработки изображения. Компьютерное моделирование данного алгоритма показало, что с учетом этих ограничений алгоритм достаточно эффективен для многоугольников, угол контура которых при вершине находится в пределах 60° - 120°.

1. Марр Д. Зрение: Информационный подход к изучению представления и обработки зрительных образов/Пер. С ант. -М.: Радио и связь. 1987. - 400 с.

2 Путятин Е. П., Аверин С. И, Обработка изображений в робототехнике. - М.:Машиностроение, 1990. - 320с.

3. Хорн Б. К. П. Зрение роботов/Пер с англ. - М.: Мир, 1989.

- 487 с.

4. Ерош И. Л., И гнатьев М. Б., Москалев Э. С, Адат и в н ы е робототехнич ес кие с истомы: Методы анализа и системы обработки изображений.—Я.: Изд-воЛИАП, 1985, - 144 с.

5. Техническое зрение роботов / В. \Л Мошкин, А. А. Петров, В. С. Титов и др.; Под ред. Ю Г. Я ку ш е н к о в а , - М Машиностроение, 1990. ~ 272 с.