Поляризационный метод распознавания трехмерных образов Текст научной статьи по специальности «Математика»

8

ИНФОРМАЦИОННО-ИЗМЕРИТЕЛЬНЫЕ

ПРИБОРЫ И СИСТЕМЫ

ПОЛЯРИЗАЦИОННЫЙ МЕТОД РАСПОЗНАВАНИЯ ТРЕХМЕРНЫХ ОБРАЗОВ С.А. Алексеев, А.В. Пасяда

В работе рассматривается проблема распознавания трехмерного объекта по его поляризационному изображению. Получена зависимость «глубины» изображения от интенсивности отраженного излучения и параметров поляризации, построена обучающаяся ячеистая нейроподобная сеть (ЯНС), позволяющая восстанавливать произвольную форму поверхности.

Распознавание глубины поверхности наблюдаемого объекта является актуальной задачей для систем технического зрения. Существующие методы распознавания ориен-таций поверхности и глубины по единственному изображению, как правило, рассматривают интенсивность отраженного от объекта излучения. В некоторых работах проводится достаточно успешное распознавание поверхности при анализе одной только интенсивности [1]. Для расширения возможностей (распознавание полупрозрачных объектов и адекватное определение тени) и повышения точности измерений в данной работе предлагается использовать дополнительно поляризационные характеристики излучения. На зависимостях интенсивности и поляризации от ориентации отражающей поверхности обучается алгоритм ячеистой нейросети и восстанавливает глубину (наклон) поверхностей.

Получение зависимостей отражательной способности и поляризации от расстояния до поверхности

Распознавание формы по затенению относится к процессам восстановления трехмерной формы из монокулярного плоского изображения. Успех распознавания зависит от подходящей модели представления, которая устанавливает связь между формой поверхности и яркостью изображения, и от выбранного численного алгоритма восстановления формы из данного изображения.

В исследованиях распознавания формы по затенению модель представления определяется через карту отражательной способности Я(р,д), где р = и д = ё2/ёу -частные производные высоты ъ по отношению к координатам изображения, называемые также градиентами поверхности. Также удобно представлять карту отражательной способности как ^(¥,5), где ¥ - угол наклона, 5 - угол направления наклона. С определением карты отражательной способности проблема распознавания становится проблемой нахождения наилучшего пути восстановления поверхности г(х,у).

При известных параметрах освещения поляризованным светом форма поверхности опосредованно характеризуется зависимостью параметров отраженного излучения от ориентации поверхности. Для более надежного распознавания поверхности к карте отражательной способности можно добавить карту отраженной поляризации. Процесс распознавания формы поверхности объекта состоит в восстановлении зависимости наклона поверхности от отраженной интенсивности и двух параметров поляризации: азимута 0 и эллиптичности 8 эллипса поляризации отраженного излучения. Эти параметры вычисляются на изображении фотометрическим методом по ряду положений анализатора. Важно отметить, что при диффузном отражении в каждый пиксел приходит ог-

Введение

ромное число фотонов с различными эллипсами поляризации. И в пикселе из-за деполяризации отраженный эллипс поляризации размывается и усредняется. Тем не менее, параметры азимута и эллиптичности подобной фигуры можно использовать для алгоритмов восстановления ориентаций поверхности. Азимут 0 и эллиптичность 8, также как интенсивность, показывают определенные зависимости от наклона поверхности (рис. 1). При отражении (особенно зеркальном) эллипс поляризации ориентируется по отношению к направлению наклона поверхности, а эллиптичность связана с углом падения (и отражения).

Рис. 1. Подавление р-компоненты световой волны при зеркальном отражении

Поляризация и интенсивность измеряются фотометрическим методом. Перед фотоприемником установлен вращающийся анализатор. Непосредственно измеряется зависимость интенсивности излучения 1ФП(а), проходящего линейный анализатор и достигшего приемной площадки фотоприемника, на интервале 0< а < 2-п в N угловых положениях анализатора ак= к 2^l/N, где к = 0, 1, 2 ... N-1. Необходимо, чтобы в начальном положении линейного анализатора ось пропускания совпадала с х-поляризацией исследуемой оптической системы.

После ряда преобразований [2] на основе численного гармонического анализа вычисляются коэффициенты Фурье [3]:

1 N -1

= N 1

-<» к=0

2 N-1 а2 = — "VI

N ^

¿2 =

2 N

к=0

N-1

•ИI

к=0

(ак

(ак) • сое (ак ) • ^п

4п • к

N ' 4п • к

N

(1а) (1б) (1в)

На основе этих данных определяются оба параметра эллипса поляризации: угол эллиптичности

1

8 = ± — • аГСБШ

2

1 -

4

а0

\а22 + ь22)

и азимут

ж 1

в = — -^атс1^{Ь21 а2)+ 0,5 п ё,

(2)

(3)

где ё=0 или 1 и зависит от положения максимума 1ФП(а). При расчете поляризации фотометрическим методом невозможно определить только знак эллиптичности, т. е. направление обхода поляризационного эллипса. Интенсивность, с точностью до постоянного коэффициента , зависящего от пропускания оптических элементов системы анализатора, можно оценить как

10 = К (а0 +4 а1 + ¿22) (4)

Параметры 8 и в - эллиптичность и азимут «псевдоэллипса» отраженного частично поляризованного света. Тем не менее, остается возможность использовать параметры подобной фигуры для определения ориентации поверхности.

2

Схема установки показана на рис. 2. При использовании матричного фотоприемника строится карта отражательной способности и поляризации. Для получения зависимостей интенсивности и поляризационных параметров световой волны от ориентации отражающей поверхности выполняется следующий алгоритм:

1. сцена освещается параллельным пучком линейно поляризованного света (после деполяризации из линейной поляризации получается фигура, близкая к кругу, а совсем не линейная поляризация);

2. на сцену устанавливается калибровочный объект из исследуемого материала. Для этого лучше всего подойдет шар, так как он содержит все ориентации поверхностей, его просто распознать [4] и смоделировать и найти ориентацию поверхности в любой точке (пикселе);

3. измеряется зависимость от ориентации интенсивности I(p,q), азимута Q(p,q) и эллиптичности s(p,q). Их также можно построить не только в пространстве градиентов (p,q), но и в углах (¥,Е);.

4. проводится обучение нейросети как алгоритма для восстановления глубины изображения по известным I(¥,S), 0(¥,Е) и в(¥,Е). В работе [1] получена эффективная методика восстановления глубины изображения с помощью ячеистых нейросетей. За счет пространственного соседства и парадигмы распределения случайных марковских полей именно ячеистые нейросети являются эффективным алгоритмом для задачи распознавания. Если относительное расстояние до поверхности («глубину» изображения) z измерять в радиусах калибровочного шара гш (пусть гш =1) , то z = 1 - cos (¥). (6)

5. на сцену помещается произвольный предмет с этим же классом поверхности, и восстанавливается расстояние до поверхности при помощи обученной нейросети.

Рис. 2. Схема установки

Ячеистые нейросети

Для рассмотрения алгоритма в шаге (4) приведем общее определение ячеистых нейронных сетей: данные сети являются массивами идентичных динамических систем ячеек, которые связаны только локально [5]. Любая ячейка соединена только со своими соседними ячейками, на несоседние ячейки оказывается косвенное взаимодействие из-за распространяющегося эффекта динамики в сети. Ячейка, находящаяся в положении (у) двумерного массива М х И, обозначена С, и ее г-окрестность Мц определяется как

г= [Сш | тах[\к-г\,\1-]\] < г; 1< к <М, 1< I < И} (7)

где размер окрестности г - положительное целое число.

Каждая ячейка имеет состояние х, постоянное внешнее значение на входе и и на выходе Эквивалентная схема ячейки непрерывного действия по времени показана на рис. 3.

Рис. 3. Блок-схема одной ячейки нейрона ячеистой нейросети

Здесь щ- входные значения, обычно |и/| < 0; Ху - состояние ячейки С/, а Б - независимое постоянное смещение. Из [5] гг/(0 = _/активации (хг/(0), где / может быть любой подходящей нелинейной функцией. Матрицы весовых коэффициентов А(.) и В(.) известны как клонирующие шаблоны. А(.) действует на выход соседних ячеек и рассматривается как оператор обратной связи. В(.), в свою очередь, воздействует на входные значения и соответствует контролирующему оператору. Конечно, А(.) и В(.) зависят от применения. Постоянное смещение Б и клонирующие шаблоны определяют временное поведение ячеистой нелинейной сети. В общем, клонирующие шаблоны не обязательно должны быть пространственно инвариантны.

Для определения глубины изображения был использован метод на основе ячеистых нейросетей. Имеется ряд наблюдений на пиксельном уровне с зависимостью I (г), 8(г) и в(г). Как показано в работе [1], единственный путь вычислить ъ - это минимизация функции энергии Е, состоящей в нашем случае из 3 членов:

= (г) + ь(г) (8)

Энергия модели Еа(г) является членом регуляризации, похожим на ограничение гладкости, классически используемое для решения «некорректно поставленных задач». Добавочная энергия Еь(г) - это энергия ошибки. Конкретно в данной работе функция энергии переписана как

Е = " [ка-(% - гг+Л/)2+ ка(г,/ - гг-/+7)2 + ка(% - г1-1,/)2+ ка- (% - гг-/_7)2+

', 1

+ кь хтекущее требуемое |], (9)

где хтекущее - это сумма сигналов, пришедших со всех синапсов, перемноженных на их весовые коэффициенты; а хтребуемое - это сумма, которая должна была получиться, чтобы на выходе было именно требуемая глубина гтребуемое. А при подаче выборки на вход нейрона получилась сумма текущее, следовательно, из отличия текущее и хтребуемое можно вычислить ошибку.

Создается нейросеть со стольким числом нейронов, сколько значений в выборке наблюдений I (г), 8(г) и в(г). Минимум энергии можно вычислить, используя или алгоритмы стохастической релаксации типа «имитации отжига», или детерминистическими алгоритмами наподобие итеративных условных моделей [6].

Здесь используется метод «имитации отжига», который состоит в следующем: на начальном шаге параметр «температура» , отвечающий за вероятность изменения весов, берется высоким, например 0 = 10. Весовые коэффициенты для входящих значений интенсивности представляют (для всех нейронов) матрицу Шл . В нашем примере размерность матриц выбрана 5*5 и охватывает соответствующую окрестность вокруг нейрона С/. Такой же размерности использованы матрицы весовых коэффициентов для

входящих значений эллиптичности, азимута и матрица коэффициентов обратных связей A(z). В нашем случае взята сигмоидная активационная функция нейронов

z = 0,5 (1+ th(x-y)) = f (x) (10)

где у отвечает за крутизну сигмоидной функции и выбрано в эксперименте y=0,05. Изначально весовые коэффициенты берутся нулевыми. На вход нейрона Cj подаются значения выборки I (z), s(z) и ö(z), и вычисляется выходное значение Zj. Затем вычисляется функция энергии . Чтобы определить требуемое в формуле энергии, необходимо подать на выход значение глубины изображения z^^oe

хтребуемое f (^требуемое) 0,5 'ln ^требуемое^1 — ^ребуемое^ • Y (11)

Теперь вычисляются весовые коэффициенты методом имитации отжига [7]: (а) в зависимости от «температуры» веса случайно изменяются на шаг ±Aw с вероятностью

(w) = exp (V/T2)

(12)

(б) вычисляется энергия . Если она уменьшилась, то шаг принят, и веса сохраняются, иначе тоже сохраняются, но с вероятностью

= ехр (А / ) (13)

(в) «температура» понижается по геометрической прогрессии (10):

^1= й -0,9999 (14)

Шаги а-в повторяются до достижения «теплового равновесия» модели, когда Гй+1<Г1юроговое. Затем можно на порядок уменьшить величину изменения веса (шага) ±А^ и снова искать решение до 7§+1<Гпороговое.

Экспериментальные данные

Чтобы определить расстояние до изображения, в работе взят угол наклона поверхности калибровочного шара 2 вычислялось по формуле (4).

На основе фотометрического метода определения поляризации в каждом пикселе было обработано изображение шара и кубика-угла, покрашенных серой нитроэмалью (т.е. с одинаковым покрытием), в созданном программном обеспечении [8]. Измерение поляризации проходило по 4 положениям анализатора 0°, 45°, 90° и 135°. Каждое положение анализатора - отдельный кадр.

б

Рис. 4. а) Изображение калибровочного шара: белый круг - граница шара, б) диаграмма распознанной глубины поверхности

а

а б

Рис. 5. а) Изображение кубика, б) распознанная поверхность кубика. Материал тот же. Потемнение к низу кадра дало перекос поверхности

Для обучения нейросети был применен метод «имитации отжига». Интенсивность была нормирована к 1: I < 1. Шаг изменения весовых коэффициентов ±Д^=0,01. При уменьшении «температуры» до Гпороговое=1 были получены результаты г для изображения самого калибровочного шара на рис. 4 и кубика на рис. 5.

Как видно, сильная погрешность выделяется в точках бликов. Искажения поверхности объясняются как зашумленностью исходного изображения, так и упрощенным алгоритмом. В вычислении энергии не была задействована возможность изменения весов при увеличении энергии. Недостаточная равномерность освещения вместе с эффектом потемнения к краю кадра привела к погрешности на кубике на рис. 5б - потемнение к низу кадра дало перекос поверхности кубика. Также потребуется больше итераций для работы алгоритма «имитации отжига». Тем не менее, несмотря на зашумленность, распознавание привело к положительному результату: усредненная ошибка алгоритма составляет 7,2%. Это показывает определенную ценность данного подхода и необходимости развивать алгоритм в дальнейшем. Возможно, стоит отказаться от учета значений азимута, которые наиболее сильно зашумлены. В областях с фоном высота хаотически изменялась, так как нейросеть не была настроена на тип поверхности фона. Для этого необходимо в будущем создать алгоритм сегментации, различающий классы поверхностей на изображении (например, по цвету).

Заключение

Исследован метод, в котором на калибровочном объекте получается карта отражательной способности и поляризации. По полученным выборкам обучается ячеистая нейроподобная сеть для определения относительного расстояния до поверхности из известного покрытия на ПО [8]. Не прибегая к стереоскопическому зрению, можно определять глубину изображения в относительных единицах (единицах радиуса калибро-

вочного шара). Хотя метод требует увеличения автоматизации измерений и точности, результаты показывают зависимость между глубиной и изменением интенсивности и параметров поляризации отраженного света. Добавим, что метод относительно стоек к шумам и не требует отдельного расчета угла падения света, как это требовалось в работе [1]. В дополнении к этому, обработка поляризации расширит возможности сегментации изображения в системах технического зрения. Это может быть использовано для различения материалов и определения не обнаруживаемых по другим параметрам излучения изменений в объектах.

Литература

1. Milanova M., Almeida P. E. M., Okamoto J. and Simoes M. G. Applications of Cellular Neural Networks for Shape from Shading Problem. Lecture Notes in Artificial Intelligence. / Machine Learning and Data Mining in Pattern Recognition, 1999, P. 51-63 (перевод на рус. http://ralertmod.narod.ru/new/yans.htm).

2. Аззам Р. Башара Н. Эллипсометрия и поляризованный свет. М.: Мир, 1981. С. 297300.

3. Бронштейн И.Н, Семендяев К.А., Справочник по математике для инженеров и учащихся вузов, М.: Наука, 1980.

4. Алексеев С.А., Пасяда А.В. Распознавание ориентации поверхности по отраженной интенсивности и поляризации излучения. // Вестник II Межвузовской конференции молодых ученых Санкт-Петербургского государственного университета информационных технологий, механики и оптики. СПб, 2005. Т. 3. С.7.

5. Chua L.O., Roska T. The CNN Paradigm. // IEEE Transactions on Circuits and Systems (Part I)", CAS-40. 1993. № 3. P. 147-156.

6. Besag, J. On the Statistical Analysis of Dirty Pictures. // J. R. Statist. Soc. B. 1986. Vol. 48. № 3. P. 259-302.

7. Заенцев И.В. Нейронные сети: основные модели. / Учебное пособие к курсу «Нейронные сети» для студентов 5 курса магистратуры к. электроники физического ф-та Воронежского государственного университета. 2000. С. 30.

8. Пасяда А.В. ПО «Поляризация на калибровочном шаре». http:\ralertmod.narod.ru\p.htm