CC BY
77
7. Вентцель Е.С. Теория Вероятностей. М.: Изд. Центр «Академия», 2003. 576 с.
Аршакян Александр Агабекович канд. техн. наук, elarkin@mail.ru, Россия, Тула, Тульский государственный университет
FILTERING OF MULTIDIMENSIONAL SIGNALS A.A. Arshakyan
An approach to filtering of multidimensional signals from static scenes observation, based on splitting of argument multitude to three space co-ordinates and time co-ordinate with next filtering space-time signals in time domain, is worked out. It is shown that main source of errors by such filtering is a disturbances of space coordinates for different time intervals. The procedure of optimal co-ordinates straighten out is proposed.
Key words: multidimensional signal, scene, observation, space co-ordinates filtering, space co-ordinates straighten out, optimization.
Arshakyan Alexander Agabekovich, candidate of technical sciences, elarkin@mail.ru, Russia, Tula, Tula State University
УДК 535.08; 681.78
АЛГОРИТМ ВЫДЕЛЕНИЯ ХАРАКТЕРНЫХ ЭЛЕМЕНТОВ НА ИЗОБРАЖЕНИЯХ ПОЛУСФЕРИЧЕСКИХ ВИДЕОКАМЕР
А.В. Овчинников, Ч.Х. Фан
Рассмотрены математическая модель и особенности изображений характерных элементов нецентрально-проективной полусферической видеокамеры на основе сферического зеркала. Предложен алгоритм выделения изображений характерных элементов на изображениях нецентральнопроективной полусферической видеокамеры.
Ключевые слова: полусферическая видеокамера, вертикальные линии, горизонтальные линии, углы.
Среди широкоугольных видеокамер особый интерес представляют полусферические видеокамеры, являющиеся комбинацией обычной видеокамеры и выпуклого зеркала (рис. 1,а) [1]. Видеокамера установлена над выпуклым зеркалом и за счет отражения от него лучей света угол обзора видеокамеры расширяется.
В зависимости от формы выпуклого зеркала полусферические видеокамеры подразделяются на центрально-проективные видеокамеры (ЦПВ) и нецентрально-проективные видеокамеры (НПВ) [2]. Четкое отли-
чие ЦПВ от НПВ заключается в наличии единой проективной точки, в которой приходящие к зеркалу лучи света пересекаются (рис. 1,б).
Как показано в [1, 3], одним из перспективных направлений использования полусферических камер является навигация для мобильных объектов (роботов).
При решении задач навигации и локализации роботов в помещении часто приходится сталкиваться с необходимостью выделения на изображениях окружающего пространства характерных элементов: вертикальных, горизонтальных линий и углов, образованными ими [2]. Для решения данных задач разработано большое количество алгоритмов. Но данные алгоритмы ориентированы на работу с обычными изображениями и не подходят для работы с полусферическими изображениями, так как геометрическая форма изображений прямых линий на полусферических изображениях искажена, разрешение полусферических изображений неоднородное [2, 4].
В работе [4] предложены алгоритмы выделения прямых линий для ЦПВ. В основе алгоритмов лежит утверждение - точки отражения на зеркале ЦПВ, соответствующие точкам изображения прямых линий, являются компланарными.
В работе [5] применено преобразование полусферических изображений в панорамные, чтобы позволить использовать классические алгоритмы выделения характерных элементов (НПВ).
а
б
Рис. 1. Полусферическая видеокамера и геометрическая модель распространения лучей в ней: а - полусферическая видеокамера; б - схематические иллюстрации ЦПВ на основе сферического зеркала
с указанием систем координат
В [6] предложен алгоритм выделения горизонтальных линий из двух изображений НПВ. Аппроксимация НПВ моделью ЦПВ представляет популярный подход для решения данной задачи [7].
В данной работе предлагается алгоритм выделения на изображени-
ях формируемыми НПВ вертикальных и горизонтальных линий, а также углов, образованных ими, на основе исследования их характеристик. Приведены результаты сравнения данного алгоритма с аппроксимационным алгоритмом [7].
1. Математическая модель нецентрально-проективной полусферической видеокамеры на основе сферического зеркала
Математическая модель НПВ на основе сферического зеркала описывает процесс формирования изображения точечного источника света на светочувствительной матрице, который делится на 2 этапа: процесс отражения зеркалом луча света и процесс проецирования точки отражения на светочувствительную матрицу видеокамеры.
Пусть Sp = [xpS ypS zps F, Sm = lxms yms zms Г - точечный источник света и точка отражения на сферическом зеркале в системе координат зеркала S, начало которой находится в центре зеркала, соответственно (рис. 1,б). Осесимметричность зеркала позволяет рассмотреть процесс формирования изображения на плоскости сечения p, содержащей
точечный источник света s P и оптическую ось зеркала.
На плоскости p точка sP преобразуется в pP = \xpp ypp ]F, где
I 2 2 2
XpP =J XpS + yps + ZpS ■ sin 0p , при этом 0p - зенитный угол трехмерной
точки sP и y pP = ZpS. Аналогично точка sm преобразуется в
71 т = [хтР утР]Т . Функция сечения зеркала плоскостью тт выражается 2 2 2
уравнением xp+ yp= R , а оптический центр видеокамеры определяется
выражением pCq = [0 d]F, где d - расстояние от центра зеркала до оптического центра видеокамеры (рис. 1,б).
Пусть Vj, vr и n - соответственно приходящий, отраженный лучи света и нормаль зеркала в плоскости сечения p. Известно, что приходящий и отраженный зеркалом луч связаны законом отражения, который описывается формулой
Vj = Vr - . (1)
n n
С другой стороны, вектор приходящего луча можно выразить через две точки p P и p m:
vj x(pP -p m)= 0. (2)
Из (1) и (2) следут окончательное уравнение для вычисления коор-p
динат точки отражения m :
Aymp + Bymp + Cymp + Dymp + E = 0, (3)
235
где
А
В=-4йЯ2
4й 2 (х + '-2
' У р
хрр + у рр й + урп).
С
х 2рп(к 4
4й2Я2 )+ Я 4 (й +
О = 2йЯ
4
2
^рр
хрР + 2 у
рр
)+я4 (< (й+у рр)
урр
4й 2 Я 2 у 2рК:
й 2 Я 4 х ря
Я 6 (й +
урр
Уравнение (3) имеет несколько решений. Решение уравнения, которое является координатами точки отражения на зеркале, выбирается проверкой закона отражения.
Теперь рассмотрим процесс проецирования найденной точки отра-
с ^
жения т на светочувствительную матрицу видеокамеры, который делится на 3 этапа: перспективное проецирование точки отражения на нормированную плоскость изображения, воздействие радиального искажения и аффинное проецирование на плоскость изображения.
На первом шаге точку отражения с т необходимо перевести из системы координат зеркала £ в систему координат видеокамеры С:
т
т +с г.
где с15 = [0 0 - й ] - вектор трансляции.
Перспективное проецирование точки отражения на нормированную плоскость изображения выражается уравнением
Воздействие радиального и тангенциального искажения на V определяется следующим образом:
где г2 — й2 + V2; /с* (I = 1... 5) - коэффициенты искажения.
Окончательным этапом является аффинное проецирование искаженной точки сРа на нормированной плоскости в точку изображения
с р = [и г] на светочувствительной плоскости, определяемое через внутренние параметры видеокамеры, такие, как фокусное расстояние /, масштабный параметр пикселя к и I, координаты центра проекции [и о vo ]Т, угол 0 между осями изображения:
(4)
2. Исследование характеристик вертикальных и горизонталных линий в системе полусферической видеокамеры
Известно, что вертикальные линии на полусферическом изображении представляют собой радиальные линии [8]. Поэтому задача выделения вертикальных линий на полусферических изображениях является несложной и на текущий момент авторами предложено её решение [8].
Выделение горизонтальных линий на полусферических изображениях представляет собой более сложную задачу, т.к. горизонтальные линии на полусферическом изображении представляют собой кривые, форма которых зависит от типа камеры. Для ЦПВ изображение горизонтальной линии является эллипсом [4], а для НПВ форма изображения не может быть аналитически выведена.
Известно, что в НПВ приходящие к зеркалу лучи света пересекают оптическую ось в разных точках. Кроме того, горизонтальная линия в трёхмерной сцене и оптическая ось являются скрещивающимися прямыми. Следовательно, приходящие к зеркалу лучи от точек горизонтальной также являются скрещивающимися. Данное взаиморасположение лучей позволяет восстановить трехмерную горизонтальную линию от ее изображения при задании необходимого количества приходящих линий.
В работе [9] определены две прямые линии, пересекающие одновременно 4 (или более) заданные скрещивающиеся прямые. Опирась на данную методику, с помощью выведенной математической модели (4) было проведено исследование зависимости точности восстановления трехмерных горизонтальных линий по их изображениям, формируемым полусферическими камерами, от шума. Анализ результатов исследования показал, что методика восстановления трехмерных горизонтальных линий по полусферическим изображениям в случае использования НПВ оказалась чувствительной к шумам и восстановление становится неприменимым для НПВ на практике. Это объясняется тем, что в НПВ приходящие лучи пересекают оптическую ось в разных точках, но расстояние между точками пересечения незначительно по сравнению с размером зеркала и, конечно, по сравнению с расстоянием от оптической оси до горизонтальной линии в пространстве. Поэтому даже незначительные шумы, наложенные на точки изображения горизонтальной линии, приводят к значительным погрешностям её восстановления.
С другой стороны, результаты исследования позволяют сделать допущение о том, что приходящие к зеркалу лучи от горизонтальной линии лежат в одной плоскости. Данная плоскость пересекает сферическое зеркало по линии, которая перспективно проецируется на плоскость изображе-
ния в виде эллипса.
Задача выделения эллипсов на изображениях является ресурсоёмкой за счет наличия достаточно большого числа искомых параметров, особенно при наличии на изображении нескольких эллипсов или их частей.
В настоящее время существуют алгоритмы выделения эллипсов, оси которых параллельны осям системы координат либо полностью присутствуют на изображении.
Изображение горизонтальных линий представляет собой только часть эллипса (дугу), которая может быть достаточно точно аппроксимирована окружностью.
Это позволяет в дальнейшем аппроксимировать изображения горизонтальных линий формируемых НПВ окружностями.
3. Алгоритм выделения изображений вертикальных и горизонтальных линий на полусферических изображениях
Для решения задачи выделения вертикальных и горизонтальных линий на полусферических изображениях необходимо определить параметры модели (радиальной линии или окружности соответственно), которой должны удовлетворять имеющиеся исходные данные (т.е. точки изображения). Очевидно, что зашумленность исходных данных объязательно влияет на точность модели, поэтому необходимо использовать алгоритм, который был бы устойчив к зашумленности исходных данных и наличию значительного количества ложных данных. Для обеспечения данных требований в качестве главного алгоритма определения параметров модели был выбран алгоритм RANSAC (от англ. RANdom Sample Consensus - соглашение по случайным выборкам).
В нашей работе входными данными алгоритма являются бинарные изображения, содержащие краевые точки - точки изображения, в которых яркость изменяется особенно сильно. Очевидно, что количество краевых точек велико (рис. 2,б), что не позволяет алгоритму быстро сходиться и давать устойчивые результаты. Поэтому предлагается предварительно провести выделение на входных бинарных изображениях групп связанных точек, в которых последовательно каждая точка входит в восьмерку соседей следующей точки и их уровни яркости равны друг другу (рис. 2,в).
Пусть Y - некоторая группа связанных точек из множества A, содержащегося в изображении. Тогда все элементы компоненты Y могут быть получены с помощью рекуррентного соотношения
хк = (Хк_! © В) П А,
х,, 1 “ I / ! 1 В п Хк , 0', ( 5)
где B - примитив; (Xk— © B) - дилатация множества Xk — по множеству
В; (®)z - центральное отражение множества В относительно его центра и затем сдвиг полученного множества в точку z.
Предложенная процедура позволяет выделить на входном бинарном изображении группы связанных точек, которые с большой вероятностью соответствуют моделям вертикальных и горизонтальных линий.
В итоге алгоритм выделения вертикальных и горизонтальных линий на полусферических изображениях выглядит следующим образом.
1. На входном полусферическом изображении выделяются краевые
точки.
2. На бинарном изображении, содержащем краевые точки, выделяются группы связанных точек по уравнениям (5). Для каждой группы связанных точек последовательно проводится выделение изображений вертикальных и горизонтальных линий (соответственно в виде радиальных линий и окружностей).
2.1. Равномерно и случайно выбираются п точек из группы (п = 2 для выделения радиальных линий, п = 3 для окружностей).
2.2. По выбранным точкам строится модель радиальной линии (окружности).
2.3. Для каждой краевой точки, не вошедшей в набор из выбранных точек, определяется расстояние от точки до построенной модели, и результат вычисления сравнивается с порогом е. Если расстояние меньше значения е, точка считается близлежащей, иначе - удаленной. Рекомендуемая величина порога е определена экспериментально и составляет е = 1...3 пикселя.
2.4. Вычисляется количество близлежащих точек В .
2.5. Вычисляется относительное количество близлежащих точек: w = Вн, где В - количество близлежащих точек; N - общее число граничных точек.
- вероятность одновременного выбора п близлежащих точек, 2 - вероятность одновременного выбора удаленных точек. В соответствии с полу-
печивает быструю сходимость, но при этом уменьшается точность, если
чивается точность. Оптимальным с точки зрения обеспечения точности и
2.7. Сравнивается текущий номер итерации со значением, полученным в п.2.6. Если текущий номер итерации больше значения к, то вычисления останавливаются, выбранной считается модель с максимальным числом близлежащих точек. Иначе выполняются пп. 2.1 - 2.7.
2.8. Точки изображения успешно подобранной модели удаляются, чтобы иметь возможность поиска других моделей с меньшим количеством
п
-2
ченными экспериментальными данными, если г > 10 , то алгоритм обес
г < 10 4, то алгоритм обеспечивает малую сходимость, но при этом увели
-3
сходимости алгоритма является значение г = 10 .
шумовых точек.
2.9. Процесс повторяется до тех пор, пока в группе связанных точек присутствуют точки, позволяющие построить модели радиальной линии (окружности).
Результаты обработки изображения по предложенному алгоритму приведены на рис. 2.
Рис. 2. Выделение вертикальных и горизонтальных линий на полусферических изображениях: а - исходное полусферическое изображение; б - выделение краевых точек; в - выделение группы связанных точек; г - выделение радиальных линий и окружностей
4. Алгоритм выделения углов на полусферических изображениях
Углы на полусферических изображениях определяются точками пересечения изображений вертикальных и горизонтальных линий.
Известно, что в отличие от точек на крае или в однородной области углы обладают особенной характеристикой: их яркость сильно изменяется по всем направлениям.
Автокорреляционная функция окрестности вокруг точки изображения (х, у) определяется выражением [10]
Е (и,V ) = ЕЕ н(х, у)[/ (х + и, у + V)-1 (х, у )]2, х у
где / (х, у) - яркость точки изображения (х, у); н(х, у) - гауссовская маска. Выполнив преобразование / (х + и, у + V) в ряд Тейлора, получаем
Е(и,V)»[и V] ЕЕн(х,у)
\ х у
/х
/х/у
/х/у
/
у
и
V
= [и v]M
и
где /х, / у - соответственно горизонтальный и вертикальный градиент
точки изображения (х, у).
Матрица Гессиана М характеризует изменение яркости точки изображения (х, у) по разным направлениям, которое отражается через два собственных значения матрицы. Для углов два собственных значения матрицы М должны быть достаточно большими, что показывает сильное изменение яркости углов по всем направлениям.
Для упрощения вычислений в работе [10] предложено рассчитывать функцию отклика
Я = ёйМ - к(ТгМ )2, (6)
где к обычно полагается 0,04 [10].
Максимальное значение функции Я соответствует углу на изображении (рис. 3, а).
а б
Рис. 3. Соответствие максимального значения функции Я углу на изображении: а - функция отклика сегмента изображения, максимумам соответствуют координаты углов; б - результат выделения углов на полусферическом изображении
V
Итак, для того чтобы найти углы, проводится поиск локальных максимумов функции отклика (6) для точек пересечения изображений вертикальных и горизонтальных линий. Результат выделения углов показан на рис. 3, б.
Следует заметить, изображение горизонтальных линий аппроксимируется окружностью, а не эллипсом, что приводит к тому, что координаты реальных точек пересечения вертикальных и горизонтальных линий и найденных углов в общем случае различны. Однако экспериментальные исследования показали, что погрешность определения координат углов не превышает 1.. .2 пикселя.
5. Экспериментальная часть
В ходе экспериментальных исследований проведено сравнение предложенного алгоритма с аппроксимационным алгоритмом [7], являющимся популярным при работе с НПВ. В данном алгоритме НПВ аппроксимируется математической моделью ЦПВ, чтобы применить существующие алгоритмы обработки для ЦПВ.
Критериями для сравнения алгоритмов являются повторяемость, устойчивость алгоритма к разным факторам (шуму и перемещению), вероятность правильного выделения и быстродействие.
Повторяемость алгоритма (от англ. repeatability) отражает соотношение количеств выделяемых на двух проходах алгоритма характерных элементов изображения [11].
Пусть ^1, ^2 - соответственно множество выделенных характерных элементов на изображении для первой и второй попыток. Повторяемость алгоритма определяется выражением
h= Л,П А,2 л • 100%.
min (А1, А21)
Показатель повторяемости используется при оценке возможностей алгоритмов для выполнения задач сопровождения объектов.
Устойчивость алгоритма к шуму (или перемещению) отражает соотношение количеств выделяемых на двух проходах алгоритма характерных элементов изображения, при этом вторая попытка алгоритма подвергается воздействию шума (или перемещению).
Вероятность правильного выделения определяет долю правильно выделенных характерных элементов на изображении.
Результаты сравнения алгоритмов приведены на рис. 4. Сравнение выполнялось для 300 изображений 10 сцен с изменением освещенности и точки зрения. Часть набора изображений была взята из стандартного архива полусферических изображений [12].
100
90
80
70
60
50
40
30
20
10
0
• Пред. алгоритм а Аппр. алгоритм
4 5 6 7
№сиены
10
£
5
>-
в
а:
13
о
90
80
70
60
50
40
30
го
ю
о
—•—П эед. ал гор ппр. алгор итм
-*-А итм
3 5 7 9
Среднеквадратичное отклонение
а
б
0.1 0.2 0.3 0,4 0.5 0,6 0.7 0.8 0.9 1 1 2 3 4 5 6 7 8 9 10 11
Расстояние перемещения (т) № сцены
в г
Рис. 4. Результаты сравнения алгоритмов: а - повторяемость алгоритма при разных сценах; б - устойчивость к шуму; в - устойчивость к перемещению; г - вероятность правильного выделения
Анализ результатов экспериментального исследования показал:
1) предложенный авторами алгоритм обеспечивает выигрыш до 45...50 % по повторяемости и устойчивости к различным факторам по сравнению с аппроксимационным алгоритмом;
2) аппроксимация НПВ моделью ЦПВ приводит к значительной погрешности при выделении длинных горизонтальных линий и ложному выделению изображений прямых линий, а аппроксимация окружностью формы изображений горизонтальных линий адаптивна к длине линий;
3) скорость обработки изображений предложенным алгоритмом на 15 % быстрее, чем аппроксимационным.
Список литературы
1. Макарецкий Е.А., Овчинников А.В., Фан Ч. Д. Х. Полусферические камеры прикладных телевизионных систем: получение и преобразование полусферических изображений // Компоненты и технологии. Санкт-Петербург, 2010. №9.
2. Baker S., Nayar S.K. Single Viewpoint Catadioptric Cameras. R.: Springer-Verlag, 2001. С. 39-71.
3. Макарецкий Е.А., Овчинников А.В., Фан Ч. Д. Х. Выделение и сопровождение движущихся объектов на полусферических изображениях // Компоненты и технологии. Санкт-Петербург, 2011. №1.
4. Geyer C., Danilidis K. Catadioptric Projective Geometry // International Journal of Computer Vision. №45(3). 2001. С.223-243.
5. Fiala M., Basu A. Robot navigation using panoramic tracking // Pattern Recognition. №37. 2004. С.2195-2215.
6. Lanman D., Wachs M. Reconstructing a 3D-line from a Single Catadioptric Image // Proc. 3rd DPVT. Wasington DC, USA. 2006. Р. 89-96.
7. Omnieye: A Spherical Omnidirectional Vision System to Sonify Robotic Trajectories in the AURAL Environment. B.: Springer-Verlag, 2008. Р. 159-174.
8. Овчинников А.В., Фан Ч. Д. Х. Обработка полусферических изображений: определение центра изображения и выделение вертикальных линий // Компоненты и технологии. Санкт-Петербург, 2011. №12.
9. Teller S., Hohmeyer M. Determining the lines through four lines // Journal of graphic tools. №4(3). 1999. C.11-22.
10. Harris C., Stephens M.J. A combined corner and edge detector // Alvey Vision Conference. 1988. C. 147-152.
11. Mikolajczyk K., Schmid C. Scale & Affine Invariant Interest Point Detectors // International Journal of Computer Vision. №60(1). 2004. С. 63-86.
12. http://www.cas.kth.se/COLD/
Овчинников Александр Викторович, канд. техн. наук, доц.,
admin_telex@mail.ru, Россия, Тула, Тульский государственный университет,
Фан Чан Данг Хоа, аспирант, dolphin22a@yahoo.com, Россия, Тула, Тульский государственный университет
ALGORITHM FOR FEA TURE EXTRACTION FROM IMAGES OF NON-CENTRAL
HEMISPHERICAL CAMERAS
A.V. Ovchinnikov, T.K. Phan
Mathematical model and characteristics of features of non-central hemispherical camera using spherical mirror are considered. Algorithm for feature extraction from images of non-central hemispherical cameras is proposed.
Key words hemispherical camera, vertical line, horizontal line, corner.
Ovchinnikov Aleksandr Viktorovich, candidate of technical sciences, docent, admin_telex@mail.ru. Russia, Tula, Tula State University,
Phan Tran Dang Khoa, postgraduate, dolphin22a@yahoo.com, Russia, Tula, Tula State University
УДК 621
АЛГОРИТМ ПРОЕКТИРОВАНИЯ НЕЙРОННЫХ СЕТЕЙ С МИНИМАЛЬНОЙ РАЗРЯДНОСТЬЮ
С.Н. Данилин, М.В. Макаров, С. А. Щаников
Определены функция обучения и структура для достижения наилучших показателей точности (качества) работы нейронной сети. Показана возможность снижения влияния шума, искажающего входную информацию на точность (качество) работы нейронных сетей. На базе предложенного общего подхода исследованы возможности методов оптимизации разрядности нейронных сетей, преобразующих информацию, искаженную шумами.
Ключевые слова: оптимизация, разрядность, входная информация, нейронные сети, весовые коэффициенты моделирование, точность, шум.
При разработке алгоритмов преобразования информации в любом логическом базисе и проектировании устройств, реализующих данные алгоритмы, в соответствии с действующими российскими и международными стандартами устанавливаются технические требования к ним, в частности по точности работы, быстродействию, отказоустойчивости, надежности. Объектом, к которому эти показатели относятся, является информация, а не сигнал - носитель информации [1].
В процессе аппаратной реализации нейросетевых алгоритмов обработки информации элементная база накладывает ограничения по разрядности, быстродействию, надежности, числу входов и выходов. Разрядность входной информации и нейронов сети оказывает определяющее влияние на оптимальное распределение ресурсов технических средств.
Теория нейронных сетей в настоящее время не позволяет аналитически определить оптимальную (необходимую и достаточную) разряд-
