CC BY
109
METHOD CENTERING THE LENSES TEPLOVIZEROVIN THE FRAME
D. V. Safronov, T.A. Akimenko
In this paper, a method of centering the lens teplovizerov in op-Rawa and presented step by step algorithm centering lens.
Keywords: lens, teplovizer, optical device, the diaphragm, the lens.
Safronov Denis Vadimovich, undergraduate, advent42 74@ya. ru, Russia, Tula, Tula State University,
Akimenko Tatiana Alekseevna, candidate of technical sciences, docent, tan-tan72@mail.ru, Russia, Tula, Tula State University
УДК 004.852, 004.855.5
НЕЙРОСЕТЕВОЙ МЕТОД ОПЕРАТИВНОГО СОВМЕЩЕНИЯ ДАННЫХ АЭРОФОТОСЪЕМКИ И ВИРТУАЛЬНОЙ МОДЕЛИ
МЕСТНОСТИ
А.В. Соколова, М.В. Акинин, М.Б. Никифоров
Рассматривается метод совмещения данных аэрофотосъемки и виртуальной модели местности, состоящий из этапа предварительной обработки, выполняемой с помощью алгоритма антиалиасинга, включающего в себя фильтрацию низких частот и применение алгоритма деблюринга, основанного на фильтрации по Тихонову, этапа выделения контуров, выполняемого с помощью нелинейной ячеистой искусственной нейронной сети, и этапа контурной корреляции, выполняемой с помощью ограниченной стохастической машины Больцмана.
Ключевые слова: аэрофотосъемка, антиалиасинг, фильтр Тихонова, нелинейная ячеистая искусственная нейронная сеть, ограниченная стохастическая машина Больцмана.
В настоящее время множество разнообразных социально-экономических, экологических, природопользовательских и прочих задач решаются с использованием точных векторных карт местности, с нанесенной на них информацией о высотах искусственных и природных объектов. Для создания точного картографического материала необходим программно-аппаратный комплекс автоматического построения детальных трехмерных моделей местности, в состав которого входит беспилотный летатель-
ный аппарат (БПЛА), способный выполнять детальную съемку в различных спектральных каналах. Для формирования изображения необходимо разработать специализированную систему комбинированного видения. Изображение получается путем совмещения данных, получаемых от телевизионных и тепловизионных камер (многоканальное изображение В), установленных на летательном аппарате, и виртуальной модели местности (ВММ), полученной по цифровой карте местности.
Алгоритм совмещения
Существующие на данный момент алгоритмы совмещения не позволяют достичь максимальной оперативности решения поставленной задачи, что делает невозможным их применение в режиме реального времени. Поэтому необходимо разработать принципиально новый алгоритм совмещения, который мог бы применяться при решении задач, требующих максимальной оперативности совмещения.
Данный алгоритм состоит из следующих этапов:
1) генерация ракурса ВММ по неточным координатам и параметрам ориентирования, полученным от бортовых систем БПЛА, и формирование матрицы М - растрового представления ракурса;
2) устранение зазубренностей на растровом представлении ракурса;
3) выделение контуров на спутниковом снимке с помощью нейро-сетевого алгоритма, основанного на использовании нелинейных ячеистых искусственных нейронных сетей, описанного в [1];
4) фильтрация контуров (т. к. не все выделенные контуры необходимы и пригодны для дальнейшего корреляционного совмещения);
5) поиск совпадений контуров образов на спутниковом снимке с границами объектов на ВММ.
В процессе разработки автоматического решения задачи совмещения возникают ряд проблем, одной из которых является появление зазубренностей на границах линейных и полигональных объектов при отображении виртуальной модели местности при полете на низких высотах. Перед совмещением необходимо сгладить границы объектов на ВММ с целью устранения зазубренностей. Для решения данной проблемы был разработан алгоритм сглаживания текстур ВММ.
Алгоритм сглаживания текстур ВММ
Данный алгоритм состоит из следующих этапов:
1) применение к изображению фильтра низких частот, следствием чего является сильное размытие изображения ВММ.
После применения к изображению фильтра низких частот (ФНЧ) все линии сглаживаются, но основная информация об объектах на изображении не теряется. Вся информация просто перераспределяется по некоторому закону и может быть восстановлена, за исключением мелких объектов и тонких линий, которые несущественны для дальнейшего совмещения;
2) деблюринг ((англ.) deblurring - устранение размытости) - восстановление четких границ размытых объектов.
После того, как с помощью ФНЧ тонкие линии и мелкие объекты были практически устранены из изображения, необходимо восстановить четкие границы крупных объектов с помощью алгоритма деблюринга, основанного на применении фильтра Тихонова. Выбор алгоритма деблюрин-га был подробно рассмотрен в [2]. При использовании алгоритма деблю-ринга предполагается, что изображение было размыто искажающей функцией, основанной на ФНЧ Гаусса.
Фильтр Гаусса
Фильтры низких частот уменьшают амплитуды высокочастотных составляющих в спектре изображения [3].
Фильтр Гаусса основан на использовании двухмерной функции Гаусса:
2,2
- x +y
1 2
g (x,y) = e 2s . (1)
2ps
Параметр а в (1) влияет на остроту пика функции (чем меньше абсолютное значение параметра, тем пик острее и наоборот).
Фильтр Гаусса сохраняет доминирующее влияние пикселя, попадающего в центр ядра, но при этом учитывает значения соседних пикселей, что приводит к некоторому размытию исходного изображения.
Деблюринг
Операция применения искажающей функции к другой функции (к изображению, в данном случае) является попиксельной сверткой ((англ.) convolution), которая заключается в том, что для каждого пикселя рассчитывается взвешенная сумма его окрестности. Применение искажающей функции h к изображению f может быть описано как:
f = [fxy\x = iM;y = HN;
h = [fmk I'm =1 m;k =1 n;
a b
g(x,y) = h * f (x,y) = I Ih(a + i +1,b + j + l)f (x + i,y + j); (2)
i=-a j=-b
т -1 , п -1
а =-; Ь =-,
2 2
где М, N - размеры изображения; т,п - размеры искажающего фильтра; g(x,y) - искаженное изображение.
Операция, обратная свертке, называется деконволюцией ((англ.) ёесопуо1ийоп).
Существует теорема о свертке, которая гласит, что операция свертки в пространственной области эквивалентна обычному умножению в час-
тотной области (причем умножение поэлементное, а не матричное). Следовательно, процесс искажения (2) можно записать в виде:
G(u,v) = H (u,v )F (u,v), где G(u,v), H(u,v), F(u,v) - Фурье-преобразование искаженного изображения, искажающей функции и исходного изображения соответственно.
Задача восстановления искаженного изображения заключается в нахождении наилучшего приближения f(x, y) исходного изображения. Фильтрация по Тихонову
Для восстановления изображения необходимо решить задачу нахождения экстремума (минимума) некоторого сглаживающего функционала. В методе, основанном на фильтрации по Тихонову [4], в качестве такого функционала C[f] можно использовать квадрат нормы лапласиана,
C [f bTlV f (x,y )f, (3)
x=0y=0
с дополнительным ограничением (связью) вида
g-Hf = h 2, (4)
где f - искомая оценка неискаженного изображения; h - шум.
Так как в рассматриваемом алгоритме внешний шум отсутствует и происходит искусственное «размытие» изображения, то h = 0, следовательно, (4) можно переписать как
g - Hf = 0 (5)
Решение оптимизационной задачи (3) при условии (5) в частотной области задается выражением
i * / \ Л
H (u,v)
F (u,v)
|H (u,v )|2 + g\P(u,v )|
G(u,v)
где Н (и,у) - комплексное сопряжение искажающей функции Н (и,у) (частотное представление); |Н(ы,у)|2- квадрат модуля, равный произведению комплексного числа на комплексно-сопряженное; у - параметр регуляризации, который должен быть выбран так, чтобы выполнялось условие (5); Р(ы,у) - Фурье-преобразование функции:
Р( ^ У) =
0 -1 0
-1 4 -1
0 -1 0
2
т. е. той функции, с помощью которой определяется оператор Лапласа; 0(ы,у) - Фурье-преобразование искаженного изображения.
Контурный коррелятор
Существует несколько подходов к решению задачи контурного корреляционного совмещения - как было показано в [5], наиболее эффективным с точки зрения времени выполнения и требуемых вычислительных ресурсов и позволяющим получить при этом высокоточный результат является подход, основанный на использовании ней-росетевой ассоциативной памяти, основанной на ограниченной стохастической машине Больцмана ((англ.) restricted Boltzmann machine, RBM).
Пусть Gb = {gB} - множество описаний контуров gg, выделенных на изображении B (| Gg |= Ng); Gm = {gM} - множество описаний контуров gM объектов, присутствующих на изображении ракурса ВММ M
(I Gm 1= Nm ).
Размерности векторов gg и gM совпадают и равны Ssz .
Алгоритм работы коррелятора состоит из следующих этапов:
1) обучение коррелятора на множестве Gg с использованием алгоритма CD-k ((англ.) contrastive divergence), описанного в [6];
2) прогон коррелятора для каждого gM и формирование пар описаний контуров (gB, gM)G Gpair, таких, что для контура gM контур gB является наилучшим соответствием с точки зрения коррелятора;
3) формирование множества пар, совпадающих точек P по множеству Gpair ;
4) расчет по множеству пар совпадающих точек P окончательного преобразования совмещения.
Ключевым элементом представленного алгоритма является коррелятор, основанный на применении ограниченной стохастической машины Больцмана.
Ограниченная стохастическая машина Больцмана относится к классу искусственных нейронных сетей (ИНС), реализующих ассоциативную память. Обучение стохастической машины Больцмана сводится к запоминанию входного множества векторов, после чего на вход машине подаётся некоторый входной вектор и машина выполняет ряд итераций до тех пор, пока выходы нейронов ее входного слоя не достигнут стабильного состояния, которое и будет являться вектором из обучающего множества, восстановленного для данного входного вектора.
Структурная схема ограниченной стохастической машины Больцмана приведена на рисунке.
^^ ^ ^ ^ ^ ^я ^в ^я ^я
:крытый слой |_
Структурная схема ограниченной стохастической машины
Больцмана
RBM состоит из двух слоев нейронов:
- слой видимых нейронов, векторы весов которых обозначаются ^^visible q , где Ч - индекс нейрона: 1 Wvisible q |=| gB |=| gM |= Ssz ;
- слой скрытых нейронов, векторы весов которых обозначаются
^^hidden q .
Векторы весов нейронов каждого слоя образуют матрицы Wvisibie и Whidden, количество строк которых Svisible и SMdden являются количеством нейронов в видимом и скрытом слоях соответственно.
Так как ограниченная стохастическая машина Больцмана является
полносвязанной ИН^ то | Whidden q |= Svisible и
| Whidden q |= Shidden = Ssz .
Алгоритм работы ИНС по сопоставлению контуру gM контура gg состоит из следующих этапов:
1) исходный вектор gM поступает на вход RBM: gvisible = gM ;
2) gvisible prev = gvisible ;
3) рассчитывается вектор ghidden = {ghidden q}, где
T
ghidden д = ^Шв д ;Я =1^¡Шв - т.е. каждый нейрон рассчитывает сумму своих входов (вектор ^^ъи), взвешенную по весам своих синапсов (вектор д);
4) рассчитывается вектор gVisiЪlв = {ё^Шв д}, где т
Svisible q = Whidden q hiddrn ;q 1, Shidden
111
5) рассчитывается среднеквадратичное отклонение текущего вектора ёжШе от данного вектора на предыдущей итерации (ргеу):
I Svisible 2
2 (Svisible q— Svisible prev q )
q = 1_
sg visible = \| S '
Svisible
6) если sgvisible <X, то выполняется останов алгоритма (вектор gvisible достиг стабильного состояния), иначе выполняется переход на шаг 3.
По завершении выполнения алгоритма очередной вектор gviSibie принимается в качестве приближения g B к вектору g B.
Пороговое значение X > 0 является максимально допустимым отклонением очередного вектора gvisible от соответствующего вектора на предыдущей итерации, при котором выполнение алгоритма останавливается и ИНС считается достигшей стабильного состояния.
В качестве gB выбирается вектор gB g Gb , максимально близкий к gB в смысле Евклидовой меры расстояния.
Эксперимент
Целью экспериментального исследования стало сравнение временных показателей и показателей качества совмещения предложенного алгоритма совмещения и существующих алгоритмов совмещения.
Экспериментальное исследование было проведено с использованием вычислительного кластера, организованного по технологии Message passing interface (MPI) с применением программного комплекса OpenMPI. Для уменьшения временных затрат на проведение экспериментального исследования каждый хост использовал мощности видеопроцессора, имевшегося в составе соответствующей вычислительной системы, для дополнительного распараллеливания части вычислений с помощью технологии GPGPU.
Оцениваемыми выходными параметрами эксперимента стали:
- время выполнения совмещения (без учета времени обучения модели) с точностью до одной миллисекунды;
- качество выполненного совмещения E, в качестве меры которого было взято среднеквадратичное отклонение реперных точек на тестовых данных с точностью до одного метра.
В таблице приведены результаты экспериментального сравнения временных показателей и показателей качества совмещения различных алгоритмов совмещения.
Результаты экспериментального исследования
Метод/алгоритм совмещения Оценка качества совмещения E (метры) Оценка времени совмещения (секунды)
Предложенный алгоритм 27,918 1,241
Корреляционно-экстремальный метод 45,321 1,971
Метод стабилизации изображений, основанный на преобразовании Фурье 98,891 1,760
Метод, основанный на поиске особых точек с помощью детектора SIFT 82,473 13,091
Метод, основанный на поиске особых точек с помощью детектора SURF 67,537 16,547
Метод, основанный на поиске особых точек с помощью детектора Харриса 54,831 13,011
Заключение
Предложенный алгоритм совмещения в среднем показывает результат, лучший в 1,6 раз по качеству и в 1,5 раз по времени, чем существующие методы и алгоритмы совмещения аэрофотосъемки и ВММ.
Результаты экспериментального исследования демонстрируют практическую целесообразность использования предложенного алгоритма совмещения для оперативного анализа данных аэрофотосъемки в процессе решения различных прикладных задач, как автоматическое управление БПЛА, построение и уточнение трехмерной модели местности и некоторые другие задачи.
Список литературы
1. Akinin M.V., Nikiforov M.B. Edge detection algorithm based on non linear cellular neural networks // 11th International Conference on Pattern Recognition and Image Analysis: New Information Technologies (PRIA-11-2013; vol. I). Russia, Samara. 2013. Р. 143 - 146.
2. Соколова А.В., Акинин М.В., Никифоров М.Б. Алгоритм антиалиасинга текстур виртуальной модели местности, основанный на методах деблюринга изображений // Mezinarodni vedecka a prakticka konference «World & Science». Чехия, Брно. 2014.
3. Аршакян А.А., Будков С.А., Ларкин Е.В. Эффективность селекции точечных сигналов, сопровождаемых импульсной помехой // Известия ТулГУ. Технические науки. Вып. 12. Тула: Изд-во ТулГУ, 2012. С.198 - 204.
4. Гонсалес Р., Вудс Р. Цифровая обработка изображений. М.: Техносфера, 2005. 1072 с.
5. Акинин М.В., Никифоров М.Б. Нейросетевой алгоритм совмещения векторных карт и спутниковых снимков // 6-я Международная научно-техническая конференция «Космонавтика. Радиоэлектроника. Геоинформатика». Рязань: Рязанский государственный радиотехнический университет, 2013. С. 272 - 274.
6. Hinton G. Practical Guide to Training Restricted Boltzmann Machines. Canada, Toronto: Department of Computer Science, University of Toronto. 2010.
Акинин Максим Викторович, асп., akinin.m. v a gmail.com, Россия, Рязань, Рязанский государственный радиотехнический университет,
Соколова Александра Владимировна, магистрант, alexandra. sokolovaOOa mail. ru, Россия, Рязань, Рязанский государственный радиотехнический университет,
Никифоров Михаил Борисович, канд. техн. наук, доц., nikiforov.m. baevm.rsreu.ru, Россия, Рязань, Рязанский государственный радиотехнический университет
METHOD FOR FAST COMBINING OF AERIAL PHOTOGRAPHY AND DIGITAL VECTOR MAPS BASED ON ARTIFICIAL NEURAL NETWORKS
A. V. Sokolova, M. V. Akinin, M.B. Nikiforov
Article describes an method for combining of aerial photography and digital vector maps, using antialiasing algorithm based on low frequency filter and Tichonov's filter for deblurring, edge detection algorithm based on non linear cellular neural networks and contour correlation algorithm based on restricted stochastic Boltzmann machine.
Key words: aerial photography, antialiasing, Tichonov's filter, non linear cellular neural networks, restricted stochastic Boltzmann machine.
Akinin Maxim Victorovich, postgraduate, akinin. m. vagmail. com, Russia, Ryazan, Ryazan State Radio Engineering University,
Sokolova Aleksandra Vladimirovna, student, alexandra.sokolova00@mail.ru, Russia, Ryazan, Ryazan State Radio Engineering University,
Nikiforov Michael Borisovich, candidate of technical sciences, docent, nikiforov. m. b@evm. rsreu. ru, Russia, Ryazan, Ryazan State Radio Engineering University
