CC BY
280
Будко Павел Александрович - Военная академия связи им. Маршала Советского Союза С.М. Буденного; e-mail: budko62@mail.ru; 194064, Санкт-Петербург, пр-т Тихорецкий, 3; тел.: 89110109264; д.т.н.; профессор.
Винограденко Алексей Михайлович - e-mail: vinogradenko.a@inbox.ru; тел.: 89818339231; к. т. н.; доцент.
Литвинов Александр Игоревич - e-mail: litvinovaleks@mail.ru; тел.: 89111317379; к.т.н.; зам. начальника отдела научной работы и подготовки научно-педагогических кадров.
Budko Pavel Aleksandrovich - Military academy of communication of Marshall of the Soviet Union S.M. Budenny; e-mail: budko62@mail.ru; 194064, St. Petersburg, Tikhoretsky Ave, 3; phone: +79110109264; dr. of eng. sc.; professor.
Vinogradenko Alexey Mikhaylovich - e-mail: vinogradenko.a@inbox.ru; phone: +79818339231; cand. of eng. sc.; associate professor.
Litvinov Alexander Igorevich - e-mail: litvinovaleks@mail.ru; phone: +79111317379; cand. of eng. sc.; head of scientific work and training of research and educational personnel.
УДК 623.746.-519 + 623.746.174 DOI 10.18522/2311-3103-2017-1-279293
В.А. Бондаренко, Г.Э. Каплинский, С.Н. Крюков, В.А. Павлова, В.А. Тупиков,
П. К. Шульженко
АЛГОРИТМЫ АВТОМАТИЗИРОВАННОГО ВЫБОРА УЧАСТКОВ МЕСТНОСТИ В КАЧЕСТВЕ ПОСАДОЧНЫХ ПЛОЩАДОК, И ОСУЩЕСТВЛЕНИЯ ПОСАДКИ ПИЛОТИРУЕМЫХ И БЕСПИЛОТНЫХ ЛЕТАТЕЛЬНЫХ АППАРАТОВ ПО ДАННЫМ БОРТОВОЙ ОПТИКО-ЭЛЕКТРОННОЙ СИСТЕМЫ
Рассмотрена задача автоматизации выбора посадочных площадок, подходящих для безопасной посадки пилотируемых и беспилотных летательных аппаратов. В первой части статьи представлены метод и алгоритм выбора посадочных площадок, основанные на объединении результатов двухэтапного анализа изображений местности, полученных с бортовой оптической системы. Первый этап алгоритма заключается в построении карты высот местности по набору изображений, получаемых бортовой оптической системой, с использованием стереоскопического эффекта в процессе прямолинейного движения носителя. Приводятся теоретическое обоснование используемого подхода к построению карты высот местности и результаты успешного применения соответствующего алгоритма к реальным изображениям местности. На втором этапе алгоритма выбора посадочных площадок производится текстурный анализ изображения данного участка местности с помощью искусственной нейронной сети встречного распространения. В статье дано краткое описание архитектуры используемой для текстурного анализа искусственной нейронной сети, и приведены результаты текстурного анализа изображения участка местности. Во второй части статьи рассматриваются алгоритм поиска и распознавания искусственно созданного ориентира на изображениях, полученных бортовой оптической системой летательного аппарата, и алгоритм автоматической посадки на ориентир. В результате проведённого исследования авторами была разработана технология создания системы технического зрения, решающей задачи автоматического выбора посадочных площадок для посадки летательного аппарата в незнакомой местности, относительного трёхмерного позиционирования ЛА по изображениям искуственно созданного ориентира и автоматической посадки ЛА на искусственно созданный ориентир. На базе беспилотного летательного аппарата вертолётного типа разработана и представлена летающая лаборатория, снабжённая оптико-электронной системой и системой беспроводной связи, реализующая алгоритм автоматического поиска и распознавания искусственно созданного ориентира на изображениях, получаемых бортовой оптической системой БЛА, и алгоритм автомати-
ческой посадки БЛА на найденный ориентир. В статье приведены результаты полунатурных испытаний данной системы, подтвердившие её полную работоспособность, а также сравнительный анализ предлагаемого метода и подходов к автоматизации посадки, применяемых в существующих системах.
Автоматизация выбора посадочных площадок; автоматическая посадка БЛА; сте-реограмметрия; текстурный анализ; искусственная нейронная сеть.
V.A. Bondarenko, G.E. Kaplinskiy, S.N. Krjukov, V.A. Pavlova, V.A. Tupikov,
P.K. Shulgenko
ALGORITHMS FOR AUTOMATED SELECTION OF THE AREA AS LANDING SITES, AND LANDING OF MANNED AND UNMANNED AERIAL VEHICLES ACCORDING TO THE ONBOARD OPTICAL-ELECTRONIC
SYSTEM
This paper covers the task of landing site selection automation for safe unmanned and manned aerial vehicles landing. In the first part of this paper a method and algorithm for landing site selection are proposed. The method is based on fusion of two stage analysis of aerial images from onboard optical system. First stage of algorithm consists of area height map reconstruction from a set of images taken from onboard optical system with use of stereoscopic effect in the process of straightforward carrier flight. The theoretical basis for the used area height map reconstruction approach is provided so as the results of successful application of the corresponding algorithm to real aerial imagery analysis. At second stage of the automatic landing site selection algorithm the texture analysis of the same area image is performed using the feedforward artificial neural network. A brief description of the artificial neural network architecture used is given and the results of aerial image texture analysis are shown. The second part of a paper describes an algorithm for artificially created reference point detection and recognition on images from onboard optical system of aerial vehicle and an algorithm for automatic landing onto the detected reference point. As a result of conducted research the authors have developed a technology for making a computer vision system that carries the tasks of automatic landing site selection for landing the aerial vehicle at unknown terrain, task of relative three-dimensional positioning of aerial vehicle using the images of artificially created reference point and task of automatic AV landing onto the artificially created reference point. Based on helicopter type unmanned aerial vehicle a flying laboratory is developed and presented, equipped with electro-optical system and wireless communication system. Flying laboratory incorporates the algorithm of automatic search and recognition for artificially created reference point from real time imagery by UAV onboard optical system, and algorithm for automatic UAV landing at the detected reference point. The paper contains the field test results of the proposed system, which show its robustness and efficiency. The comparative analysis of proposed method with the other existing approaches for landing automation is provided.
Landing site selection automation; automatic UAV landing; stereogrammetry; texture analysis; artificial neural network.
Введение. Стремительное развитие беспилотной техники, а также неуклонный рост производительности вычислительных систем, позволяют решать всё больший объём задач технического зрения и автономной навигации. Особую группу составляют задачи посадки беспилотных и пилотируемых летательных аппаратов (ЛА) в незнакомой местности. Данные задачи актуальны как для пилотируемых, так и для беспилотных летательных аппаратов. Так, автоматизация выбора посадочных площадок, подходящих для посадки ЛА, а также автоматизация самой посадки на выбранные участки местности, могут значительно снизить нагрузку на экипаж ЛА, а также расширить область применения беспилотных летательных аппаратов. В данной работе рассматриваются алгоритмы автоматизированного выбора участков местности в качестве посадочных площадок, а также возможность применения этих данных на примере автоматической посадки БЛА вертолетного типа на оборудованный участок местности [4-6].
Постановка задачи. При посадке ЛА на поверхность незнакомой местности важно определить ровные участки открытой земной поверхности с допустимым для посадки уклоном и площадью, чтобы не совершить посадку на склон оврага, лесистую часть местности или водоем. Технология автоматизации посадки пилотируемых и беспилотных ЛА на основе использования изображений местности, формируемых бортовой оптико-электронной системой (ОЭС), включает две основные составляющие:
1. Автоматизация выбора с воздуха подходящих для посадки ЛА площадок, отвечающих определённым требованиям по размеру, рельефу, характеристикам растительности и местных предметов. Обеспечивается на основе анализа рельефа местности с использованием стереоэффекта по последовательности оптических изображений местности, формируемой при движении вертолёта в регионе посадки, а также на основе текстурного анализа этих же изображений.
2. Автоматизация стабилизации положения ЛА вертолётного типа на траектории посадки (взлёта) по координатам в горизонтальной плоскости. Обеспечивается на основе измерения смещений и искажений изображений естественных и искусственных элементов местности, а также оценки текущей высоты висения по элементам изображения с известными размерами.
1. Автоматизация выбора площадок.
Рассмотрим вопросы, связанные с определением рельефа местности (карты высот) по изображениям с использованием теории фотограмметрии, в части стереоэффектов и алгоритмы текстурного анализа для определения типа местности.
1.1. Определение рельефа местности по изображению
1.1.1. Теоретические предпосылки
Определим в трехмерном пространстве ортогональную правую систему координат OXYZ, начало которой совпадает с оптическим центром, ось OZ - с оптической осью камеры. Такая система называется стандартной системой координат регистрирующей камеры в фотограмметрии [1-3]. Фокальная плоскость изображения находится на расстоянии f от оптического центра. В этой плоскости зададим систему координат oxy c началом в главной точке и осями ox и oy, параллельными осям OX и OY соответственно (рис. 1).
Рис. 1. Система координат проективной камеры
Легко убедиться, что в стандартной системе координат проекцией точки трехмерного пространства M c координатами (X, Y, Z) является точка m в фокаль-
, ч А /У
ной плоскости с координатами (х, у), причем х = — у = —.
В фокальной плоскости камеры расположен матричный фотоприемник с размерами элемента w - по горизонтали и h - по вертикали. Естественными координатами для фотоприемника являются номер строки и номер столбца фотоприёмного элемента. Следовательно, в системе координат матрицы координаты точки m можно выразить следующим образом:
где (и0, р0) - координаты главной точки относительно начала координат фотоприемника (левого верхнего угла). В новой системе координаты проекции точки m примут вид:
Рассмотрим ситуацию, когда две камеры, находящиеся в разных точках, регистрируют одну и ту же сцену. Пара изображений, получаемая при этом, называется стереопарой [2, 3]. Пусть одинаковые камеры расположены так, что их оптические оси параллельны, а прямая, проходящая через оптические центры перпендикулярна оптическим осям (эта прямая называется базовой линией, а ее отрезок, заключенный между оптическими центрами - базой) (рис. 2).
Положим длину базы равной Ь. Выберем глобальную систему координат таким образом, чтобы ее начало лежало на базовой линии посередине между оптическими центрами камер, ось OZ параллельна оптическим осям, а ось OX направлена вдоль базовой линии.
Точка М в пространстве объектов имеет глобальные координаты X, Y, 2. Координаты ее проекции в фокальных плоскостях левой и правой камер обозначим через x', у' и x",y" соответственно. Проекции одной и той же точки М в фокальных плоскостях разных камер называются сопряженными точками. Заметим, что в направлении, перпендикулярном направлению базовой линии, координаты сопряженных точек (у-координаты) совпадают.
Очевидно, что зная параметры оптической системы, фокусное расстояние, базу и измерив координаты сопряженных точек - у' и x",y" можно вычислить глубину (координату Z) точки М по формулам:
Рис. 2. Регистрация профиля некоторой поверхности
(1)
х = Ь(*' + х") Ь(у'+у") 2(х' — х")' 2(х'-х"У
Разность сС = х' — х'' называется диспарантностью.
На известном расстоянии Zc расположена поверхность местности, схематически изображенная в виде жирной горизонтальной прямой.
Из (1) следует:
' и
г'
да _ -/ь
Требуемое разрешение для заданной величины минимально регистрируемой амплитуды профиля Д2 для заданного расстояния до плоскости Zc можно определить по формуле:
-/Ь
72
^с
Рассмотрим случай, когда оптические оси регистрирующих камер повернуты в плоскости X0Z на некоторый угол +- а относительно глобальной оси OZ (рис. 3). Положение оптических центров камер совпадает с системой, изображенной на рис. 2. Этот случай подходит для снятия профиля подстилающей поверхности, когда стереопара получается с помощью одной камеры из двух кадров с некоторым интервалом между двумя съемками.
Рис. 3. Левая и правая камеры повернуты соответственно на угол +-а относительно глобальной оси OZ
Этот случай можно интерпретировать как пересчет координат, полученных для системы x'aO'a, в систему, показанную на рис. 2 и обозначенную как x' O'
х' = х'а cos а + f sin а,
х" = x'á cos а + f sin а.
Координаты X, Y, Z можно вычислить для произвольного ориентирования двух камер относительно регистрируемой сцены (рис. 4). Введем для каждой камеры свою стандартную систему координат, когда первой камере соответствует система координат O'X'Y'Z', а второй система координат O"X"Y"Z"
Введем следующие обозначения:
M' = (X', Y', Z') - трехмерные координаты точки М в системе первой камеры; M" = (X",Y", Z")' - трехмерные координаты точки М в системе второй камеры; R' - матрица размерности 3х3 направляющих косинусов системы координат O'X'Y'Z' относительно глобальной системы координат. (Поворот камеры относительно глобальной системы); R" - матрица размерности 3х3 направляющих косинусов системы координат O"X"Y"Z" относительно глобальной системы коорди-
нат; 1'- трехмерный вектор смещения начала координат глобальной системы координат относительно начала координат первой камеры; 1"- трехмерный вектор смещения начала координат глобальной системы координат относительно начала координат второй камеры.
Матрица Я и вектор 1 являются внешними параметрами системы регистрации.
M(X,Y,Z)
Рис. 1.4. Система двух произвольно ориентированных камер
Матрица внутренних параметров камеры имеет вид:
/f/w 0 щ\ Л = ( 0 f/h Volvo 0 1 /
V = (u, v, 1)' - вектор внутренних координат камеры.
Переход из глобальной системы координат к системам первой и второй камер осуществляется с помощью преобразований:
M'=R'M + t'; M"=R"M + t"; M"=RM' + t, (2)
где R=R'R" - ортогональная матрица, описывающая разворот второй камеры относительно первой, а t = -R"R'Tt'+t" - вектор трансляции, определяющий положение оптического центра второй камеры в системе координат первой.
Используя (2), можно получить следующее соотношение, связывающее координаты сопряженных точек (в координатах фотоприемника):
Z"A-12v" = Z'RA-V' +t; где v'=AtM'/Z', v"=A2M"/Z". (3)
С помощью системы уравнений, определяемой (3) и зная внутренние параметры камер A-\, A-12 и их взаимную ориентацию R и t по регистрируемым внутренним координатам камер- v' и v", можно рассчитать координаты Z' и Z" для каждой камеры.
1.1.2. Алгоритм определения рельефа местности
Таким образом, для определения рельефа местности с использованием стереоэффекта необходимо иметь два изображения одного и того же участка местности, полученных с разных точек наблюдения ОЭС. По этим изображениям необходимо найти точки на каждом изображении, соответствующие одним и тем же точкам рельефа местности. Назовем их точками соответствия. В этих точках определяются относительные смещения, в которых содержится информация о высоте рельефа.
Алгоритм определения рельефа местности:
Пусть имеются два изображения одного и того же участка местности, полученные в разное время t1 и t2 при прямолинейном движении ЛА вертолетного типа по оси Y со скоростью V.
1. Два анализируемых изображения совмещаются друг относительно друга, при смещении второго изображения на величину пропорционально V(t2 - t1) вдоль оси X.
2. Первое изображение разбивается прямоугольной сеткой, параметры которой определяют необходимое разрешение по высоте.
3. С помощью сдвига каждого прямоугольника второго изображения относительно первого, определяется величина сдвига по оси X, при которой коэффициент корреляции достигает максимального значения для этого прямоугольника сетки изображения.
4. Создается третье изображение, на котором яркость каждого прямоугольника сетки равна величине Ъ + к сС хгде сСх ^ смещение по оси X для j-ячейки сетки, а k - коэффициент пропорциональности.
5. Сформированное высотное изображение сглаживается. В данном высотном изображении интенсивность каждого пикселя пропорциональна высоте рельефа в данной точке.
Если знать абсолютную высоту в двух точках изображения, можно представить карту высот местности в реальном масштабе. При угле зрения 30 градусов, при высоте полета 800м и скорости полета 50 м/сек были получены два изображения при секундном интервале времени одного из участков местности, имеющего 40 метровый перепад по высоте (рис. 5).
Рис. 5. Первое и второе изображение
При совмещении двух изображений и при размерах сетки с ячейками 50х30 пикселей, получено третье изображение, где интенсивность пропорциональна сдвигу ячеек, в которых коэффициент корреляции максимален, и соответственно пропорциональна высоте местности (рис. 6).
Рис. 6 Изображение, где интенсивность пропорциональна высоте местности
На рис. 7 представлены изображения 3Б сцены участка местности и карты высот при определении рельефа местности по описанному ранее алгоритму.
Рис. 7 3D сцена и карта высот с рельефом
На основании полученных карт высот могут быть отобраны участки местности с допустимыми для посадки уклонами (от 2,5 до 12 градусов в зависимости от типа вертолёта, режима двигателей, состояния поверхности и направления захода на уклон).
1.2. Текстурный анализ местности
Рассмотрим алгоритм текстурного анализа RGB изображения с использованием варианта нейронных сетей встречного распространения - самоорганизующейся карты Кохонена [9].
В своей простейшей форме слой Кохонена функционирует по принципу «победитель забирает все», т. е. для данного входного вектора один и только один нейрон Кохонена выдает на выходе логическую единицу, все остальные выдают ноль.
Ассоциированное с каждым нейроном Кохонена множество весов соединяет его с каждым входом. Например, на рис. 8 нейрон Кохонена К имеет веса wu, w2b ..., wmb составляющие весовой вектор Wb Они соединяются через входной слой с входными сигналами хь x2, ..., xm, составляющими входной вектор X. Подобно нейронам большинства сетей выход NET каждого нейрона Кохонена является просто суммой взвешенных входов. Это может быть выражено следующим образом:
NETj=y x, w,j,
где NETj - это выход NET нейрона Кохонена j, или в векторной записи:
N = XW,
где N - вектор выходов NET слоя Кохонена.
Нейрон Кохонена с максимальным значением NET является «победителем». Его выход равен нулю.
Рис. 8. Сеть с встречным распознаванием без обратных связей
С помощью алгоритма нейрона Кохонена, одно из изображений (рис. 5) было разбито на две области, область содержащие деревья и область без деревьев (рис. 9).
Рис. 9. Область, покрытая деревьями, отмечена зеленым цветом
По полученным данным можно также определить соответствие размеров площадок без мешающих посадке объектов необходимым размерам площадок по требованиям ФАП (от 50х50(80)м2 для одиночных вертолётов до 120(310)х400(550)м2 для звена (отряда) вертолётов различного типа).
Если объединить результаты определения рельефа и текстурного анализа, то можно выделить искомые благоприятные области местности для посадки ЛА. Пример показан на рис. 10, где эти области отмечены зеленым и красным цветами (красная и зелёная области находятся на различном по высоте уровне друг относительно друга).
Рис. 10. Области местности, благоприятные для посадки ЛА
2. Автоматизация стабилизации положения
Изображение, полученное ОЭС на борту БЛА, может использоваться для стабилизации положения БЛА по следующим параметрам:
♦ по смещениям по координатам в горизонтальной плоскости;
♦ по высоте висения над поверхностью земли.
Стабилизацию в процессе взлёта и посадки БЛА возможно осуществлять как при помощи контроля с земли, так и в полностью автономном режиме. В случае, когда БЛА контролируется с наземной стации, необходим непрерывный канал связи для управления. Такой вариант обладает рядом недостатков, таких как низкая помехоустойчивость, невысокая скорость реакции системы, а также возможность обнаружения канала связи третьими лицами. В свою очередь, автономный способ управления лишен этих недостатков.
Автоматическое обнаружение и распознавание маркера в ОЭС может производиться в ТВ канале в процессе взлёта и посадки БЛА для определения относительных координат и высоты БЛА. Далее предложен вариант алгоритма работы ОЭС в контуре управления БЛА.
Для обеспечения автоматического обнаружения, распознавания и сопровождения маркера в процессе взлёта и посадки БЛА в ОЭС предлагается использовать алгоритм распознавания, основанный на геометрических особенностях маркера [12, 13], а также применении искусственных нейронных сетей.
Такой подход к задачам распознавания имеет ряд преимуществ:
♦ формирование геометрического описания маркера, а также поиск его на изображении являются менее ресурсоемкими процессами и, следовательно, требуют меньше вычислительных ресурсов для выполнения;
♦ данный подход позволяет минимизировать влияние деталей изображения фоноцелевой обстановки на результат распознавания;
♦ малая зависимость вероятности правильного распознавания от масштаба, поворота и наклона БЛА.
♦ высокая точность распознавания маркера, находящегося в поле зрения ОЭС.
Для верной работы алгоритма необходимо четко определить границы всех объектов. Таким образом, решаюшую роль в построении описания изображения играют используемые методы предварительной обработки изображения [1, 11, 16]. Точное определение "структуры" изображения является необходимым для успешного применения метода. В данной статье рассматриваются возможности поиска маркера с использованием его геометрических характеристик, а также применение искусственных нейронных сетей. В процессе посадки маркер находится в поле зрения ОЭС БЛА. Главная задача состоит в определении координат БЛА, которое выполняется путем обработки изображения, полученного с ОЭС .
Рис. 11 Общий вид маркера
Решение данной задачи можно разделить на два этапа. На первом этапе реализуется алгоритм поиска маркера (рис. 11). На втором этапе осуществляется использование найденных координат искусственно созданного ориентира (маркера) в процессе посадки для определения координат и ориентации БЛА.
2.1. Алгоритм поиска маркера
Данный алгоритм содержит следующие операции:
♦ - устранение геометрических искажений;
♦ - бинаризация изображения;
♦ - выделение отдельных объектов на бинаризованном изображении;
♦ - отбор кандидатов маркера;
♦ - распознавание маркера с помощью искусственной нейронной сети.
2.1.1. Устранение геометрических искажений.
Источником изображения является ТВ (ТПВ) камера. Современные камеры описываются с помощью модели, называемой проективной камерой (projective camera) [2].
2.1.2. Бинаризация изображения.
Изображение, полученное с камеры, обрабатывается в несколько этапов. Первый - переход от цветного изображения (в случае ТВ-канала ОЭС) к полутоновому, для уменьшения времени обработки. Второй - избавление от шума. Третий - бинаризация методом Бредли [8, 14, 15, 18].
2.1.3. Поиск маркера на бинаризованном изображении, отбор кандидатов.
После обработки, на бинаризованном изображении производится поиск всех
объектов с заданными параметрами. Для выделения объектов применяется алгоритм выделения и разметки по связности [19].
2.1.4. Отбор кандидатов маркера.
Отбор кандидатов производится по следующим параметрам:
а) Площадь;
б) Расположение центра масс объекта;
в) Соотношение сторон описывающего прямоугольника;
г) Особые геометрические признаки маркера [10, 17].
2.1.5. Распознавание маркера с помощью искусственно нейронной сети.
Для достоверного распознавания маркера применяется искусственная нейронная сеть встречного распространения [20, 21], обученная на большой выборке изображений маркера (более 50000 тренировочных примеров, полученных в ходе полунатурных испытаний). Результаты распознавания маркера показаны на рис. 12.
Рис. 12. Результаты распознавания маркера при помощи искусственной
нейронной сети
2.2. Определение и использование координат искусственно созданного ориентира (маркера) в процессе посадки
При известном расположении маркера на изображении, а также известных высоте БЛА и угле наклона оптической оси ОЭС относительно вертикали, однозначно определяется положение БЛА относительно маркера [7].
Для апробации результатов работы алгоритма была создана и использована летающая лаборатория, реализованная на базе квадрокоптера. Принципиальная схема управления, а также внешний вид летающей лаборатории представлены на рис. 13 и 14 соответственно.
станцию
Рис. 13. Принципиальна схема управления квадрокоптера
Рис. 14 Летающая лаборатория, реализованная на базе квадрокоптера
Были проведены лабораторные и полунатурные испытания. На рис. 15 показаны примеры зафиксированных этапов испытаний:
а. отработка системы в лаборатории АО НПП "АМЭ";
б. полунатурные испытания системы, момент захвата маркера, съемки с ОЭС летающей лаборатории;
в. полунатурные испытания системы, внешний вид летающей лаборатории;
г. полунатурные испытания системы, съемки с ОЭС летающей лаборатории в процессе автоматической посадки на маркер.
В результате работы алгоритма получены координаты БЛА относительно центра маркера, которые использовались в процессе посадки для корректировки положения БЛА в горизонтальной плоскости. Алгоритм также позволяет определять значение высоты БЛА по размерам маркера, с точностью до единиц процентов от текущей высоты. Достоинством алгоритма является то, что на результат распознавания маркера не влияет масштаб изображения и ориентация БЛА в пространстве. Данный алгоритм обработки изображения показал высокую скорость и точность работы при выполнении данной задачи. Система на базе БЛА вертолётного типа, реализующая данные алгоритмы, показала полную работоспособность в ходе полунатурных испытаний.
Рис. 15. Испытания системы
Выводы. В настоящий момент отсутствуют серийные системы, позволяющие автономно осуществлять автоматический выбор посадочных площадок для посадки летательного аппарата в незнакомой местности. Существующие системы автоматической посадки основаны на использовании глобальной системы позиционирования GPS (Schiebel, Австрия), систем радиопеленгации (Fire Scout, США), либо иных внешних систем трёхмерного позиционирования, требующих специально оборудованной посадочной площадки.
Авторами разработана технология создания системы технического зрения, решающей задачи автоматического выбора посадочных площадок для посадки летательного аппарата в незнакомой местности, относительного трёхмерного позиционирования ЛА по изображениям искуственно созданного ориентира и автоматической посадки ЛА на искусственно созданный ориентир.
Представленный алгоритмический комплекс позволяет осуществлять автоматический выбор подходящих для посадки площадок как на оборудованной, так и на необорудованной местности, по данным только с оптической системы ЛА. В отличие от систем позиционирования GPS, подверженных влиянию помех и имеющих относительно низкую частоту обновления (1-10 Гц), предложенная система техниеского зрения позволяет производить обновление данных позиционирования с кадровой частотой оптической системы (25-50 Гц), является пассивной и не зависит от внешних активных систем позиционирования и управления.
На базе беспилотного летательного аппарата вертолётного типа разработана и представлена система, реализующая алгоритм автоматического поиска искусственно созданного ориентира на изображениях, получаемых с бортовой оптической системы БЛА и алгоритм автоматической посадки БЛА на ориентир и показавшая полную работоспособность предложенного подхода.
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Грузман И.С., Киричук В.С., Косых В.П., Перетягин Г.И., Спектор А.А. Цифровая обработка изображений в информационных системах: учебное пособие. - Новосибирск: Изд-во НГТУ, 2002. - 352 с.
2. Tsai R.Y. A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off-the-shelf TV cameras and lenses // IEEE Journal of Robotics and Automation RA-3(4). - 1987. - P. 323-344.
3. Duda R., Hart P. Pattern Classification and Scene Analysis // John Wiley and Sons. - 1973.
- P. 271-272.
4. Garcia-Padro P. J., Sukhatme G.S., Montgomery J.F. Towards vision-based safe landing for an autonomous helicopter // Robotics and Autonomous Systems, 2000.
5. Hermansson J, Gising A, Skoglund M, Schön. Autonomous Landing of an Unmanned Aerial Vehicle, Technical Report, Automatic Control, Linkopings Universitet, Sweden, 2010.
6. Merz T., Duranti S., Conte G. Autonomous landing of an unmanned helicopter based on vision and inertial sensing // Experimental Robotics IX, Springer Tracts in Advanced Robotics.
- 2006. - Vol. 21. - P. 343-352.
7. Тупиков В.А., Павлова В.А., Каплинский Г.Э., Крюков С.Н. Алгоритм автоматической посадки беспилотного летательного аппарата вертолетного типа с использованием бортовой оптико-электронной системы // Известия ТулГУ. Технические науки. - 2016.
- № 11-3. - С. 86-95.
8. Bradley D., Roth G. Adaptive Threshholding Using Integral Image // Journal of Graphics Tools. - Vol. 12, Issue 2. - P. 13-21.2007. NRC 48816.
9. Fukushima K., Miyake S. Neocognitron: A new algorithm for pattern recognition tolerant of deformations and shifts in position // Pattern recognition. - 1982. - No. 15 (6). - P. 455-69.
10. Фурман Я.А., Юрьев А.Н., Яншин В.В. Цифровые методы обработки и распознавания бинарных изображений. - Красноярск: Изд-во Красноярского университета, 1992. - 248 с.
11. Красильников Н.Н. Цифровая обработка 2D- и 3D-изображений: учеб. пособие. - СПб.: БХВ-Петербург, 2011. - 608 с.
12. Баклицкий В.К. Корреляционно-экстремальные методы навигации и наведения. - Тверь: ТО «Книжный клуб», 2009. - 360 с.
13. Алпатов Б.А., Бабаян П.В., Балашов О.Е., Степашкин А.И. Методы автоматического обнаружения и сопровождения объектов. Обработка изображений и управление. - М.: Радиотехника, 2008. - 176 с.
14. Shafait F., Keysers D., Breuel T.M. Efficient implementation of local adaptive thresholding techniques using integral images. Proc. SPIE vol. 6815, Document Recognition and Retrieval XV, 2008.
15. Sauvola J., Pietikainen M. Adaptive document image binarization // Pattern Recognition.
- 2000. - № 33. - P. 225-236.
16. GonzalezR.C., WoodsR.E. Digital Image Processing. - 2nd edition, Prentice-Hall, 2002. - 793 p.
17. Hu M.K. Visual Pattern Recognition by Moment Invariants // IRE Trans. Info. Theory. - 1962.
- Vol. IT-8. - P. 179-187.
18. Crow F. Summed-area tables for texture mapping // In Proceedings of SIGGRAPH. - 1984.
- Vol. 18 (3). - P. 207-212.
19. Abubaker A., Qahwaji R., Ipson S., Saleh M. One Scan Connected Component Labeling Technique // Signal Processing and Communications. - 2007. - P. 1283-1286.
20. Schmidt W.F., Kraaijveld M.A., Duin R.P.W. Feedforward neural networks with random weights // Proc. of 11 th IAPR International Conference on Pattern Recognition Conference B: Pattern Recognition Methodology and Systems. - 1992. - Vol. II. - P. 1-4.
21. Yichuan Tang, Ruslan Salakhutdinov. Learning stochastic feedforward neural networks // Proceedings of the 26th International Conference on Neural Information Processing Systems. 2013. - P. 530-538.
REFERENCES
1. Gruzman I.S., Kirichuk V.S., Kosykh V.P., Peretyagin G.I., Spektor A.A. Tsifrovaya obrabotka izobrazheniy v informatsionnykh sistemakh: uchebnoe posobie [Digital image processing in information systems: a tutorial]. Novosibirsk: Izd-vo NGTU, 2002, 352 p.
2. Tsai R.Y. A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off-the-shelf TV cameras and lenses, IEEE Journal of Robotics and Automation RA-3(4), 1987, pp. 323-344.
3. Duda R., Hart P. Pattern Classification and Scene Analysis, John Wiley and Sons, 1973, pp. 271-272.
4. Garcia-Padro P. J., Sukhatme G.S., Montgomery J.F. Towards vision-based safe landing for an autonomous helicopter. Robotics and Autonomous Systems, 2000.
5. Hermansson J, Gising A, Skoglund M, Schön. Autonomous Landing of an Unmanned Aerial Vehicle, Technical Report, Automatic Control, Linkopings Universitet, Sweden, 2010.
6. Merz T., Duranti S., Conte G. Autonomous landing of an unmanned helicopter based on vision and inertial sensing, Experimental Robotics IX, Springer Tracts in Advanced Robotics, 2006, Vol. 21, pp. 343-352.
7. Tupikov V.A., Pavlova V.A., Kaplinskiy G.E., Kryukov S.N. Algoritm avtomaticheskoy posadki bespilotnogo letatel'nogo apparata vertoletnogo tipa s ispol'zovaniem bor-tovoy optiko-elektronnoy sistemy [The algorithm of automatic landing unmanned aerial vehicle helicopter-type using on-Board optical-electronic systems ], Izvestiya TulGU. Tekhnicheskie nauki [Izvestiya of the Tula state University. Engineering science], 2016, No. 11-3, pp. 86-95.
8. Bradley D., Roth G. Adaptive Threshholding Using Integral Image, Journal of Graphics Tools, Vol. 12, Issue 2, pp. 13-21.2007. NRC 48816.
9. Fukushima K., Miyake S. Neocognitron: A new algorithm for pattern recognition tolerant of deformations and shifts in position, Pattern recognition, 1982, No. 15 (6), pp. 455-69.
10. Furman Ya.A., Yur'ev A.N., Yanshin V.V. Tsifrovye metody obrabotki i raspoznavaniya binarnykh izobrazheniy [Digital methods of processing and recognition of binary images]. Krasnoyarsk: Izd-vo Krasnoyarskogo universiteta, 1992, 248 p.
11. Krasil'nikov N.N. Tsifrovaya obrabotka 2D- i 3D-izobrazheniy: ucheb. posobie [Digital processing of 2D and 3D images: a tutorial]. St. Petersburg: BKhV-Peterburg, 2011, 608 p.
12. Baklitskiy V.K. Korrelyatsionno-ekstremal'nye metody navigatsii i navedeniya [Correlation-extreme methods of navigation and guidance]. Tver': TO «Knizhnyy klub», 2009, 360 p.
13. Alpatov B.A., Babayan P.V., Balashov O.E., Stepashkin A.I. Metody avtomaticheskogo obnaruzheniya i soprovozhdeniya ob"ektov. Obrabotka izobrazheniy i upravlenie [Methods for the automatic detection and tracking of objects. Image processing and management]. Moscow: Radiotekhnika, 2008, 176 p.
14. Shafait F., Keysers D., Breuel T.M. Efficient implementation of local adaptive thresholding techniques using integral images. Proc. SPIE vol. 6815, Document Recognition and Retrieval XV, 2008.
15. Sauvola J., Pietikainen M. Adaptive document image binarization, Pattern Recognition, 2000, No. 33, pp. 225-236.
16. GonzalezR.C., WoodsR.E. Digital Image Processing. 2nd edition, Prentice-Hall, 2002, 793 p.
17. Hu M.K. Visual Pattern Recognition by Moment Invariants, IRE Trans. Info. Theory, 1962, Vol. IT-8, pp. 179-187.
18. Crow F. Summed-area tables for texture mapping, In Proceedings of SIGGRAPH, 1984, Vol. 18 (3), pp. 207-212.
19. Abubaker A., Qahwaji R., Ipson S., Saleh M. One Scan Connected Component Labeling Technique, Signal Processing and Communications, 2007, pp. 1283-1286.
20. Schmidt W.F., Kraaijveld M.A., Duin R.P.W. Feedforward neural networks with random weights, Proc. of 11 th IAPR International Conference on Pattern Recognition Conference B: Pattern Recognition Methodology and Systems, 1992, Vol. II, pp. 1-4.
21. Yichuan Tang, Ruslan Salakhutdinov. Learning stochastic feedforward neural networks, Proceedings of the 26th International Conference on Neural Information Processing Systems, 2013, pp. 530-538.
Статью рекомендовал к опубликованию к.в.н. А.Д. Барабанов.
Тупиков Владимир Алексеевич - ОАО «Научно - производственное предприятие «Авиационная и морская электроника»; e-mail: tupikov@nppame.ru; 198097, г. Санкт-Петербург, ул. Маршала Говорова, 29, лит. «О», а/я 51; тел.: 88123274667; д.т.н.; профессор; зам. генерального директора, Директор научно-производственного комплекса робототехнических систем специального назначения.
Павлова Валерия Анатольевна - e-mail: pavlova@nppame.ru; к.т.н.; зам. Директора научно-производственного комплекса робототехнических систем специального назначения по НИОКР; Директор Центра средств интеллектуальной обработки изображений в РТС СН.
Каплинский Глеб Эдуардович - e-mail: glebqq@gmail.com; научный сотрудник центра средств интеллектуальной обработки изображений в РТС СН.
Крюков Сергей Николаевич - e-mail: SKrjukov@mail.ru; к.т.н.; в.н.с. Центра средств интеллектуальной обработки изображений в робототехнических системах специального назначения.
Бондаренко Владимир Александрович - e-mail: shockus@gmail.com; зам. начальника центра средств интеллектуальной обработки изображений в РТС СН.
Шульженко Пётр Константинович - e-mail: shulgenkopk@mail.ru; к.т.н.; в.н.с. Центра средств интеллектуальной обработки изображений в РТС СН.
Tupikov Vladimir Alekseevich - OJSC "Research and Production Enterprise "Aviation and Marine Electronics"; e-mail: tupikov@nppame.ru; Russia, 198097, Saint Petersburg, str. Marshal Govorov, 29, lit. "O", P.O.B 51; phone: +78123274667; dr. of eng. sc.; professor; Deputy Director General, Director of research - industrial complex robotic systems special purpose.
Pavlova Valeria Anatolyevna - e-mail: pavlova@nppame.ru; cand. of eng. sc.; Deputy Director of research - industrial complex robotic systems special purpose R&D, Director Center Intellectual image processing tools in RTS SP.
Kaplinskiy Gleb Eduardovich - e-mail: glebqq@gmail.com; Researcher Center Intellectual image processing tools in RTS SP.
Krjukov Sergey Nikolaevich - e-mail: SKrjukov@mail.ru; cand. of eng. sc.; Lead researcher Center Intellectual image processing tools in RTS SP.
Bondarenko Vladimir Alexandrovich - e-mail: shockus@gmail.com; Deputy director of intellectual image processing tools center in RSSP.
Shulgenko Petr Konstantinovich - e-mail: shulgenkopk@mail.ru; cand. of eng. sc.; Lead researcher Center Intellectual image processing tools in RTS SP.
