CC BY
109
УДК 004.896: 004.932.72'1
В.А. Бондаренко, Г.Э. Каплинский, В.А. Павлова, В.А. Тупиков
АЛГОРИТМИЧЕСКОЕ ОБЕСПЕЧЕНИЕ ОПТИКО-ЭЛЕКТРОННЫХ СИСТЕМ КОМПЛЕКСА ЗАЩИТЫ ОБЪЕКТОВ ОТ БЕСПИЛОТНЫХ ЛЕТАТЕЛЬНЫХ АППАРАТОВ
Рассматриваются подходы к разработке алгоритмического обеспечения оптико-электронных систем в части технического зрения. Целью исследования являются расширение области применения и повышение эффективности оптико-электронных систем в задачах защиты закрытых территорий от несанкционированного проникновения беспилотных летательных аппаратов (БЛА). Для решения задач автоматического обнаружения, распознавания и автосопровождения БЛА разработана комбинированная оптико-электронная система, включающая широкопольную (панорамную) и узкопольную подсистемы оптико-электронного мониторинга. Рассматриваемая система входит в состав специализированного комплекса средств защиты закрытых зон пространства охраняемых объектов, включающего в себя также средства радиоэлектронного мониторинга, радиоэлектронного противодействия и автоматизированное рабочее место оператора. Подробно рассмотрено поэтапное решение основных задач обработки изображений и распознавания объектов на изображениях. Из состава алгоритмического обеспечения широко-польной подсистемы оптико-электронного мониторинга рассматриваются алгоритм устранения оптических искажений, возникающих ввиду использования широкоугольных объективов, и алгоритм автоматического обнаружения объектов на панорамном изображении. Задача автоматического обнаружения объектов разбивается на два этапа. На первом этапе определяется разница между текущим панорамным изображением и панорамным изображением фоновой обстановки, которое формируется путём накопления панорамных изображений. На втором этапе алгоритма обнаружения для фильтрации и отслеживания подозрительных зон, определяемых на предыдущем этапе, применён авторский алгоритм автоматического сопровождения. Данная комбинация алгоритмов позволяет обнаружить и произвести первичную селекцию подозрительных объектов, угловые координаты которых передаются на узкопольную подсистему оптико-электронного мониторинга для дальнейшего анализа. В рамках комплекса алгоритмического обеспечения уз-копольной подсистемы оптико-электронного мониторинга рассмотрено решение задач автоматического обнаружения, распознавания и автосопровождения объектов. Описан алгоритм мультиспектрального комплексирования телевизионных и тепловизионных изображений. Для решения задачи автоматического распознавания БЛА предложено использовать свёрточную искусственную нейронную сеть. Выбранная архитектура искусственной нейронной сети показала высокую точность классификации и скорость работы. Разработанное алгоритмическое обеспечение опробовано в составе оптико-электронных систем комплекса защиты объектов от беспилотных летательных аппаратов и продемонстрировало высокую эффективность.
Оптико-электронные системы; алгоритм; обработка изображений; автоматическое обнаружение объектов; автосопровождение; распознавание объектов; искусственная нейронная сеть.
V.A. Bondarenko, G.E. Kaplinskiy, V.A. Pavlova, V.A. Tupikov
ALGORITHMS FOR ELECTRO-OPTICAL SYSTEMS OF THE COMPLEX FOR PROTECTION THE RESTRICTED AREAS FROM UNMANNED AERIAL
VEHICLES
This article considers approaches to the development of computer vision algorithms for electro-optical systems. The aim of the study is to expand the scope and improve the effectiveness of electro-optical systems in tasks of protecting the closed areas from unauthorized intrusion of unmanned aerial vehicles (UAV). To solve the problems of automatic detection, recognition and
auto-tracking of the UAV, a combined optoelectronic system including a wide-field (panoramic) and a narrow-field subsystem of optical-electronic monitoring was developed. The proposed system is a part of specialized complex of means for protection of closed areas, including the means of radio-electronic monitoring, radio-electronic counteraction and operator's automated workspace. A step-by-step solution of the main image processing and object recognition tasks is considered in detail. From the framework of algorithms of the wide-field subsystem of electro-optical monitoring, an algorithm for reducing optical distortions from the use of wide-angle lenses and an algorithm for automatic object detection in a panoramic image are considered. The task of automatic object detection is divided into two stages. At the first stage, the difference between the current panoramic image and the panoramic image of the background situation is determined, which is formed by the accumulation of panoramic images. At the second stage of the detection algorithm, the author's algorithm for auto-tracking is used to filter and track suspicious zones, determined at the previous stage. This combination of algorithms makes it possible to detect and perform a primary selection of suspicious objects whose angular coordinates are transmitted to a narrow-field electro-optical monitoring subsystem for further analysis. Within the framework of algorithms of a narrow-field subsystem of electro-optical monitoring, the solution ofproblems of automatic detection, recognition and auto-tracking of objects is considered. The algorithm of multispectral fusion of television and thermal imaging images is described. To solve the problem of automatic recognition of the UAV, it was suggested to use a convolutional artificial neural network. The selected architecture of the artificial neural network showed high classification accuracy and speed of operation. The developed algorithmic framework was tested in the electro-optical systems of the complex ofprotection of objects from unmanned aerial vehicles and demonstrated high efficiency.
Electro-optical systems; algorithm; image processing; automatic object detection; auto-tracking; object recognition; artificial neural network.
Введение. Стремительное развитие технологий беспилотной авиации значительно повысило автономность, дальность действия и спектр решаемых беспилотными летательными аппаратами (БЛА) задач. При этом стоимость БЛА, а также необходимый минимум знаний и навыков для их применения, неуклонно уменьшаются. Современные БЛА способны автономно выполнять сложные задачи без непосредственного участия оператора. Грузоподъемность даже кустарно выполненных БЛА позволяет вооружать их как малоразмерными боеприпасами, так и разнообразной разведывательной аппаратурой. В связи с этим особенно остро встает вопрос защиты важных объектов от несанкционированного проникновения БЛА [1]. При этом малый размер, высокая маневренность и автономность БЛА создают необходимость в разработке сложных многоступенчатых автоматических комплексов обнаружения, распознавания и подавления бортовых систем БЛА.
АО НПП "АМЭ" совместно с ООО "СТЦ" разработан программно--аппаратный комплекс наземного базирования для защиты объектов от БЛА, включающий:
♦ радиопеленгатор и аппаратуру анализа радиосигналов;
♦ комбинированную оптико-электронную систему (КОЭС) в составе широ-копольной панорамной (ОЭС ШП) и узкопольной подсистем (ОЭС УП) оптико-электронного мониторинга;
♦ аппаратуру формирования и постановки помех каналам управления, передачи видеоинформации и спутниковой навигации;
♦ АРМ оператора.
Система радиопеленгации осуществляет обнаружение сигналов потенциальных объектов-нарушителей охраняемой зоны, пеленгование обнаруженных источников радиоизлучений и их пространственную селекцию на дальних подступах к охраняемому объекту (на дальности до 2 км).
Комбинированная оптико-электронная система переназначена для автоматического обнаружения, селекции, распознавания и автосопровождения объектов. Система выполняет обнаружение и селекцию как автономно, так и по пеленгу от системы радиопеленгации, дальность обнаружения БЛА составляет от 200 до 500 м (в зависимости от размеров БЛА).
ОЭС ШП при обнаружении несанкционированных ЛО в охраняемой зоне система передает угловые координаты всех обнаруженных объектов ОЭС УП автоматического обнаружения, распознавания и сопровождения. Внешний вид комбинированной оптико-электронной системы представлен на рис. 1.
Рис. 1. Конструктивное исполнение элементов КОЭС
ОЭС УП предназначена для автоматического обнаружения, распознавания и сопровождения объектов. ОЭС УП принимает пеленги от системы радиопеленгации и угловые координаты от ОЭС ШП, производит поиск объектов по предоставленным пеленгам, их автоматическое распознавание и, в случае классификации объекта как БЛА, переходит в режим автоматического сопровождения. Характеристики системы представлены в табл. 1.
Таблица 1
Характеристики системы ближнего автоматического теле-тепловизионного обнаружения, распознавания и сопровождения в изменяемом поле зрения
Максимальная дальность обнаружения малоразмерного БЛА 500 метров
Максимальная скорость разворота 60 град/с
СКО измерения угловых координат Не более 1 угл. мин
Каналы Телевизионный, тепловизионный
Алгоритмическое обеспечение ОЭС ШП.
Алгоритм формирования панорамного изображения. Данный алгоритм осуществляет совмещение изображений, получаемых от камер кругового обзора в единое бесшовное панорамное изображение, и состоит из нескольких этапов:
♦ устранение дисторсий на получаемых с камер изображениях;
♦ автоматическая коррекция яркости и контраста изображений;
♦ объединение исправленных изображений в единое панорамное изображение. Для устранения дисторсий используется стандартная модель аппроксимации
радиальной дисторсии, описываемая выражением
(х — ХЛ , ч /X - Хс\
Ку-УУ1 ^(У-Ус) , (1)
где (х,у) - координаты искажённой точки изображения [ (х,у) - координаты исправленной точки изображения; (хс, ус) - центр модели дисторсии фотоприёмника, обычно расположенный в центре изображения. Дистанция от каждой точки изображения до центра модели радиальной дисторсии фотоприёмника определяется по формуле
г = ^ (х-хс)2 - (у-ус)2.
L(r) - функция, определяющая форму дисторсий в применяемой модели, обычно аппроксимируется рядом Тейлора как
I (г) = к0 + кгг + к2г2 + к3г3 + . . . ,
где набор определяет параметры дисторсии. Точность модели
определяется числом N используемых членов аппроксимирующего ряда.
Для определения параметров модели к (калибровки) используется общепринятый подход [2, 3], в основе которого лежит наложение требований на проекции трёхмерных линий, которые должны быть прямыми линиями на изображениях.
Калибровка выполняется один раз для данной оптической системы, после чего одни и те же калибровочные параметры используются для устранения дистор-сий на каждом изображении, поступающем с откалиброванного фотоприёмника. После определения параметров модели дисторсии выражение (1) применяется для формирования исправленного изображения.
Для всех исправленных изображений выполняется эквализация их гистограмм [4], а также применяются другие алгоритмы улучшения изображений в случае необходимости, после из них формируется результирующее панорамное изображение.
Алгоритм автоматического обнаружения объектов на панорамном изображении. Для автоматического обнаружения малоразмерных объектов на панораме, формируемой со стационарно установленной оптико-электронной системы, разработан комплексный двухэтапный алгоритм.
На первом этапе алгоритма производится вычитание усреднённого панорамного изображения фоноцелевой обстановки из текущего панорамного изображения. По результатам вычитания формируется бинарное разностное изображение, на котором нули означают фон, а единицы - подозрительные на объект зоны.
Усреднённое панорамное изображение формируется по следующей формуле:
Ь д I = Ь д1 _ 1 *Л + 1т 1*( 1- А) , где - усреднённое панорамное изображение на текущем кадре; - усред-
нённое панорамное изображение на предыдущем кадре; - текущее панорамное изображение, а устанавливает время накопления фона, что в свою очередь влияет на соотношение (точность обнаружения) / (число ложных срабатываний).
Абсолютная разность между текущим панорамным изображением и усреднённым панорамным изображением определяется как
й = \ Ь д1-1т1 \ .
Абсолютная разность вычисляется для каждого пикселя панорамного изображения и если полученная разница выше порогового значения, , то в результирующее бинарное изображение записывается единица, иначе - ноль.
Для определения порогового значения вычисляется средняя абсолютная разность между текущим панорамным изображением и усреднённым панорамным изображением:
Ь=М,]=И 1=0,_/'=0
где М - ширина изображения; N - высота изображения; йу - модуль абсолютной разности между текущим панорамным изображением и усреднённым панорамным изображением в точке (¿,у) .
Таким образом, порог минимальной абсолютной разности можно определить как
£ = йауд *
где - корректирующий коэффициент, определяемый на этапе настройки системы.
Полученное разностное бинарное изображение, после обработки с помощью морфологических операций [5], является входными данными для второго этапа алгоритма.
На втором этапе применяется алгоритм автоматического обнаружения целей, подробно описанный в [6]. Данный алгоритм обнаружения целей основан на построении модели ключевых объектов сцены с использованием данных о количестве, положении и характеристиках объектов, получаемых при последовательной обработке каждого кадра видеопоследовательности. Этот способ предполагает два этапа анализа - пространственный и временной. На этапе пространственного анализа происходит обработка текущего кадра видеопоследовательности, а его результатом является некоторый список подозрительных объектов. На этапе временного анализа результаты пространственного анализа сравниваются с текущей моделью ключевых объектов сцены, после чего модель уточняется и обновляется.
Результатом работы двухэтапного алгоритма автоматического обнаружения объектов на панорамном изображении является список объектов, угловые координаты которых, совместно с пеленгами, полученными от системы радиопеленгации, передаются на дополнительный анализ в систему ОЭС УП.
Алгоритмическое обеспечение ОЭС УП. Получив пеленг подозрительного объекта от системы радиопеленгации либо угловые координаты от ОЭС ШП, ОЭС УП разворачивается по полученным угловым координатам и осуществляет автоматический поиск, распознавание и захват на сопровождение объекта в указанных координатах.
Алгоритмическое обеспечение ОЭС УП состоит из нескольких ключевых частей:
♦ алгоритм автоматического обнаружения объектов в ТВ и ИК каналах;
♦ алгоритм автоматического распознавания объектов;
♦ алгоритм автоматического сопровождения объектов в ТВ - и ИК-каналах;
♦ алгоритм мультиспектрального комплексирования ТВ - и ИК-каналов.
Алгоритм автоматического обнаружения объектов в ТВ- и ИК-каналах.
Данный алгоритм схож со вторым этапом алгоритма автоматического обнаружения целей ОЭС ШП [6], описанным ранее, с той лишь разницей, что бинарное изображение для анализа строится с применением адаптивного алгоритма бинаризации на основе анализа локальных контрастов [7-9]. Подобный алгоритм бинаризации позволяет применять его как для обработки изображений, полученных в видимом диапазоне, так и для инфракрасных изображений. Его отличительным свойством является инвариантность к чёткости контуров объекта и его освещённости, необходимо лишь, чтобы объект обладал достаточным локальным контрастом на изображении.
Алгоритм автоматического распознавания объектов. Каждый обнаруженный на предыдущем этапе обработки объект подвергается процедуре автоматического распознавания. Для автоматического распознавания разработан алгоритм с применением свёрточных нейронных сетей [10-12].
Сети свёрточной архитектуры обычно состоят из нескольких идущих друг за другом слоев. Существует множество типов слоев в нейронной сети, наиболее часто используемыми являются свёрточные слои, слои активации, слои субдискретизации, слои батч-нормализации, полносвязные слои и т.д.
Основой свёрточных нейронных сетей являются слои свертки. Отличие данного слоя от полносвязного слоя заключается в том, что каждый нейрон связан только с ограниченным числом соседних нейронов, что позволяет существенно уменьшить число параметров сети. Веса данного слоя представляют собой набор многомерных изображений-фильтров с числом каналов, равным числу каналов входного изображения. В процессе прямого прохода данный фильтр двигают по входному изображению и вычисляют сумму попарных произведений элементов фильтра и значений входного изображения. В итоге на выходе блока получается изображение с количеством каналов, равным количеству фильтров блока.
Операцию свертки можно свести к операции матричного умножения, если предварительно преобразовать входное изображение в матрицу, в которой соседние элементы изображения оказываются в одном столбце. Данное преобразование называется image to column.
Выходные данные свёрточного слоя поступают на вход слоя активации, представляющих собой нелинейную функцию, которая применяется поэлементно к данным. В данной архитектуре в качестве функции активации использовалась функция выпрямленный линейный элемент (Rectified linear unit - ReLU): . Смысл данной функции заключается в отсечении отрицательной части величины.
Слой субдискретизации производит уменьшение пространственных размеров данных с помощью функции взятия максимума. По изображению проходит скользящее окно и находится максимум входного изображения в окне. Данные максимумы составляют выход слоя. Уменьшение размеров данных происходит за счет того, что шаг, с которым двигается скользящее окно, больше 1.
В процессе обучения с помощью метода обратного распространения ошибки за одну итерацию через сеть проходит некоторое фиксированное число эталонов, этот набор называют мини-батчем. В [13] описан метод ускорения обучения сети, который заключается в нормировке слоев внутри мини-батча и накоплении информации о среднем значении мини-батча и дисперсии, которые используются для нормировки мини-батча на этапе тестирования сети. Данную задачу выполняют слои батч-нормализации.
Сверточные слои обычно выделяют некоторые метапризнаки изображения, и для того, чтобы принять решение о том, к какому классу отнести то или иное изображение, в сеть добавляют полносвязные слои, которые исполняют роль классификатора признаков. В качестве полносвязных слоев используется двухслойный персептрон с количеством выходных нейронов, равным количеству классов изображений, которые данная сеть может определять.
Основой для архитектуры, реализованной в данной работе, стала архитектура GoogleNet, предложенная в работе [14]. Главным новшеством в ней стала идея Inseption-модуля, который устроен следующим образом: к данным, поступающим на вход блока, применяются операция свертки с разными размерами окна (1х1, 3х3, 5x5), а также производится субдискретизация входных данных. Полученные данные состыковываются вместе в общий выход блока.
Для ускорения работы сети свертки с большими размерами окна аппроксимируются последовательностью сверток 3х3, что позволяет кроме того уменьшить количество параметров сети.
Реализованная в рамках данной работы архитектура включает в себя три Inseption-блока. Количество фильтров в сверточных слоях внутри каждого Inseption-блока одинаково и на первом блоке равно 32, на втором - 96, на третьем - 128. В оригинальной версии 1шерйоп-блока используются свертки 1x1 до и после основных сверток блока для ускорения работы сети. В реализованной версии вместо них используется поэлементное линейное преобразование данных. Полная схема данной сети представлена на рис. 2.
Слой линейного преобразования ЯеШ
Сверточный слойЗхЗ Сверточный слойЗхЗ
Сверточный слойЗхЗ
Слой батч-нормализа ции Слой субдикре тизэ ции
Слой линейного преобразования ЯеШ
Сверточный слойЗхЗ Сверточный слойЗхЗ
Слой батч-нормализации Слой субдикретиза ции
Слой линейного преобразования ПеШ
С верточ ны й с лойЗхЗ
Слой батч-нормализа ции Слой субдикретиза ции
Слой линейного преобразования НеШ
Слой батч-нормализации! Слой субдикретиза ции
Слой состыковки
Слой линейного преобразования Слой линейного преобразования Слой линейного преобразования Слой линейного преобразования
Р!е1_И НеШ РеШ Rel.ll
Сверточный слойЗхЗ Сверточный слойЗхЗ
Сверточный слойЗхЗ
Слой батч-нормализа ции Слой субдикретизации
Сверточный слойЗхЗ Сверточный слойЗхЗ
Слой батч-нормализации Слой субдикретизации
С верточ ный слойЗхЗ
Слой батч-нормализа ции Слой субдикретиза ции
С верточный слой1 х1
Слой батч-нормализа ции Слой субдикретиза ции
Слой состыковки
Рис. 2. Схема применяемой архитектуры свёрточной сети
В качестве метрики классификации использовались точность ( ),
полнота (reca11) и Fl-мера (F1-score).
Точность является отношением количества верно соотнесенных к данному классу изображений к количеству изображений, которые сеть отнесла к данному классу. Точность определяется как
tp
precision =-—,
tp+fp
где - число истинно положительных классификаций (объект действительно принадлежит к классу N и отнесён сетью к этому классу); - число ложнополо-жительных улассификаций (объект не принадлежит к классу N, но отнесён сетью к этому классу).
Полнота для класса представляет собой отношение количества изображений, которые верно отнесены к данному классу, к количеству изображений, которые реально принадлежат к этому классу. Полнота определяется как
tp
recall =-—,
tp + fn
где - число ложноотрицательных классификаций (объект принадлежит к классу N, но не отнесён сетью к этому классу).
F1-мера определяется как
precision * recall F1 = 2 *-—-—■
precision + recall
Для обучения сетей использовался алгоритм ADAM [15]. Размер мини-батча был выбран равным 64.
На рис. 3 представлен результат автоматического обнаружения и распознавания БЛА с применением свёрточной искусственной нейронной сети.
Рис. 3. Результат автоматического обнаружения и распознавания БЛА
Алгоритм мультиспектрального комплексирования ТВ- и ИК-каналов.
Данный алгоритм осуществляет геометрическое и информационное совмещение изображений, получаемых в двух различных диапазонах видимости, с целью улучшения восприятия оператором АРМ (в особенности при плохой освещённости или сложных погодных условиях). Предлагаемый метод мультиспектрального комплексирования подробно описан в [16] и основан на использовании вейвлет-преобразования [17]. В отличие от Фурье-преобразований, вейвлет-базисные функции являются хорошо локализованными, что дает возможность проводить локальный спектральный анализ [18]. Спектральные вейвлет-коэффициенты соответствуют не только амплитудам различных частот, но и различным пространственным участкам на изображении.
Для осуществления быстрого алгоритма вычисления вейвлет-преобразования в качестве базиса выбрана система вейвлетов Хаара [19]. Данная система вейвлетов требует минимум вычислений, что немаловажно в условиях требований выполнения операций совмещения изображений в реальном масштабе времени. Простейшим видом вейвлет-базиса для изображений является разделимый базис, получаемый сжатием и растяжением одномерных вейвлетов. На каждом шаге преобразования выполняется два разбиения по частоте, а не одно. Предположим, имеем изображение размером Сначала каждая из N строк изображения делится на низкочастотную и высокочастотную половины. Далее каждый столбец делится аналогичным образом. В результате получается четыре изображения размерами №2хМ/2: низкочастотное по горизонтали и вертикали, высокочастотное по горизонтали и вертикали, низкочастотное по горизонтали и высокочастотное по вертикали и высокочастотное по горизонтали и низкочастотное по вертикали, как показано на рис. 4.
НЧНЧ ВЧНЧ
НЧВЧ ВЧВЧ
Рис. 4. Структура вейвлет-спектра изображения
Разработанный алгоритм совмещения видеоинформации различных физических каналов на основе анализа информативности вейвлет-коэффициентов представляет собой следующую последовательность операций:
♦ синхронное вейвлет-преобразование изображений обоих каналов и формирование матриц спектральных вейвлет-коэффициентов для исходных ТВ- и ТПВ -изображений;
♦ суммирование с заданными весами соответствующих пар вейвлет-коэффициентов НЧНЧ части вейвлет-спектра (в данной работе значения весов для ТВ- и ТПВ-каналов приняты равными 0,5);
♦ сравнение соответствующих пар вейвлет-коэффициентов по величине модуля НЧВЧ, ВЧНЧ и ВЧВЧ вейвлет-спектра и выбор наибольшего из них;
♦ формирование матрицы результирующего вейвлет-спектра;
♦ обратное вейвлет-преобразование для получения комплексированного изображения.
Алгоритм автоматического сопровождения объектов в ТВ- и ИК-каналах.
Для реализации устойчивого автоматического сопровождения малоразмерных подвижных объектов разработан комбинированный корреляционно-признаковый алгоритм. Алгоритм основан на параллельном применении двух различных подходов к сопровождению.
В качестве результата автоматического обнаружения и распознавания формируется эталон цели, получаемый из изображения в видимом или инфракрасном спектре либо на основе комплексированного мультиспектрального изображения (в зависимости от времени суток и установок оператора). Полученный эталон используется в качестве шаблона для корреляционно-экстремального алгоритма поиска с применением нормализованной кросс-корреляции [20, 21] в качестве меры сходства шаблона (эталона) и участка изображения в проверяемых координатах. Аппаратная реализация алгоритма корреляционного поиска позволила выполнять поиск эталона по всему изображению. Поскольку объект претерпевает эволюции в процессе сопровождения (изменения масштаба и ракурса, развороты), необходимо периодически обновлять используемый эталон с заданным периодом либо по значению коэффициента корреляции. Для перезаписи используемого эталона и уточнения границ и размеров сопровождаемого объекта применяется признаковый ал-
горитм автоматического обнаружения и сопровождения, описанный ранее [6], который периодически определяет и уточняет строб сопровождения цели (описывающий прямоугольник). По уточнённому стробу сопровождения производится перезапись эталона для корреляционного сопровождения. Блок-схема комбинированного корреляционно-признакового алгоритма сопровождения представлена на рис. 5.
Рис. 5. Блок-схема комбинированного корреляционно-признакового алгоритма автоматического сопровождения
Заключение. Комплекс прошёл ряд испытаний в разных погодных условиях в различное время суток. На рис. 6 представлен пример изображения с натурных испытаний опытного образца комплекса защиты объектов от беспилотных летательных аппаратов.
Рис. 6. Испытания комплекса. Слева - изображение с ОЭС УП
Проведенные испытания доказали эффективность комплекса в части обнаружения, распознавания и подавления БЛА. Комплекс может быть рекомендован к
установке на объекты, где необходима защита от несанкционированного проникновения беспилотных летательных аппаратов.
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Мясников Е.В. Угроза терроризма с использованием беспилотных летательных аппаратов: технические аспекты проблемы // Центр по изучению проблем разоружения, энергетики и экологии при МФТИ. Долгопрудный. - 2004. - 29 с.
2. Luis Alvarez, Luis Gomez, and J. Rafael Sendra. Algebraic Lens Distortion Model Estimation // Image Processing On Line. - 2010. - No. 11. - P. 1-10.
3. Tsai R.Y. A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off-the-shelf TV cameras and lenses // IEEE Journal of Robotics and Automation. RA-3(4). - 1987. - P. 323-344.
4. GonzalezR.C., WoodsR.E. Digital Image Processing. - 2nd ed. - Prentice-Hall, 2002. - P. 91-94.
5. Фурман Я.А., Юрьев А.Н., Яншин В.В. Цифровые методы обработки и распознавания бинарных изображений. - Красноярск: Изд-во Красноярского университета, 1992. - 248 с.
6. Тупиков В.А., Павлова В.А., Бондаренко В.А., Александров В.А. Способ автоматического обнаружения объектов на морской поверхности в видимом диапазоне // Известия Тул-ГУ. Технические науки. - 2016. - № 11-3. - С. 105-121.
7. Sauvola J., Pietikainen M. Adaptive document image binarization // Pattern Recognition. -2000. - No. 33. - P. 225-236.
8. Bradley D., Roth G. Adaptive Threshholding Using Integral Image // Journal of Graphics Tools. - 2007. - Vol. 12, Issue 2. - P. 13-21.
9. Shafait F., Keysers D., Breuel T.M. Efficient implementation of local adaptive thresholding techniques using integral images // Proc. SPIE 6815, Document Recognition and Retrieval XV, 681510. - 2008. Doi: 10.1117/12.767755; https://doi.org/10.1117/12.767755.
10. LeCun Y., Boser B., Denker J.S., Henderson D., Howard R.E., Hubbard W. and Jackel L.D. Backpropagation Applied to Handwritten Zip Code Recognition // Neural Computation. - 1989. - No. 1 (4). - P. 541-551.
11. Goodfellow I., Bengio Y., Courville A. Deep Learning. - MIT Press, 2016. - 781 p.
12. Deng L. and Yu. D. Deep Learning: Methods and Applications // Foundations and Trends in Signal Processing. - 2013. - Vol. 7, nos. 3-4. - P. 197-387.
13. Ioffe, Sergey, and Christian Szegedy. Batch normalization: Accelerating deep network training by reducing internal covariate shift // arXiv preprint. - 2015. arXiv:1502.03167.
14. Szegedy C. et al. Going deeper with convolutions // Proceedings of the IEEE conference on computer vision and pattern recognition. - 2015. - P. 1-9.
15. KingmaD. P., Ba J. Adam: A method for stochastic optimization // ICLR. - 2015. - P. 1-15.
16. Фролов В.Н., Тупиков В.А., Павлова В.А., Александров В.А. Методы информационного совмещения изображений в многоканальных оптико-электронных системах // Известия ТулГУ. Технические науки. - 2016. - № 11-3. - C. 95-104.
17. Тетерин В.В. и др. Метод комплексирования информации от многоканальной системы с использованием вейвлет-спектров // Оптический журнал. - 2006. - T. 73, № 10. - С. 47-52.
18. Петухов А.П. Введение в теорию базисов всплесков. - СПб.: Изд-во СПбГТУ, 1999.
- 132 c.
19. Воробьев В.И., Грибунин В.Г. Теория и практика вейвлет-преобразования // ВУС. - 1999.
- С. 1-204.
20. Баклицкий В.К. Корреляционно-экстремальные методы навигации и наведения. - Тверь: ТО «Книжный клуб», 2009. - 360 с.
21. Алпатов Б.А., Бабаян П.В., Балашов О.Е., Степашкин А.И. Методы автоматического обнаружения и сопровождения объектов // Обработка изображений и управление. - М.: Радиотехника. - 2008. - 176 с.
REFERENCES
1. Myasnikov E.V. Ugroza terrorizma s ispol'zovaniem bespilotnykh letatel'nykh apparatov: tekhnicheskie aspekty problemy [Terrorist threat using unmanned aerial vehicles: technical aspects of problem analysis], Tsentr po izucheniyu problem razoruzheniya, energetiki i ekologii pri MFTI. Dolgoprudnyy [Center of disarming, energetic and ecology problems research at MPTU. Dolgoprudniy], 2004, 29 p.
2. Luis Alvarez, Luis Gomez, and J. Rafael Sendra. Algebraic Lens Distortion Model Estimation, Image Processing on Line, 2010, No. 11, pp. 1-10.
3. Tsai R.Y. A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off-the-shelf TV cameras and lenses, IEEE Journal of Robotics and Automation, RA-3(4), 1987, pp. 323-344.
4. GonzalezR.C., WoodsR.E. Digital Image Processing. 2nd ed. Prentice-Hall, 2002, pp. 91-94.
5. Furman Ya.A., Yur'ev A.N., Yanshin V.V. Tsifrovye metody obrabotki i raspoznavaniya binarnykh izobrazheniy [Means of digital binary image processing and recognition]. Krasnoyarsk: Izd-vo Krasnoyarskogo universiteta, 1992, 248 p.
6. Tupikov V.A., Pavlova V.A., Bondarenko V.A., Aleksandrov V.A. Sposob avtomaticheskogo obnaruzheniya ob"ektov na morskoy poverkhnosti v vidimom diapazone [Algorithm of automatic helicopter type drone landing using onboard optical-electronic system], Izvestiya TulGU. Tekhnicheskie nauki [Izvestiya TulSU. Engineering Sciences], 2016, No. 11-3, pp. 105-121.
7. Sauvola J., Pietikainen M. Adaptive document image binarization, Pattern Recognition, 2000, No. 33, pp. 225-236.
8. Bradley D., Roth G. Adaptive Threshholding Using Integral Image, Journal of Graphics Tools, 2007, Vol. 12, Issue 2, pp. 13-21.
9. Shafait F., Keysers D., Breuel T.M. Efficient implementation of local adaptive thresholding techniques using integral images, Proc. SPIE 6815, Document Recognition and Retrieval XV, 681510, 2008. Doi: 10.1117/12.767755; https://doi.org/10.1117/12.767755.
10. LeCun Y., Boser B., Denker J.S., Henderson D., Howard R.E., Hubbard W. and Jackel L.D. Backpropagation Applied to Handwritten Zip Code Recognition, Neural Computation, 1989, No. 1 (4), pp. 541-551.
11. Goodfellow I., Bengio Y., Courville A. Deep Learning. MIT Press, 2016, 781 p.
12. Deng L. and Yu. D. Deep Learning: Methods and Applications, Foundations and Trends in Signal Processing, 2013, Vol. 7, nos. 3-4, pp. 197-387.
13. Ioffe, Sergey, and Christian Szegedy. Batch normalization: Accelerating deep network training by reducing internal covariate shift, arXiv preprint, 2015. arXiv:1502.03167.
14. Szegedy C. et al. Going deeper with convolutions, Proceedings of the IEEE conference on computer vision and pattern recognition, 2015, pp. 1-9.
15. KingmaD. P., Ba J. Adam: A method for stochastic optimization, ICLR, 2015, pp. 1-15.
16. Frolov V.N., Tupikov V.A., Pavlova V.A., Aleksandrov V.A. Metody informatsionnogo sovmeshcheniya izobrazheniy v mnogokanal'nykh optiko-elektronnykh sistemakh [Informational image fusion methods in multichannel optoelectronic systems], Izvestiya TulGU. Tekhnicheskie nauki [Izvestiya TulSU. Engineering Sciences], 2016, No. 11-3, pp. 95-104.
17. Teterin V.V. i dr. Metod kompleksirovaniya informatsii ot mnogokanal'noy sistemy s ispol'zovaniem veyvlet-spektrov [Method for fusing the information from multichannel system using wavelet specters], Opticheskiy zhurnal [Optical journal], 2006, Vol. 73, No. 10, pp. 47-52.
18. Petukhov A.P. Vvedenie v teoriyu bazisov vspleskov [Introduction to basis splash theory]. Saint Petersburg: Izd-vo SPbGTU, 1999, 132 p.
19. Vorob'ev V.I., Gribunin V.G. Teoriya i praktika veyvlet-preobrazovaniya [Theory and practice of wavelet transform], VUS [CMU], 1999, pp. 1-204.
20. Baklitskiy V.K. Korrelyatsionno-ekstremal'nye metody navigatsii i navedeniya [Correlation-extreme means of navigation and aiming]. Tver': TO «Knizhnyy klub», 2009, 360 p.
21. Alpatov B.A., Babayan P.V., Balashov O.E., Stepashkin A.I. Metody avtomaticheskogo obnaruzheniya i soprovozhdeniya ob"ektov [Methods of automatic object detection and tracking], Obrabotka izobrazheniy i upravlenie [Image processing and control]. Moscow: Radiotekhnika, 2008, 176 p.
Статью рекомендовал к опубликованию к.т.н. С.Н. Крюков.
Тупиков Владимир Алексеевич - АО «Научно-производственное предприятие «Авиационная и морская электроника»; e-mail: tupikov@nppame.ru; 198097, г. Санкт-Петербург, ул. Маршала Говорова, 29, лит. «О», а/я 51; тел.: 88123274667; д.т.н.; профессор; зам. ген. директора, директор научно-производственного комплекса робототехнических систем специального назначения (НПК РТС СН).
Павлова Валерия Анатольевна - e-mail: pavlova@nppame.ru; к.т.н.; зам. директора НПК РТС СН по НИОКР.
Бондаренко Владимир Александрович -e-mail: shockus@gmail.com; зам. начальника центра средств интеллектуальной обработки изображений.
Каплинский Глеб Эдуардович - e-mail: glebqq@gmail.com; начальник отдела прикладного программирования.
Tupikov Vladimir Alekseevich - JSC "Research and Production Enterprise "Air and Marine Electronics"; e-mail: tupikov@nppame.ru; 198097, Saint Petersburg, str. Marshal Govorov, 29, lit. "O", P.O.B 51; phone: +781232-4667; dr. of eng. sc.; professor; Deputy Director General, Director of Research and production complex of special purpose robotic systems.
Pavlova Valeria Anatolyevna - e-mail: pavlova@nppame.ru; cand. of eng. sc.; Deputy Director of research at Research and production complex of special purpose robotic systems.
Bondarenko Vladimir Alexandrovich - e-mail: shockus@gmail.com; Deputy Chief of intellectual image processing center.
Kaplinskiy Gleb Eduardovich - e-mail: glebqq@gmail.com; Chief of applied programming department.
