CC BY
15
Civil Aviation High Technologies
Vol. 25, No. 04, 2022
УДК: 656.7.052
DOI: 10.26467/2079-0619-2022-25-4-20-43
Технология автоматизированного видеонаблюдения конуса-датчика в задаче автоматической дозаправки топливом
в полете
1 I-1 2
А.В. Гайденков , М.И. Каневский А.С. Островский ,
О.И. Ганяк3, Н.Ю. Чижов4
1АО «Бортовые аэронавигационные системы», г. Москва, Россия 2Московский государственный технический университет им. Н.Э. Баумана,
г. Москва, Россия 3ФГУП «Центральный аэрогидродинамический институт имени профессора Н.Е. Жуковского», г. Жуковский, Россия 4НИЦ ЦНИИ ВВС Минобороны России, г. Люберцы, Россия
Аннотация: В работе предложена технология автоматизированного видеонаблюдения конуса-датчика в задаче автоматической дозаправки топливом в полете. Технология основана на использовании пассивной оптико-электронной системы и включает логику автоматизированного наблюдения сцены дозаправки с использованием алгоритмов автоматического обнаружения и сопровождения конуса-датчика, методический аппарат подоптимальной линейной фильтрации наблюдаемого процесса в условиях пространственной и временной нестационарности сцены, алгоритмы автоматического корреляционного обнаружения и сопровождения конуса-датчика с использованием подоптимальной фильтрации. Выполнен анализ построения опытных зарубежных систем автоматической дозаправки топливом в полете. Обоснован выбор алгоритма функционирования системы технического зрения. Установлено, что основные процедуры наблюдения: обнаружение, захват на сопровождение и определение текущих координат конуса с заданным темпом и качеством - должны выполняться автоматически, летчик-оператор принимает участие в работе системы технического зрения при ошибках захвата или срывах сопровождения. Выполнена постановка задачи автоматизированного видеонаблюдения конуса-датчика. Предложена структурно-логическая схема процесса автоматизированного наблюдения, включающая обнаружение и сопровождение конуса, а также принятия решений летчиком в различных ситуациях. Представлен моделирующий комплекс отработки системы технического зрения. Приведены результаты экспериментальных исследований эффективности системы технического зрения. На основе разработанной технологии и по результатам оценки эффективности алгоритмов автоматизированного наблюдения предложена стратегия выполнения автоматизированной дозаправки в условиях различной турбулентности, при этом в условиях слабой турбулентности успешное контактирование обеспечивается сопровождением центра колебаний конуса, в свою очередь в условиях сильной турбулентности успешное контактирование может быть обеспечено сопровождением конуса, управляемого по данным системы технического зрения.
Ключевые слова: дозаправка топливом в полете, видеонаблюдение, системы технического зрения, оптико-электронные системы, обнаружение и распознавание объекта, автомат сопровождения объекта.
Для цитирования: Гайденков А.В. Технология автоматизированного видеонаблюдения конуса-датчика в задаче автоматической дозаправки топливом в полете / А.В. Гайденков, М.И. Каневский, А.С. Островский, О.И. Ганяк, Н.Ю. Чижов // Научный Вестник МГТУ ГА. 2022. Т. 25, № 4. С. 20-43. DOI: 10.26467/2079-0619-2022-25-4-20-43
Том 25, № 04, 2022_Научный Вестник МГТУ ГА
Vol. 25, No. 04, 2022 Civil Aviation High Technologies
Technology of automated video observation of a drogue-sensor basket in the problem of autonomous aerial refueling
A.V. Gaidenkov1, |M.I. Kanevskiy'1, A.S. Ostrovskiy2, O.I. Ganyak3,
N.Yu. Chizhov4
JSC "Airborne Navigation Systems ", Moscow, Russia 2Bauman Moscow State Technical University, Moscow, Russia 3FSUE "Central Aerohydrodynamic Institute ", Zhukovsky, Russia 4Air Force Research Establishment, Central Research Institute of the Ministry of Defense of the Russian Federation, Lyubertsy, Russia
Abstract: The paper proposes a technology for automated video-based observation (VBO) of a drogue-sensor in the problem of aerial refueling. The technology is based on the use of a passive optoelectronic system and incorporates the logic of automated refueling observation of a refueling process using algorithms for the automatic detection and tracking of a drogue-sensor, a methodical apparatus for suboptimal linear filtering of the observed process under the conditions of spatial and temporary non-stationarity of the refueling process, algorithms for automatic correlation detection and tracking of a drogue-sensor using suboptimal filtering. An analysis of the design of experimental foreign systems for autonomous aerial refueling is carried out. The choice of the algorithm for the functioning of the synthetic vision system is substantiated. It is established that the main observation procedures: detection, capture for tracking and determination of the current drogue coordinates with a given rate and quality should be performed automatically, the pilot-operator takes part in the operation of the synthetic vision system in case of capture errors or mistracking. The statement of the problem for automated VBO of a drogue-sensor is formulated. A structural-logical diagram of the automated observation process, including the detection and tracking of a drogue, as well as decision-making by the pilot in various situations, is proposed. A modeling complex for a synthetic vision system operation is presented. The results of experimental studies of the synthetic vision system efficiency are presented. Based on the developed technology and the results of evaluating the effectiveness of automated observation algorithms, a strategy for performing autonomous refueling in conditions of various turbulence is proposed, while, during weak turbulence, a successful engagement is provided by tracking the center of drogue oscillations, in turn, under conditions of severe turbulence, a successful engagement can be provided by tracking a drogue controlled according to the synthetic vision system data.
Key words: aerial refueling, video-based observation, synthetic vision systems, optoelectronic systems, object detection and recognition, object tracker.
For citation: Gaydenkov, A.V., Kanevskiy, M.I., Ostrovskiy, A.S., Ganyak, O.I. & Chizhov, N.Yu. (2022). Technology of automated video observation of a drogue-sensor basket in the problem of autonomous aerial refueling. Civil Aviation High Technologies, vol. 25, no. 4, pp. 20-43. DOI: 10.26467/2079-0619-2022-25-4-20-43
Введение
Анализ построения опытных зарубежных систем автоматической дозаправки топливом в полете показывает, что конечный этап сближения заправляемого летательного аппарата (ЛА) с танкером, включающий сближение и контактирование заправочной штанги и конуса, осуществляется на основе данных оптико-электронной системы технического зрения (СТЗ). Анализ публикаций, посвященных вопросам построения пассивных СТЗ для решения задач автоматической дозаправки в полете, а также современных методов видеоанализа сцен позволяет выделить алгоритмы, обес-
печивающие решение задачи автоматического обнаружения конуса-датчика.
Алгоритм СТЗ, реализованный в «Стратегии автономной дозаправки топливом в полете на основе видеосистемы» [1-4]. Алгоритм обеспечивает анализ сцены на этапе обнаружения и сопровождения конуса-датчика пассивными оптико-электронными системами (ОЭС). Алгоритм обнаружения конуса построен на основе классического корреляционного обнаружения эталона с использованием нормированной корреляционной функции, рассчитываемой в пространственной области, и дополнен несколькими характерными различительными признаками, присущими конусу.
Корреляционный метод обнаружения обладает высокой помехозащищенностью для пространственно-однородных процессов, что не выполняется для задачи обнаружения конуса на фоне элементов конструкции танкера и атмосферных образований. Кроме того, на эффективность корреляционного обнаружения существенное влияние оказывает предобработка изображения, выполняемая в приведенном случае на основе простейшей пороговой бинаризации. Таким образом, использование данного алгоритма может потребовать ряда ограничений на допустимую помеховую обстановку (положение солнца, характер атмосферных условий, допустимые проекции конуса на элементы конструкции танкера).
Алгоритм СТЗ реализован в «Унифицированной системе на основе оптических измерений для дозаправки ЛА на примере беспилотного ЛА X-47B». Алгоритм обеспечивает отслеживание законцовок крыла, мотогондолы, хвостового оперения и конуса-датчика, маркированных красными маркерами, как набора точек. Обнаружение объектов интереса производится с помощью простого фильтра усиления красного цвета с целью выделения пятен, относящихся к красным маркерам. После выделения изображения маркеров на фоновом изображении для выделения каждого отдельного пятна и присвоения ему метки применяется процедура морфологического анализа с замкнутой и разомкнутой петлей. Пятно считается обнаруженным, если оно содержало количество пикселей, превышающее заранее определенный порог [5-8].
Алгоритмическая реализация системы обнаружения объекта, маркированного тем или иным образом, характеризуется простотой, однако возникающие при этом ограничения по возможностям селекции помеховых образований значительной интенсивности (возникающих в условиях прямой солнечной засветки или наличия бликующих поверхностей) могут приводить к высокому уровню ложных целеуказаний системе захвата объекта сопровождения.
Нейросетевые алгоритмы обнаружения (распознавания). Процедура нейросетевого
обнаружения объекта основана на операциях свертки изображения анализируемой сцены с группой матриц различной размерности, формируемых автоматически в процессе обучения. Процедура обнаружения эталона корреляционным алгоритмом также основана на свертке изображения сцены с изображением матрицы, задаваемой яркостью пикселей эталона. Причем если в первом случае объект интереса обнаруживается по корреляционному обнаружению отдельных элементов эталона, то во втором по корреляции непосредственно со всем эталоном. Если масштаб и ракурс обнаруживаемого объекта (конуса) априорно известен, а это именно так, поскольку обнаружение конуса осуществляется при известном взаимном положении танкера и заправляемого ЛА, характеристики корреляционного обнаружения как минимум не будут уступать характеристикам нейросетевого обнаружения как по помехозащищенности, так и по вычислительным затратам, допуская при этом целенаправленную адаптацию к ключевым особенностям решаемой задачи.
Приведенный анализ позволяет выбрать корреляционный алгоритм для дальнейшего рассмотрения и более детальной оценки возможности обнаружения конуса-датчика системой технического зрения.
Автоматизированное наблюдение конуса-датчика посредством системы технического зрения включает решение следующих задач:
• наблюдения воздушной обстановки посредством ОЭС в направлении на унифицированный подвесной агрегат заправки самолета-заправщика ночью и днем, для различного углового положения солнца, в целях информационного обеспечения автоматической дозаправки топливом в полете на основе видеоданных;
• автоматизированного обнаружения заправочного конуса по видеоданным наблюдения, в заданном интервале дальностей, реализуемого посредством функционального программного обеспечения (ФПО) автоматического обнаружения (далее - обнаружитель);
• автоматического сопровождения корзины от момента обнаружения до контактирования с заправочной штангой по видеодан-
ным наблюдения, реализуемого посредством ФПО автоматического сопровождения (далее - автомат сопровождения);
• выдачи координат конуса (в программный модуль формирования директорных отметок для ручного управления или в систему автоматического управления заправляемого ЛА, в зависимости от степени автоматизации процесса дозаправки).
Автоматизированное обнаружение должно включать:
• автоматическое принятие решения о наличии, а также отсутствии конуса в поле зрения СТЗ обнаружителем;
• определение координат конуса для последующего автоматического захвата конуса на сопровождение.
Решение об отсутствии конуса принимается системой технического зрения в случае ошибки взаимного позиционирования заправляемого ЛА и топливозаправщика:
• вызывающей смещение конуса за пределы поля зрения СТЗ;
• вызывающей превышение расчетной дальности обнаружения конуса.
В случае автоматического обнаружения и захвата объекта сопровождения летчик (или оператор БПЛА) визуально, на экране индикатора должен контролировать захват конуса:
• если захвачен конус, летчик начинает сближение с конусом со скоростью, определяемой требованиями руководства по летной эксплуатации, до контактирования со штангой;
• если захвачен ложный целеподобный объект (двигатель, обвод фюзеляжа танкера, облачное образование, блик и т. д.), летчик посредством органов управления СТЗ, выведенных на индикатор, должен выдать команду на перезахват конуса. В этом случае СТЗ сбрасывает объект сопровождения и выполняет повторное автоматическое обнаружение и захват конуса.
Таким образом, основные процедуры наблюдения - обнаружение, захват на сопровождение и определение текущих координат конуса с заданным темпом и качеством, должны выполняться автоматически. Летчик-оператор исполняет контролирующие функ-
ции и принимает участие в работе СТЗ при ошибках захвата или срывах сопровождения.
Методы и методология исследования
Автоматическое наблюдение в задаче дозаправки топливом в воздухе требует построения алгоритмов автоматического обнаружения и сопровождения конуса-датчика по данным ОЭС днем и ночью, в условиях различной турбулентности атмосферы.
Построение помехозащищенных алгоритмов автоматического обнаружения конуса требует использования изображений фоноце-левой обстановки, включающих конус, элементы конструкции заправщика, а также атмосферные образования в различных условиях освещения.
Построение устойчивых к срыву алгоритмов сопровождения конуса требует использования выборки наблюдений, полученных в заданном диапазоне турбулентности атмосферы.
Известно, что оптимальное обнаружение сигнала цели может быть реализовано на основе винеровской фильтрации с использованием линейного фильтра вида [9]. Вместе с тем оптимальность линейной фильтрации (и обнаружения) достигается только в условиях ковариационной стационарности наблюдаемого процесса [10]. Таким образом, построение эффективных алгоритмов обнаружения конуса требует детального учета энергетических и пространственных характеристик анализируемой сцены. К их числу следует отнести:
• показатель пространственной неоднородности (ковариационной стационарности) сцены;
• наличие целеподобных маскирующих объектов, форма которых близка к форме конуса.
Статистическая оценка пространственной неоднородности изображений описана в [11]. Оценка неоднородности сцен дозаправки показала как высокую степень пространственной нестационарности (вызванной случайным относительным положением солнца, одновременным наличием в поле зрения СТЗ
линейно-протяженных элементов фюзеляжа и крыльев заправщика, солнечных бликов на конструкциях, облачных образований с резкими кромками, подсвеченными солнцем, и т. д.), так и наличие целеподобных объектов (таких, как двигатели заправщика, обводы фюзеляжа, компактные облачные образования), имеющие высокую коррелированность с изображением конуса.
Учитывая высокую пространственную неоднородность и сложность законов статистических распределений фотоотсчетов реальных сцен дозаправки в сочетании с наличием целеподобных объектов, использование упрощенных, синтетических моделей фона представляется нецелесообразным, так как может привести к неоправданно завышенной эффективности тестируемых алгоритмов автоматического обнаружения конуса.
Следовательно, в качестве первичных данных обнаружителя следует использовать выборку наблюдений реальных сцен дозаправки, полученных оптико-электронными датчиками, располагаемыми на борту заправляемого ЛА.
Модель движения конуса в турбулентной атмосфере, основанная на статистическом описании положения конуса, базируется на предположении, что турбулентные порывы представляют собой локально-нормальный случайный процесс, разделенный в пространстве на зоны с различными параметрами. Турбулентные порывы задаются в системе координат, связанной с вектором воздушной скорости. Компоненты порывов считаются некоррелированными между собой. Компоненты турбулентности, перпендикулярные вектору воздушной скорости, имеют спектральные плотности одинакового вида (модель Драйдена), допускающие использование линейного формирующего фильтра [12]
sw = *2sGÄ> о)
где ш - пространственная частота; а2 - дисперсия компонентов порывов; L - масштаб компонентов порывов.
Уравнения для формирующих фильтров, интегрируемых по времени, для вертикаль-
ной и боковой компоненты (в угломестной и азимутальной плоскости соответственно) имеют вид [12]
^TW1^)^ (2)
dz -v 14 I3v г
где v - скорость ветра, м/с; , - независимые гауссовские белые шумы единичной интенсивности.
Таким образом, входными параметрами при определении положения конуса являются: скорость движения, масштаб вихрей, средние квадратические отклонения и белый шум. Выходным параметром модели движения конуса является последовательность координат на интервале сближения конуса с заправочной штангой от момента обнаружения до контактирования. На основе координатных данных синтезируются видеопоследовательности, имитирующие наблюдение конуса видеокамерой СТЗ, располагаемой на борту заправляемого ЛА.
Сформировано 18 видеопоследовательностей сближения с конусом от дистанции 25 м до контактирования. Использовались 3 скорости сближения: 0,5, 1, 1,5 м/с, а также 6 среднеквадратических отклонений скорости колебаний конуса: 0,25, 0,5, 0,75, 1, 1,25, 1,5 м/с, охватывающих диапазон турбулентности от слабой до очень сильной.
Структурно-логическая схема процесса автоматизированного наблюдения, включающая обнаружение и сопровождение конуса, а также принятия решений летчиком в различных ситуациях, приведена на рис. 1. Интервалы дальности, регламентирующие функционирование автомата обнаружения и сопровождения СТЗ приведены на рис. 2. Телевизионный датчик СТЗ располагается в начале координат диаграммы.
После вывода заправляемого ЛА в зону обнаружения (рис. 2) подается команда на включение модуля СТЗ и осуществляет сближение с конусом. Команда на включение СТЗ может формироваться как системой
Vol. 25, No. 04, 2022
Civil Aviation High Technologies
Рис. 1. Логика автоматизированного наблюдения конуса-датчика системой технического зрения Fig. 1. The logic of automated drogue-sensor observation by a synthetic vision system
Зона обнаружения конуса
Зона сопровождения конуса I
-1-1—►
5 15 22 Метры
Рис. 2. Диаграмма дальностей работы системы технического зрения Fig. 2. Diagram of the synthetic vision system operation range
межсамолетной навигации, так и летчиком. В случае автоматического обнаружения конуса-датчика целеуказание от автомата обнаружения поступает на вход автомата сопровождения конуса (АС), при этом последовательность координат конуса, привязанная к картинной плоскости изображения СТЗ, начинает поступать потребителю.
В случае если визуальный контроль, выполняемый летчиком по видеоконтрольному устройству, показывает, что захвачен ложный объект, летчиком выполняется перезахват конуса. Перезахват приводит к сбросу сопровождаемого объекта и циклическому выполнению процедуры обнаружения конуса автоматом обнаружения до тех пор, пока не состоится захват объекта интереса.
Если захват конуса автоматом сопровождения состоялся, летчик начинает сближение
ЛА с конусом-датчиком, осуществляя периодический визуальный контроль работы автомата сопровождения СТЗ по видеоконтрольному устройству. В случае срыва сопровождения (например, из-за выхода конуса за пределы поля зрения, скачкообразного смещения конуса в ближней зоне с высокой угловой скоростью и т. д.) выполняется повторный вывод в зону обнаружения, после чего летчиком выдается команда на перезахват конуса.
Если сопровождение конуса прошло успешно, но контактирование произошло неудачно, летчиком выполняется повторный вывод в зону обнаружения с подачей команды на перезахват конуса.
Таким образом, автоматизированное управление СТЗ со стороны летчика заключается в контроле работы СТЗ по изображению маркера цели на видеоконтрольном устройстве и
в случае необходимости подачи команды на перезахват конуса (рис. 1, элемент схемы, выделенный серым цветом).
Фоно-целевая обстановка в задаче обнаружения конуса характеризуется пространственной неоднородностью и неравномерностью спектра шумов. Под спектром шумов подразумевается аддитивная смесь пространственно-частотного спектра фоновых помех и собственных шумов ОЭС. Поскольку изображение сцены дозаправки включает объекты, существенно различающиеся пространственно-энергетическими характеристиками, пространственный спектр фона характеризуется значительной неравномерностью.
Процесс обнаружения включает две фазы (зачастую неотделимые друг от друга) -фильтрацию шума и согласованную фильтрацию сигнала. Общее решение задачи оптимальной фильтрации сигнала нестационарного процесса с неравномерным (цветным) спектром шума в измерениях приведено в [13]. Подход основан на решении систем матричных дифференциальных уравнений с использованием регуляризации в каждом такте обнаружения и требует неприемлемо высоких вычислительных затрат.
Алгоритм линейной фильтрации сигнала при наличии аномальных ошибок, вызванных отождествлением с целеподобными помехами, приведен в [14]. В работе предлагается математический аппарат корреляционного
обнаружителя с адаптивным порогом принятия решений на основе оценки вероятности аномальных ошибок в зависимости от интенсивности нормального шума на выходе согласованного фильтра и вероятности появления целеподобных помех различных классов. Анализ сцен дозаправки показывает, что в зависимости от условий освещенности, положения солнца, характера облачности параметры закона распределения аномальных ошибок изменяются. Устойчивая работа обнаружителя [14] потребует оценки эвристически полученной вероятности появления нестационарных во времени целеподобных помех, зависящих от характера сцены. Временная нестационарность помех обусловлена отражением солнечного излучения элементами конструкции заправщика при меняющемся относительном угловом положении солнца, а также изменчивостью пространственной конфигурации облачных образований. Оптимальное решение задачи обнаружения сигнала нестационарного процесса с цветным шумом на основе линейной фильтрации требует оценки и учета распределений нестационарных во времени фоновых помех и сопряжено со значительной неопределенностью.
Частотная характеристика линейного фильтра оптимального обнаружителя изображения объекта на фоне подстилающей поверхности имеет вид [15]
Н(шх, шу) = ехр [—(шхх0 + Шуу0)], (4)
где Н(шх,шу) - частотный коэффициент передачи оптимального фильтра; - комплексно-сопряженный спектр обнаруживаемого объекта (эталона); )1 - энергетический спектр фона; Ы0 - шум с равномерным спектром; С - нормирующий множитель; хо< У о - координаты центра области анализа.
Там же [15] отмечается, что использование оптимальных фильтров для обработки реальных сцен затруднено главным образом сложностью законов распределения вероятностей фоновых шумов. В [11] приведен способ построения адаптивного по полю оптимального фильтра на основе (4) с использованием
полей спектральной плотности наблюдаемого процесса, не требующий априорной оценки распределений фоновых шумов. Фильтр оптимизирует обнаружение на основе регистрации и учета локальных автокорреляционных характеристик фоновых помех, однако требует достаточно высоких вычислительных за-
Vol. 25, No. 04, 2022
Civil Aviation High Technologies
всиггМ°х)
СО
гр
а)
б)
™гр2 °>х
в)
Рис. 3. Пояснение выбора граничных частот подоптимального полосового фильтра на примере передаточной
функции одной переменной Fig. 3. Explanation of the choice of cutoff frequencies of a suboptimal band pass filter using the example of a transfer
function of one variable
трат, что также затрудняет его использование в бортовых системах.
Таким образом, при реализации бортовой системы автоматического обнаружения конуса целесообразно использование подопти-мальной фильтрации, сочетающей невысокие вычислительные затраты с сохранением приемлемой эффективности обнаружения.
Вариант построения подоптимального линейного фильтра обнаружителя эталонного сигнала основан на следующих рациональных положениях:
1) подавление низких пространственных частот в изображении сцены улучшает характеристики корреляционного совмещения изображений;
2) передаточная характеристика оптимального фильтра в области высоких частот пропорциональна отношению сигнал/шум.
Разработчики корреляционно-экстремальных систем, в частности [15], отмечают влияние высокочастотной фильтрации на снижение уровня вспомогательных экстремумов корреляционной функции (КФ). Передаточная функция подобного фильтра Но
г(&>х, Шу) имеет вид
^опт{шх>шу) — 0,ш < 0>гр,
(5)
где о>гр — о>гр(ых , Шу).
Обоснование выбора граничной частоты о>гр приведено в [16], о>гр соответствует ча-
стоте, на которой выполняется условие
V2G,
нО
сигн
дм?
(
) + д2Ссигн(^>х. шу)
шх> шу) —
дШу
— 0, (6)
где Ссшн(шх,шу) - пространственно-частотный спектр сигнала (изображения эталона).
Таким образом, &>гр - частота, на которой происходит максимальный спад амплитуды спектра сигнала Ссигн{шх, шу) (рис. 3, а).
В отсутствие шумов предобработка изображения сцены в соответствии с (5) и (6) обеспечила бы эффективное подавление по-меховых экстремумов КФ, поскольку выделяет наиболее информативную, высокочастотную часть спектра фона, согласованную со спектром сигнала. В реальных условиях шумы различной природы (шумы фона, це-леподобных помех, фотоприемника) складываются и существенно уменьшают отношение сигнал/шум. С учетом подобного влияния, а также учитывая второе допущение, основанное на (4), на этапе предобработки требуется также фильтрация высших пространственных частот, на которых отношение сигнал/шум становится малым (менее единицы), рис. 3, б, график 1 - спектр фона (сцены), график 2 - спектр шумов. Таким образом, линейный фильтр, оптимизирующий корре-
ляционное обнаружение сигнала, должен быть полосовым (рис. 3, в).
Опыт практической реализации корреляционно-экстремальных систем показывает, что синтез в пространственной области полосового фильтра T(i,j) с передаточной характеристикой, представленной на рис. 3, в, обеспечивается на основе линейной комбинации пространственных фильтров низких и высоких частот с различными масками. Также на основе экспериментальных наблюдений [17] можно отметить, что существует оптимальное соотношение между средним значением пространственной частоты полосового фильтра шп и размером окна Q корреляционной обработки, согласованным с размером обнаруживаемого объекта. Минимизация уровня боковых лепестков КФ при наличии шумов и масштабно-ракурсных искажений, ограниченных отклонением масштаба не более чем на 5 % и поворотом не более чем на 3°, достигается, если на линейный размер окна обработки укладывается 5^7 периодов пространственной частоты, задаваемой шп.
Таким образом, предобработка анализируемой сцены, задаваемой изображением В(х,у), выполняется на основе свертки с полосовым фильтром T(i,j), что символически может быть представлено в виде
Вобр(*,У) = T(i,j) * В(х,у) = = Z(i,j)e s T(i,j)B(x -i,y -j), (7)
где символ * означает свертку; s - площадь окна фильтра, х,у - декартовы координаты изображения.
Обозначим через 1(х,у) матрицу весовых коэффициентов (изображение) эталона. По определению функция взаимной ковариации RBI изображений сцены и эталона будет иметь вид
RBI(Ax,Ay) = = ^1(х,у)едВ(х,у)1(х - Лх,у - Лу),
где Q - площадь окна эталона, Ах,Ау - декартовы координаты взаимной корреляци-
онной функции эталона и анализируемой сцены.
Введем обозначение 1(Ах,Ау) = 1(х — Ах,у — Ау), тогда ненормированная корреляция эталона и сцены может быть представлена в виде
КВ1(Ах,Ау) = В(х,у) * 1(Ах,Ау).
Корреляция предобработанного изображения сцены и эталона приобретает символический вид
И(Ах,Ау) = Вобр(х,у) * 1(Ах,Ау) =
= Т(1,}) * В(х,у) * 1(Ах,Ау). (8)
Корреляционное обнаружение цели выполняется на основе пороговой обработки статистики (8), полученной в результате корреляционного совмещения эталона и анализируемой сцены. Превышение двумерной функцией взаимной корреляции И(Ах,Ау) некоторого порога Л приводит к обнаружению цели (или целеподобной помехи) с координатами (х, у):
{(х,у):К(Ах,Ау)>к}. (9)
Известно, что на величину корреляционного экстремума существенное влияние оказывают масштабно-ракурсные искажения. Сближение заправляемого ЛА с заправщиком происходит в узком пространственном коридоре, так что возникающие ракурсные искажения сигнала достаточно малы. Иная картина связана с масштабными искажениями. Отличия масштабов изображений сигнала и эталона на 5 % может привести к двукратному уменьшению амплитуды корреляционного экстремума [17], существенно снижающему вероятность обнаружения цели. Соответственно, протяженность интервала обнаружения на любой фиксированной дальности в диапазоне 15^20 м составит не более 0,7^1 м. Выдерживание с указанной точностью дистанции взаимного позиционирования заправщика и заправляемого ЛА средствами межсамолетной навигации на этапе обнару-
Vol. 25, No. 04, 2022
Civil Aviation High Technologies
жения конуса технически сложно и нецелесообразно. Решение задачи обнаружения «на проходе» - в процессе непрерывного сближения с заправщиком - в подобной ситуации неэффективно. Такт обнаружения занимает определенный временной интервал, который может не совпасть с временным интервалом прохождения отрезка обнаружения.
Возникает задача расширения диапазона дальностей обнаружения конуса с сохранением эффективности обнаружителя. Решение подобной задачи возможно с использованием масштабируемого эталона (или формирования М эталонов различных масштабов), соответствующих различной дальности обнаружения. Вычислительные затраты на реализацию обнаружителя с расширенным рабочим диапазоном дальностей возрастают пропорционально количеству дополнительных масштабируемых эталонов. В целях сокращения затрат целесообразно построение обнаружителя по двухконтурной схеме. В обоих контурах обработка производится в соответствии с (8)-(9). Основное отличие заключается в использовании фильтров предобработки с различными передаточными функциями. Передаточная функция фильтра предварительного (первого) контура ТПр(1,]) и соответствующие ему параметры ш1гр, ш1п смещены в область нижних частот (рис. 4). Фильтр второго контура оставлен неизменным, так что ^р < &>гр, Ш1п < шп.
Предобработка, сохраняющая низкие пространственные частоты, снижает чувствительность к масштабно-ракурсным искажениям, снижает вероятность пропуска цели, повышая при этом вероятность ложных захватов. В результате обработки
{(хп,упУ.Кпр(Ах,Ау)>Кр1 (10)
где Кпр(Ах,Ау) = Тир(1,]) *В* !(Ах,Ау) -корреляционный функционал предварительного контура обнаружения; п = 1...Ы; кПр -фиксированный порог принятия решений предварительного контура обнаружения, выделяется N участков изображения сцены, включающих цель и целеподобные помехи,
f НОг)
°\гр ^гр соп ®гр2
Рис. 4. Передаточные характеристики фильтров
предобработки: сплошная линия - фильтр предварительного контура Tnp(i,j), пунктирная
линия - фильтр T(i,j) Fig. 4. Transfer characteristics of pre-processing filters: solid line - pre-loop filter Tpr(i,j), dotted line - filter T(i,j)
суммарный объем данных которых (суммарная площадь изображения) существенно меньше объема данных исходной сцены.
Полученная выборка N фрагментов сцены с координатами (хп,уп) фильтруется узкопо-лосым фильтром T(i,j), и в соответствии с (11) принимается решение о наличии цели:
{к:Ф = Rn'm(Ax,Ay) >h], (11)
где fc = k(x,y,m) - вектор положения объекта обнаружения: его координаты в плоскости изображения и дальность как функция размера изображения; Ф = Rn,m(Ax,Ay) = T(i,j) * Вп(х,у) * Im(Ax,Ay) - корреляционный функционал обнаружителя; n = 1...N; m = 1.. .M. При этом свертка каждого из N фрагментов осуществляется последовательно с каждым из М эталонов Im(x,y) различного масштаба, задаваемых матрицами (весовых коэффициентов) размером Lm.
В результате обнаруживается единственный объект, задаваемый вектором обнаружения fc = k(x,y,m), имеющий привязку по координатам (х,у), а также привязку по дальности на основе критерия максимальной корреляции с эталоном размером Lm. Если порог h превышают несколько объектов, выбирается объект с максимальным значением Ф.
Использование двухконтурного корреляционного обнаружителя позволяет в несколь-
ко раз расширить протяженность интервала обнаружения конуса без заметного увеличения вычислительных затрат.
Наличие помех, сигнал которых близок по форме к сигналу конуса, не позволяет снизить вероятность ложного отождествления ниже определенного порога. Повышение эффективности обнаружения требует привлечения дополнительных различительных признаков, имеющих слабую корреляцию с признаком формы и характеризующихся инвариантностью к условиям освещения. Использование подобных признаков возможно после обнаружения (локализации координат) объекта интереса в целях его классификации в категориях конус / не конус.
Одной из особенностей изображения конуса, ориентированного юбкой к наблюдателю, является наличие проекции замка топли-воприемника. Яркость замка отличается от яркости поля в пределах юбки, задаваемого излучением сцены, проходящим через элементы конструкции конуса (спицы, соединяющие замок топливоприемника и юбку). Отношение размеров замка к размеру юбки постоянно и может быть задано константой с1. Размер изображения замка определяется через размер изображения юбки на этапе обнаружения конуса с использованием (11). Тогда функционал Фь определяющий наличие замка топливоприемника в изображении объекта интереса, а также условие его классификации, приобретает вид
Ф! = V2(SKZ(x,y)) >ЬЪ (12)
где SKZ(x,y) = Z(i,j) * К; К = К(х,у) -фрагмент изображения сцены, содержащий объект интереса, задаваемый вектором обнаружения k; Z(i,j) - согласованный фильтр, представляющий собой матрицу размером c1Lm, задаваемую весовыми коэффициентами, пространственное распределение которых согласовано с изображением замка топливоприемника; h1 - фиксированный порог.
В целях достижения инвариантности к ослаблению и изменению знака контраста замка в различных условиях освещения сце-
ны, результат согласованной фильтрации Z(i,j) с целеподобным объектом К(х,у) подвергается пространственному дифференцированию оператором Лапласа.
Вторая особенность изображения конуса заключается в том, что оно содержит большое число регулярно расположенных элементов, отличающихся яркостными характеристиками от фона, в связи с чем пространственно-частотный спектр конуса содержит выраженные гармоники. Элементами конструкции, порождающими гармоники, являются спицы и светоотражающие полоски на юбке конуса. Центрально-симметричное расположение подобных объектов приводит к тому, что на фурье-спектре (на изображении, отображающем модуль фурье-преобразования фрагмента сцены К) соответствующие гармоники располагаются кольцеобразно. Отношение радиуса кольца гармоник к размеру изображения юбки постоянно и задается константой с2. Фильтрация спектра осуществляется согласованным фильтром Zp(.i>j). Функционал Ф2, классифицирующий конус на основе фурье-анализа, приобретает вид
Ф2=2Р(1,])*1Р{К(х,у)}1>к2, (13)
где F{•} - оператор фурье-преобразования; Zp(.i'j) - согласованный фильтр, представляющий собой матрицу размером 2c2Lm, задаваемую весовыми коэффициентами с максимальным значением на кольце радиусом с2Ьт, вписанном в матрицу; h2 - фиксированный порог.
С учетом приведенных функционалов логическое правило обнаружения конуса приобретает вид
(Ф>^ А (Фх > h) А Л(Ф2>Ь) =Тгие. (14)
После включения СТЗ или подачи команды на перезахват конуса обнаружитель осуществляет циклическое обнаружение до тех пор, пока условие (14) не будет выполнено.
Автоматическое сопровождение представляет собой покадровое обнаружение конуса в области, заданной в начальный момент вектором обнаружения /с, складывающейся из текущего размера и возможных смещений конуса за период кадра, центрируемой относительно текущего положения конуса.
В процессе сопровождения конус может проецироваться как на облачные образования, так и на элементы конструкции заправщика. При этом контраст отдельных участков изображения конуса может существенно варьироваться, вплоть до инверсии, с прохождением контраста через нулевые значения. Значительная вариация энергетических параметров цели приводит к неэффективности оценки сдвига на основе анализа амплитуды яркостных признаков. Сопровождение на основе искусственно размещаемых на объекте излучающих элементов (например, маркеров, как в [5-8]) также проблематично. В реальных условиях диапазон освещенности сцен (и сцен дозаправки особенно) существенно шире динамического диапазона матричного фотоприемника видеосистемы, поэтому изображение ярких объектов подвергается на уровне аппаратной предобработки автоматической компрессии, ограничивающей амплитуду их сигнала. Это приводит к выравниванию амплитуды сколь угодно ярких маркеров и площадных бликовых образований. При определенных условиях (солнце в передней полусфере, зеркальные бликовые отражения от элементов конструкции заправщика) сопровождение по маркерам может стать невозможным. Вероятно, использование специальных, малошумящих камер с аппаратно-расширенным динамическим диапазоном и значительной глубиной квантования сигнала (не менее 12^14 бит/пиксель) позволит селектировать маркеры, однако данный вопрос требует экспериментальной проработки.
Стохастический характер движения конуса в турбулентной атмосфере не позволяет воспользоваться предысторией его движения для оценки (или уточнения) текущего положения, поэтому в каждом такте сопровождения необходимо использовать обнаружение объекта с априорно неизвестным положени-
ем. С учетом сложности фоновой обстановки сопровождение конуса требует использования помехозащищенных алгоритмов обнаружения. Применение разработанной технологии корреляционного обнаружения в подобном случае представляется целесообразным и оправданным. Покадровое обнаружение в задаче сопровождения характеризуется тем, что область обнаружения достаточно мала (соизмерима с размером конуса), масштабные искажения, «набегающие» между соседними реализациями, малы, но при этом имеет место существенное изменение размера изображения цели при сопровождении от момента захвата до контактирования.
В процессе сближения линейный размер изображения конуса увеличивается более чем на порядок, при этом вычислительные затраты на корреляционное сопровождение возрастают в зависимости, близкой к кубической, поскольку требуется увеличение как площади строба сопровождения (окна) Q, так и величины интервала корреляции. Возрастают и затраты на оптимизирующую предобработку. Выдерживание заданного соотношения между размером окна Q и пространственным периодом полосового фильтра предобработки T(i,j) (рекомендованного в п. 3.1.1) приводит к увеличению его размера, так что свертку приходится выполнять в возрастающем окне Q пропорционально увеличивающимся матричным фильтром T(i,j).
Цена пропуска обнаружения конуса на этапах работы автоматов обнаружения и сопровождения различна. Пропуск на этапе захвата конуса может привести к незначительному увеличению времени обнаружения, пропуск в цикле сопровождения может привести к срыву сопровождения с необходимостью повторного вывода ЛА в зону обнаружения.
Таким образом, реализация алгоритма сопровождения на основе корреляционного измерения сдвига требует принятия дополнительных мер, направленных как на сокращение вычислительных затрат, вызванных ростом углового размера цели, так и на повышение помехозащищенности обнаружения цели в каждом такте сопровождения. Подоб-
Научный Вестник МГТУ ГА_Том 25, № 04, 2022
Civil Aviation High Technologies Vol. 25, No. 04, 2022
Первичные видеоданные
bm ( У >z )
Изображения конуса со стабилизированным масштабом
Размер изображения конуса
Рис. 5. Стабилизация масштаба изображения цели в процессе сопровождения Fig. 5. Target zoom stabilization while tracking
ная задача решается обеспечением пространственной и временной стационарности наблюдаемого процесса (лежащим в основе оптимизации любой корреляционной системы).
Сокращение издержек, связанных с временной нестационарностью реализовано на основе адаптивного масштабирования изображения. С этой целью размер изображения конуса (и корреляционного окна Q, обрамляющего его) на входе автомата сопровождения поддерживается постоянным на всем интервале дальностей. Стабилизация масштаба цели обеспечивается модулем цифрового масштабирования на основе обратной связи по данным оценки линейного размера цели с выхода обнаружителя (рис. 5). Аналогичным образом через обратную связь учитываются координатные данные для определения положения масштабируемой области Q на кадрах первичных видеоданных.
Осуществление адаптивного масштабирования выполняется на основе билинейного преобразования, описанного, например, в [17]. С этой целью производится построение последовательности окон Qм, для которых масштаб изображений цели Вм(х,у,г) в каждом кадре, задаваемом номером 2, поддерживается постоянным:
Вм(х>У>г) = а + Ь(х - \р7) +
+c(y-jpz) + d(x - îpz)(y-jpz); (15) а = B(i,j,z); b = B(i + 1,j,z) — a; с = B(i, j + 1,z); d = B(i + 1,j + 1,z) + a — b — c,
где B(i, j,z) - входное изображение; pz - коэффициент масштабирования изображения
= i
Vz = Y,z=l...zbVz'
где z - номер текущего кадра; àpz = Q^/Qz*-i ~ 1 - прирост коэффициента масштабирования за кадр.
Повышение эффективности покадрового обнаружения конуса реализовано на основе учета ковариационной нестационарности в пределах окна QM. С этой целью окно сегментируется на b X d прямоугольных областей QH?d, соприкасающихся границами, и по каждой области рассчитывается корреляция RJ'k цели В и эталона I (рис. 6).
Для каждой корреляционной функции RJ'k выполняется оценка дисперсии - значения функции для нулевого смещения RJk(0,0). Если дисперсия участка с координатами (j, к) выше некоторого порога h3, соответствующая локальная корреляционная функция включается в расчет функции RQ(AxfAy). Ре-
Vol. 25, No. 04, 2022
Civil Aviation High Technologies
Рис. 6. К вопросу покадрового обнаружения конуса с учетом ковариационной нестационарности в пределах окна Fig. 6. On the question of frame-by-frame drogue detection, considering the covariance non-stationarity within the window
зультирующая корреляционная функция области произвольной формы, составленной из фрагментов, рассчитывается как математическое ожидание локальных корреляционных функций [18-20].
Предобработка изображения в окне Qм производится в соответствии с (8), принятие решения на обнаружение (и оценку координат) конуса в пределах окна Qм в каждом такте сопровождения производится в соответствии с (9) для порога принятия решений Л4. Скорость сближения с конусом (заправщиком) может варьироваться, поэтому степень масштабирования цели за такт обнаружения априорно неизвестна. Повышение эффективности совмещения эталона и цели требует в каждом такте сравнения с Ш эталонами 1м(х,у) различного масштаба. Правило обнаружения конуса в каждом такте сопровождения приобретает вид
{Ц,к)-.К1к(0,0)>1г3}; №(Ах,Ау) = М$ак)е(2&к(Ах,Ау)} ;(16)
где } = 1...Ь; к = 1... й; ю = 1... IV; М{] -оператор математического ожидания.
Используемая выборка функций И]к характеризуется высокой дисперсией и малым взаимным разбросом значений. Таким обра-
зом, в каждом такте сопровождения на изображении конуса выбираются только участки с максимальным отношением сигнал/фон, что повышает эффективность сопровождения без увеличения вычислительных затрат.
Результаты исследования
Моделирующий комплекс состоит из имитатора фоноцелевой обстановки (ФЦО) и макета СТЗ (рис. 7). Имитатор ФЦО включает телевизор с диагональю 75" и транслируемые на нем видеопоследовательности изображений сцены дозаправки, полученные как на основе реальных записей (для оценки эффективности обнаружителя и верификации полного цикла автоматизированного видеонаблюдения), так и синтезированные записи движения конуса в условиях различной турбулентности (для оценки эффективности автомата сопровождения).
Макет СТЗ включает телевизионную камеру BHV-1000 с широкоугольным объективом LM5JC10M (поле зрения 60 х 30°) и одноплатный вычислитель CPB909 формата 3,5" на базе 4-ядерного процессора Intel Atom E3845 с ФПО обнаружения и сопровождения конуса под управлением ОС Linux.
В процессе испытаний ФЦО воспроизводится на телевизоре. Экран телевизора снимается камерой СТЗ. Видеоданные с камеры поступают на вычислитель, где обрабатываются алгоритмическим обеспечением обнаружения и сопровождения конуса.
На рис. 8 показаны некоторые элементы технологии автоматического обнаружения и сопровождения. Окно 1, обрамляющее изображение конуса (окно Q), движется и масштабируется совместно с конусом. По данному окну (точнее, по его привязке к конусу) летчик контролирует работу СТЗ. Окна 2-4 являются технологическими и выведены для пояснения работы СТЗ.
В окне 2 отображены участки сцены контура предварительного обнаружения, включающие цель и целеподобные помехи. Изображения (в количестве N = 9) автоматически фиксируются в момент обнаружения конуса.
Civil Aviation High Technologies
Vol. 25, No. 04, 2022
Рис. 7. Моделирующий комплекс отработки системы технического зрения Fig. 7. Modeling complex for the synthetic vision system performance
Рис. 8. Иллюстрация работы функционального программного обеспечения обнаружения и сопровождения
конуса на основе реальной записи дозаправки Fig. 8. Illustration of the operation of the functional software for detecting and tracking a drogue based
on a real-time refueling recording
Видно, что суммарная площадь N изображений (определяющая вычислительные затраты предварительного контура) существенно меньше площади исходной анализируемой сцены.
В окне 3 показаны эталоны (х, у) автомата сопровождения, обеспечивающие оцен-
ку размера изображения конуса в каждом такте. Справа от каждого эталона приведена визуализация функции к1(Лх,Лу).
В окне 4 представлены 3 изображения. Первое из них содержит изображение конуса Вм(х,у,г) в окне , масштаб которого поддерживается постоянным в соответствии
Vol. 25, No. 04, 2022
Civil Aviation High Technologies
с (15). Второе представляет результат обработки BM(x,y,z) линейным фильтром T(i,j). Третье отображает поле корреляционных функций RJk (схематически показанное на рис. 6), в данном случае j = 1...3; к = 1.3. Корреляционные функции получены в результате сегментации окна Q% на 3 х 3 области и свертки соответствующих областей и областей сегментированного эталона. Анализ функций в соответствии с правилом (j,k)lRjk(00)>h3 обеспечивает выбор оптимальных для сопровождения участков конуса.
Для оценки эффективности обнаружителя СТЗ использовалась видеозапись, полученная с борта заправляемого ЛА в процессе учебно-тренировочного полета по отработке дозаправки топливом. Телевизионная камера располагалась в кабине летчика. Пространственная ориентация и поле зрения (« 60 х 30 ) камеры обеспечивали наблюдение конуса на всем рабочем интервале дальностей работы СТЗ. Продолжительность тестовой записи составила 1 час. За это время было произведено 15 сближений, охватывающих интервал 30^1 м от конуса до заправочной штанги. Атмосфера характеризовалась наличием кучевых облаков, при этом полеты выполнялись над облачностью. Горизонтальная видимость составляла более 10 км. Заправщик и заправляемый ЛА выполняли маневры, так что относительное угловое положение солнца изменялось в круговом секторе. Высота
о
солнца над горизонтом составляла 10^15. В процессе маневрирования прямое солнечное излучение попадало в поле зрения телевизионной камеры.
Период обнаружения цели системой технического зрения (на процессоре Intel Atom E3845) в кадре форматом 1280 х 720 пикселей составляет примерно 2 с ((1,9 ± 10 %) с). За 1 час, таким образом, автомат производит 1800 циклов обнаружения (N). По результатам испытаний на основе тестовой записи суммарное количество ложных тревог (ЛТ) в среднем составило 21 (количество фиксируемых ЛТ от реализации к реализации по одной и той же записи незначительно меня-
ется). Таким образом, для используемой выборки видеонаблюдений вероятность ложной тревоги РЛТ составила
1,2 х 10~2.
N
На основе тестовой записи была скомпилирована вторая запись, представляющая сборку видеосюжетов, на которой конус перемещается только в интервале дальностей 15^22 м, в зоне, где автомат обеспечивает возможность обнаружения. На дальности свыше 22 м угловые размеры конуса и двигателей выравниваются, что приводит к увеличению уровня ложных тревог. Для предотвращения ложных захватов введено программное ограничение на обнаружение целе-подобных объектов (двигателей, например), размер которых меньше определенного порога. Так что на дальности свыше 22 м обнаружение не происходит даже при наличии цели в поле зрения. Смещение нижней границы (например, до 10-12 м) приводит к необходимости использования дополнительных эталонов 1т(х,у) увеличенного масштаба, вызывающих пропорциональное увеличение периода обнаружения, что также нецелесообразно.
Продолжительность полученной сборки записей составляет 2 минуты 50 секунд, за это время конус 15 раз пересекает зону обнаружения в процессе сближения (расхождения) топливозаправщика и заправляемого ЛА. Продолжительность записи обеспечивает 85 тактов обнаружения Л^.
Среднее количество правильных обнаружений Ыпо по второй записи составило 60 ± 10 %. Остальные 25 реализаций представляли собой пропуск обнаружения без ложных захватов. Вероятность правильного обнаружения конуса РПО, таким образом, составляет
Мпо
Соответственно, вероятность пропуска цели РПц составляет РПц = 1 — Рпо = 0,3.
Полученные значения характеризуют вероятность обнаружения и пропуска за один такт (2 с) работы обнаружителя.
В соответствии с предлагаемой в п. 4 логикой автоматизированного наблюдения конуса его обнаружение должно осуществляться в процессе сближения в пределах интервала обнаружения. При взаимной скорости сближения « 1 м/с будет осуществлено от 2 до 3 тактов обнаружения. В предположении, что пропуски в процессе сближения равновероятны (Рпщ = Рпц2), вероятность Рпо2 того, что за 2 такта (4 с) произойдет обнаружение конуса хотя бы в одном такте, равна
^ПО2 = 1- Рщ1Рщ2 ~ 0'9-
Аналогично для трех тактов (6 с) РПО2 = 1- ^ПЦ1^ПЦ2^ПЦЗ ~ О,973.
Не следует исключать ситуацию, при которой в силу особенностей освещения сцены Рпо окажется ниже 0,7. В этом случае необходимо последовательно выполнить сближение, а затем расхождение (в интервале дальностей « 22^15 м), что обеспечит 6 тактов обнаружения. При этом, например, для РПО = 0,5 результирующая вероятность обнаружения составит РПО6 = 0,98.
Таким образом, выполнение несложных тактических приемов в процессе автоматизированного наблюдения конуса позволяет добиться необходимой эффективности захвата.
Для оценки эффективности автомата сопровождения использовались видеопоследовательности движения конуса в условиях различной турбулентности, полученные на основе (1) и (2). Поскольку положение конуса в каждом кадре тестовых записей априорно известно, количественные показатели эффективности определялись через статистику покадровых ошибок. К их числу прежде всего относится вероятность успешного сопровождения конуса в зависимости от показателя турбулентности, среднеквадратическое отклонение (СКО) и среднее значение модуля ошибки сопровождения от дальности для заданной турбулентности.
Экспериментально полученная вероятность успешного сопровождения рассчитывалась как доля кадров видеопоследовательности, для которых текущая ошибка сопровождения конуса с вероятностью 0,99 не превышала внешний радиус юбки конуса. Оценка вероятности рассчитывалась как среднее арифметическое вероятностей успешного сопровождения в каждой из 18 синтезированных тестовых записей, воспроизводимых не менее 100 раз. Результат испытаний представлен на рис. 9.
СКО скорости колебаний конуса принято равным СКО турбулентных порывов о, то есть задается показателем турбулентности в соответствии с моделью Драйдена. Видно, что для о свыше 1,2 м/с наблюдается быстрое снижение вероятности успешного сопровождения. Для о = 1 м/с вероятность составляет « 0,97 и в среднем равна вероятностям успешного сопровождения для меньших показателей турбулентности. Таким образом, порог турбулентности, до которого обеспечивается эффективное сопровождение, составляет о = 1 м/с. На рис. 10 приведена полученная экспериментально зависимость СКО ошибки сопровождения конуса от дальности до него для о = 1 м/с.
На дальности свыше 2 метров она не превышает 1,5 см. При дальности менее 2 м происходит быстрый рост ошибки. Данный эффект связан с тем, что при моделировании записей виртуальная камера наблюдения конуса размещалась аналогично бортовой камере, с боковым выносом относительно заправочной штанги, составляющим « 1 м. В результате в ближней зоне возникала значительная тангенциальная составляющая скорости, увеличивающая ошибки измерения сдвига. Кроме того, на малой дальности угловой размер конуса начинает превышать поле зрения камеры, что приводит к дополнительным ошибкам. Преодоление подобных ошибок возможно на основе рационального размещения камеры относительно заправочной штанги при проектировании и построении бортовой СТЗ.
Среднеквадратические отклонения ошибок сопровождения конуса характеризуют их случайные составляющие, а средние значе-
Vol. 25, No. 04, 2022
Civil Aviation High Technologies
1
i
14
16
18
Рис. 9. Зависимость вероятности успешного сопровождения от СКО скорости колебаний конуса Fig. 9. Dependence of the probability of successful tracking on the mean square deviation (MSD) of the drogue oscillations velocity
0 2 4 6 8 10 12 Дальность до конуса, м Рис. 10. Зависимость СКО ошибки сопровождения конуса от дальности до него для СКО скорости колебаний конуса 1 м/с Fig. 10. Dependence of the error MSD of drogue tracking on the distance to it for the MSD of the drogue oscillations velocity 1 meter per second
Рис. 11. Зависимость среднего значения модуля ошибки сопровождения конуса от дальности до него
для СКО скорости колебаний конуса 1 м/с Fig. 11. Dependence of the mean value of error modulus of drogue tracking on the distance to it for the MSD of the drogue oscillations velocity 1 meter per second
ния модуля ошибок - систематические. На рис. 11 приведена зависимость среднего значения модуля ошибки сопровождения конуса от дальности до него для СКО скорости колебаний конуса 1 м/с, полученная в результате экспериментальных исследований. Видно, что систематическая ошибка больше и достигает 8 см.
Рис. 12. Зависимость среднего значения ошибки определения дальности до конуса от расстояния до него для СКО скорости колебаний конуса 1 м/с Fig. 12. Dependence of the mean value of error in determining the distance to the drogue on the distance to it for the MSD of the drogue oscillations velocity 1 meter per second
Здесь и далее приведены результаты экспериментов, полученные при усреднении по относительно небольшой выборке. Этим и сложностью поддержания фиксированного уровня параметра эксперимента - уровня турбулентности среды (или, что то же самое согласно принятой гипотезе, СКО скорости конуса) объясняется большая «изрезанность»
Civil Aviation High Technologies
Vol. 25, No. 04, 2022
графиков. Более корректное представление -сглаженные зависимости с указанием доверительных интервалов экспериментальных точек - в данной работе не рассматривается.
При этом на основе сведений о линейных размерах изображения конуса в процессе его видеонаблюдения выполняется оценка дальности до него. Рис. 12 иллюстрирует полученную экспериментально зависимость среднего значения ошибки определения дальности до конуса от расстояния до него для СКО скорости колебаний конуса 1 м/с. По графику видно, что после устойчивого захвата изображения конуса автоматом сопровождения среднее значение ошибки определения дальности не превышает 2 м (на дальности менее 18 м).
Обсуждение полученных результатов
Контактирование с конусом на основе координатных данных СТЗ возможно на основе различных стратегий.
1. Сопровождение центра колебаний конуса. На основе данных СТЗ в процессе сближения определяется математическое ожидание (МОЖ) положения конуса. Заправляемый ЛА движется в расчетную точку, вокруг которой конус совершает колебания, игнорируя его случайные текущие положения. При отсутствии регулярных возмущающих воздействий на конус (например, вызываемых воздействием воздушных потоков, обтекающих носовую часть ЛА) вероятность попадания штангой в конус имеет вид, представленный на рис. 13. Видно, что для малых значений турбулентности (менее 0,4 м/с) вероятность успешного попадания достаточно высока - более 0,8. И напротив, для турбулентности 1 м/с вероятность попадания в конус снижается до уровня 0,3. Таким образом, для контактирования в условиях высокой турбулентности требуется сопровождение конуса.
2. Сопровождение конуса. Будем считать, что система автоматического управления (САУ) заправляемого ЛА отрабатывает целе-
□-■-'-------■-
0.2 0.4 0.6 0.8 1 12 1.4 1.(
СКО скорости колебаний конуса, м/с
Рис. 13. Вероятность попадания штангой в конус при ошибке определения МОЖ положения конуса 10 см
Fig. 13. Probability of the penetration of a flying boom into a drogue in case of an error in determining the mathematical expectation of the drogue position 10 cm
указание СТЗ без ошибок пространственного положения (приводит заправочную штангу в заданную пространственную точку в каждом такте автомата сопровождения), но с некоторой временной задержкой.
В подобном случае вероятность попадания штангой в конус зависит как от показателя турбулентности, так и от времени реакции СAУ. При наличии временных задержек в контуре управления необходим прогноз положения конуса на временном интервале, равном времени реакции СAУ. В этом случае в каждом такте сопровождения заправляемый ЛA движется в прогнозируемую точку, компенсируя ошибки временных задержек.
На рис. 14 приведена зависимость вероятности попадания штангой в конус от временного интервала прогнозирования для показателя турбулентности, а = 0,25 м/с. Видно, что, если, например, время прогноза (реакции СAУ) более 1 с, вероятность успешного контактирования с конусом становится менее 0,8. Первая стратегия (рис. 13) для той же турбулентности (0,25) обеспечивает вероятность успешного контактирования, близкую к 1. Таким образом, в условиях малой турбулентности и для медленно маневрирующего заправляемого ЛA эффективнее сопровождение центра колебаний конуса.
Vol. 25, No. 04, 2022
Civil Aviation High Technologies
Рис. 14. Зависимость вероятности попадания штангой в конус от временного интервала прогнозирования для показателя турбулентности 0,25 м/с Fig. 14. Dependence of the probability of the penetration of a flying boom into a drogue on the forecasting time interval for a turbulence index 0.25 meters per second
Рис. 15. Зависимость вероятности попадания штангой в конус от временного интервала прогнозирования для показателя турбулентности 1 м/с Fig. 15. Dependence of the probability of the penetration of a flying boom into a drogue on the forecasting time interval for a turbulence index 1 meter per second
В условиях значительной турбулентности время реакции САУ для успешного контактирования должно быть существенно меньше. На рис. 15 приведена зависимость вероятности попадания штангой в конус от временного интервала прогнозирования для показателя турбулентности а = 1 м/с. Видно, что для достижения вероятности более 0,8 время реакции САУ должно быть менее 0,2 с. Для тяжелых заправляемых ЛА достижение подобного времени реакции представляется проблематичным. Решение проблемы заправки слабо маневрирующих ЛА в условиях сильной турбулентности может быть обеспечено использованием управляемого конуса.
3. Сопровождение управляемого конуса. Очевидно, что потенциально достижимые динамические характеристики конуса, в силу его массогабаритных характеристик, выше, чем для заправляемого ЛА. Использование конуса-датчика, снабженного механизацией, формирующей вектор тяги, нормальный вектору воздушной скорости, позволяет качественно изменить способ решения задачи стыковки. В случае построения эффективно управляемого конуса данные СТЗ, транслируемые на него (например, по радиоканалу),
позволят выполнять маневры, компенсирующие случайные турбулентные порывы, а также систематические поперечные смещения конуса и штанги. В результате не заправляемый ЛА, а конус будет осуществлять необходимые перемещения в пространстве, парирующие турбулентные порывы и прирост подъемной силы от носовой части фюзеляжа заправляемого самолета, в целях достижения успешного контактирования.
Аэродинамическая характеристика современного конуса-датчика ориентирована на стабилизацию пространственного положения в воздушном потоке, препятствующую откликам на тангенциальное (к вектору скорости) воздействие. Поэтому, вероятнее всего, модернизация существующих моделей конуса приведет лишь к частичному решению задачи построения управляемого конуса.
Таким образом, в ближней перспективе эффективное автоматизированное выполнение стыковки в условиях сильной турбулентности может быть выполнено на основе сопровождения модернизированного управляемого конуса, включающее как маневрирование заправляемого ЛА, так и маневрирование самого конуса.
Заключение
1. Предложена технология автоматизированного видеонаблюдения конуса-датчика на основе пассивной оптико-электронной системы. Технология включает:
• логику автоматизированного наблюдения сцены дозаправки с использованием алгоритмов автоматического обнаружения и сопровождения конуса-датчика;
• методический аппарат подоптимальной линейной фильтрации наблюдаемого процесса в условиях пространственной и временной нестационарности сцены;
• алгоритмы автоматического корреляционного обнаружения и сопровождения конуса-датчика с использованием подоптималь-ной фильтрации.
2. На основе разработанной технологии и по результатам оценки эффективности алгоритмов автоматизированного наблюдения предложена стратегия выполнения автоматизированной дозаправки в условиях различной турбулентности:
• в условиях слабой турбулентности успешное контактирование обеспечивается сопровождением центра колебаний конуса;
• в условиях сильной турбулентности успешное контактирование может быть обеспечено сопровождением конуса, управляемого по данным СТЗ.
Список литературы
1. Martinez C. A Vision-based strategy for autonomous aerial refueling tasks / C. Martinez, T. Richardson, P. Thomas, J. du Bois, P. Campoy // Robotics and Autonomous Systems. 2013. Vol. 61, iss. 8. Pp. 876-895. DOI: 10.1016/j.robot.2013.02.006
2. Bhandari U. Bow wave effect in probe and drogue aerial refueling / U. Bhandari, P.R. Thomas, S. Bullock, T.S. Richardson, J.L. du Bois [Электронный ресурс] // AAIA Guidance, Navigation and Control Conference, 19-22 August 2013. Pp. 1-21. DOI: 10.2514/ 6.2013-4695 (дата обращения: 18.09.2021).
3. Thomas P.R. Advances in air to air refueling / P.R. Thomasa, U. Bhandaria, S. Bull-ocka, T.S. Richardsona, J.L. du Bois // Progress in Aerospace sciences. 2014. Vol. 71. Pp. 14-35. DOI: 10.1016/j.paerosci.2014.07.001
4. Thomas P.R. Collaborative control in a flying-boom aerial refueling simulation / P.R. Thomas, S. Bullock, T.S. Richardson, J. Whidborne [Электронный ресурс] // Journal of Guidance, Control and Dynamics. 2015. Vol. 38, no. 7. Pp. 1-16. DOI: 10.2514/ 1.G000486 (дата обращения: 18.09.2021).
5. Fravolini M.L., Campa G., Napolitano M.R. Evaluation of machine vision algorithms for autonomous aerial refueling for unmanned aerial vehicles // Journal of Aerospace Computing, Information and Communication. 2007. Vol. 4, no. 9. Pp. 968-985. DOI: 10.2514/1.17269
6. Fravolini M.L. Machine vision algorithms for autonomous aerial refueling for UAVs using the USAF refueling boom method / M.L. Fravolini, M. Mammarella, G. Campa, M.R. Napolitano, M. Perhinschi // Innovations in Defence Support Systems - 1. Studies in Computational Intelligence, in Finn A., Jain L.C. (ed.). Springer, Berlin, Heidelberg, 2010. Vol. 304. Pp. 95-138. DOI: 10.1007/978-3-642-14084-6_5
7. Mammarella M. Comparison of point matching algorithms for the UAV aerial refueling problem / M. Mammarella, G. Campa, M.R. Napolitano, M. Fravolini // Machine Vision and Application. 2010. Vol. 21, no. 3. Pp. 241-251. DOI: 10.1007/s00138-008-0149-8
8. Campa G., Napolitano M.R., Fravolini M. Simulation environment for machine vision based aerial refueling for UAVs // IEEE Transactions on Aerospace and Electronic Systems. 2009. Vol. 45, no. 1. Pp. 138-151. DOI: 10.1109/TAES.2009.4805269
9. Василенко Г.И. Голографическое распознавание образов. М.: Советское радио, 1977. 328 с.
10. Колос М.В., Колос И.В. Методы оптимальной линейной фильтрации / Под ред. В.А. Морозова. М.: Изд-во МГУ, 2000. 102 с.
11. Гайденков А.В., Шароватов Е.В. Исследование возможностей полей корреля-
ционных функций в задаче оптимального обнаружения сигнала известной формы в изображении // Информационно-измерительные и управляющие системы. 2008. Т. 6, № 12. C. 69-76.
12. Вышинский В.В., Кукушкин Л.С.
Моделирование на пилотажном стенде заправки в воздухе с учетом воздействия атмосферной турбулентности и спутного следа // Научный Вестник МГТУ ГА. 2011. № 172. С. 34-41.
• Диденко В.П., Цитрицкий О.Е. Фильтрация и регуляризация. Киев: КГУ, 1977. 51 с.
13. Ярославский Л.П. Цифровая обработка сигналов в оптике и голографии: введение в цифровую оптику. М.: Радио и связь, 1987. 296 с.
14. Астапов Ю.М., Васильев Д.В., За-ложнев Ю.И. Теория оптико-электронных следящих систем. М.: Наука, 1988. 328 с.
15. Гайденков А.В., Шароватов Е.В. Исследование влияния параметров фильтрации изображения на характеристики корреляционного обнаружения сигнала известной формы // Труды ВВИА. Авиационное радиоэлектронное оборудование. 2007. № 1. С.124-143.
16. Грузман И.С. Цифровая обработка изображений в информационных системах: учеб. пособие / И.С. Грузман, В.С. Киричук, В.П. Косых, Г.И. Перетягин, А.А. Спектор. Новосибирск: Изд-во НГТУ, 2000. 168 с.
17. Гайденков А.В. Синтез и анализ полей корреляционных функций в информационных оптико-электронных системах // Информационно-измерительные и управляющие системы. 2007. Т. 5, № 2. С. 3-7.
18. Гайденков А.В., Москальцов А.И. Обнаружение неконтрастных наземных движущихся целей в условиях масштабно-ракурсных преобразований изображения // Информационно-измерительные и управляющие системы. 2007. Т. 5, № 1. С. 10-15.
19. Дуда Р., Харт П. Распознавание образов и сцен / Пер. с англ. Г.Г. Вайнштейна, А.М. Васьковского, под ред. В.Л. Стефанюка. М.: Мир, 1976. 511 с.
References
1. Martinez, C., Richardson, T., Thomas, P., du Bois, J. & Campoy, P. (2013). A Vision-based strategy for autonomous aerial refueling tasks. Robotics and Autonomous Systems, vol. 61, issue 8, pp. 876-895. DOI: 10.1016/j.robot.2013.02.006
2. Bhandari, U., Thomas, P.R., Bullock, S., Richardson, T.S. & du Bois, J.L.
(2013). Bow wave effect in probe and drogue aerial refueling. AAIA Guidance, Navigation and Control Conference, 19-22 August, pp. 121. DOI: 10.2514/6.2013-4695 (accessed: 18.09.2021).
3. Thomas, P.R., Bhandari, U., Bullock, S., Richardson, T.S. & du Bois, J.
(2014). Advances in air to air refueling. Progress in Aerospace sciences, vol. 71, pp. 14-35. DOI: 10.1016/j.paerosci.2014.07.001
4. Thomas, P.R., Bullock, S., Richardson, T.S. & Whidborne, J. (2015). Collaborative control in a flying-boom aerial refueling simulation. Journal of Guidance, Control and Dynamics, vol. 38, no. 7, pp. 1-16. DOI: 10.2514/1.G000486 (accessed: 18.09.2021).
5. Fravolini, M.L., Campa, G. & Napolitano, M.R. (2007). Evaluation of machine vision algorithms for autonomous aerial refueling for unmanned aerial vehicles. Journal of Aerospace Computing, Information and Communication, vol. 4, no. 9, pp. 968-985. DOI: 10.2514/1.17269
6. Fravolini, M.L., Mammarella, M., Campa, G., Napolitano, M.R. & Perhin-schi, M. (2010). Machine vision algorithms for autonomous aerial refueling for UAVs using the USAF refueling boom method. In book: Innovations in Defence Support Systems-1. Studies in Computational Intelligence, vol. 304, in: Finn A., Jain L.C. (ed.). Springer, Berlin, Heidelberg. DOI: 10.1007/978-3-642-14084
7. Mammarella, M., Campa, G., Napolitano, M.R. & Fravolini, M. (2010). Comparison of point matching algorithms for the UAV aerial refueling problem. Machine Vision and Application, vol. 21, no. 3, pp. 241-251. DOI: 10.1007/s00138-008-0149-8
8. Campa, G., Napolitano, M.R. & Fravolini, M. (2009). Simulation environment for machine vision based aerial refueling for UAVs. IEEE Transactions on Aerospace and Electronic Systems, vol. 45, no. 1, pp. 138-151. DOI: 10.1109/TAES.2009.4805269
9. Vasilenko, G.I. (1977). [Holographic pattern recognition]. Moscow: Sovetskoye radio, 328 p. (in Russian)
10. Kolos, M.V. & Kolos, I.V. (2000). [Methods of optimal linear filtration], in Moro-zov V.A. (Ed.). Moscow: Izdatelstvo MGU, 102 p. (in Russian)
11. Gaidenkov, A.V. & Sharovatov, E.V. (2008). Investigation of fields ASF in task of optimum detection in scene of the signal of known form. Information-Measuring and Control Systems, vol. 6, no. 12, pp. 69-76. (in Russian)
12. Vyshinsky, V.V. & Kukushkin, L.S. (2011). Aerial refueling simulation in flight simulator with taking into account atmospheric and wake turbulence effect. Nauchnyy Vestnik MGTU GA, no. 172, pp. 34-41. (in Russian)
13. Didenko, V.P. & Tsitritsky, O.Ye. (1977). [Filtration and regularization]. Kyiv: KGU, 51 p. (in Russian)
14. Yaroslavsky, L.P. (1987). [Digital signal processing in optics and holography: an introduction to digital optics]. Moscow: Radio i svyaz, 296 p. (in Russian)
15. Astapov, Yu.M., Vasiliev, D.V. & Za-lozhnev, Yu.I. (1988). [Theory of electrooptical tracking systems]. Moscow: Nauka, 328 p. (in Russian)
16. Gaidenkov, A.V. & Sharovatov, Ye.V. (2007). Investigation of the influence of image filtering parameters on the characteristics of the correlation detection of a signal of a known shape. Trudy VVIA. Aviatsionnoye radioel-ektronnoye oborudovaniye, no. 1, pp. 124-143. (in Russian)
17. Gruzman, I.S., Kirichuk, V.S., Ko-sykh, V.P., Peretyagin, G.I. & Spector, A.A. (2000). [Digital image processing in information systems]. Novosibirsk: Izdatelstvo NGTU, 168 p. (in Russian)
18. Gaidenkov, A.V. (2007). Synthesis and the analysis of fields of correlation functions in optics-electronic information systems. Information-Measuring and Control Systems, vol. 5, no. 2, pp. 3-7. (in Russian)
19. Gaidenkov, A.V. & Moskaltsov, A.N. (2007). Detection of the moving ground targets with low-contrast in conditions of turn and scaling of the image. Information-Measuring and Control Systems, vol. 5, no. 1, pp. 10-15. (in Russian)
20. Duda, R.O. & Hart, P.E. (1973). Pattern Classification and Scene Analysis. 1st ed. A Wiley-Interscience publication, 512 p.
Сведения об авторах
Гайденков Андрей Викторович, доктор технических наук, профессор, начальник отдела АО «Бортовые аэронавигационные системы», gaidenkov@ians.aero.
Каневский Михаил Игоревич|, доктор технических наук, профессор, заместитель генерального директора - главный конструктор АО «Бортовые аэронавигационные системы».
Островский Александр Сергеевич, доктор технических наук, доцент, профессор кафедры МГТУ им. Н.Э. Баумана, oas@bmstu.ru.
Ганяк Олег Иосифович, заместитель генерального директора ФГУП «Центральный аэрогидродинамический институт им. проф. Н.Е. Жуковского», oleg.ganyak@tsagi.ru.
Чижов Николай Юрьевич, кандидат технических наук, начальник НИЦ ЦНИИ ВВС Минобороны России, gaidenkov@ians.aero.
Vol. 25, No. 04, 2022
Civil Aviation High Technologies
Information about the authors
Andrey V. Gaidenkov, Doctor of Technical Sciences, Professor, The Head of Department of JSC "Airborne Navigation Systems", gaidenkov@ians.aero.
Mikhail I. Kanevskiy |, Doctor of Technical Sciences, Professor, Deputy General Director - Chief Designer of JSC "Airborne Navigation Systems".
Alexander S. Ostrovskiy, Doctor of Technical Sciences, Associate Professor, Professor of the Chair of Bauman Moscow State Technical University, oas@bmstu.ru.
Oleg I. Ganyak, Deputy General Director of Central Aerohydrodynamic Institute (TsAGI), oleg.ganyak@tsagi.ru.
Nikolai Yu. Chizhov, Candidate of Technical Sciences, The Head of Air Force Research Establishment, Central Research Institute of the Ministry of Defense of the Russian Federation, gaidenkov@ians.aero.
Поступила в редакцию 17.03.2022 Received 17.03.2022
Принята в печать 25.07.2022 Accepted for publication 25.07.2022
