CC BY
48https://doi.org/10.32603/1993-8985-2019-22-1-17-28 УДК 004.932.2
Д. С. Андреев
Санкт-Петербургский государственный электротехнический университет "ЛЭТИ" им. В. И. Ульянова (Ленина) ул. Профессора Попова, д. 5, Санкт-Петербург, 197376, Россия
ПРИМЕНЕНИЕ МЕТОДОВ ОБНАРУЖЕНИЯ ОБЪЕКТОВ К ИЗОБРАЖЕНИЯМ ВЗЛЕТНО-ПОСАДОЧНОЙ ПОЛОСЫ, ПОЛУЧЕННЫМ В УСЛОВИЯХ ПЛОХОЙ ВИДИМОСТИ
Аннотация. При обеспечении безопасности движения самолета особенно важна осведомленность экипажа о закабинном пространстве в условиях плохой видимости. Важнейшую роль играет информация о состоянии взлетно-посадочной полосы (ВПП) и о наличии на ней препятствий. Существуют наземные системы обнаружения препятствий, но в настоящее время такими системами оборудованы лишь крупные аэропорты. Альтернативой могут служить системы улучшенного видения, используемые на воздушном судне в условиях плохой видимости. Цель представленного в настоящей статье исследования - разработка средств обнаружения препятствий на ВПП в условиях плохой видимости, которые должны расширить возможности систем улучшенного видения. В рамках исследования рассмотрены методы обнаружения объектов только на статичных изображениях. Проведен анализ разметки, объектов ВПП и возможных типов препятствий. Определены цели для обнаружения. На комплексном авиационном тренажере выполнено моделирование снимков ВПП в условиях плохой видимости. В качестве моделируемой цели для обнаружения выбрано воздушное судно на ВПП, потерявшее способность двигаться. Сформулированы требования к дескрипторам признаков, методам распознавания и обнаружения, выбраны методы для исследования. Проведена оценка применимости методов к изображениям ВПП, полученным в условиях плохой видимости выше и ниже высоты принятия решения с учетом различных характеристик. Исследованные методы решают задачу обнаружения объектов ВПП в условиях плохой видимости для статичного изображения. Сформулированы выводы о возможности применения исследованных методов в системах улучшенного видения. В дальнейшем требуется разработка методов оптимизации для обеспечения обнаружения на видеопоследовательности в режиме реального времени. Результаты представленной работы актуальны в задачах авиаприборостроения, компьютерного видения и обработки изображений.
Ключевые слова: система улучшенного видения, распознавание объектов, взлетно-посадочная полоса, обнаружение объектов на изображениях, анализ изображений
Для цитирования: Андреев Д. С. Применение методов обнаружения объектов к изображениям взлетно-посадочной полосы, полученным в условиях плохой видимости // Изв. вузов России. Радиоэлектроника. 2019. Т. 22, № 1. С. 17-28. doi:10.32603/1993-8985-2019-22-1-17-28_
Denis S. Andreev
Saint Petersburg Electrotechnical University "LETI" 5, Professor Popov Str., 197376, St. Petersburg, Russia
OBJECT DETECTION METHOD APPLICATION TO RUNWAY IMAGERY IN LOW VISIBILITY CONDITIONS
When ensuring aviation safety, the outboard environment awareness of the crew in low visibility conditions is especially important. The information about the runway condition and availability of any obstacles is crucial.
© Андреев Д. С., 2019
17
There are ground-based obstacle detection systems, but currently only large airports are equipped with them. There are Enhanced Vision Systems designed for application on aircraft in low visibility conditions. The main goal of this research is to develop the means of runway obstacle recognition in low visibility conditions, which are to improve the capabilities of Enhanced Vision Systems. The research covers only the methods for static image object detection. The analysis of the runway markings, objects and possible obstacles is performed. Targets for acquisition are defined. The simulation of runway images is performed on full-flight simulator in low visibility conditions. The requirements for features descriptors, recognition and detection methods are defined and methods for research are defined. The paper provides evaluation of method applicability to runway pictures taken in poor visibility conditions above and below the decision height taking into account various characteristics. The covered methods solve the problem of detecting objects of the runway in low visibility conditions for static image. Conclusions about the possibility to use the studied methods in Enhanced Vision Systems are made. Further development of optimization methods is required to perform detection in video sequences in real time. The results of this work are relevant to the tasks of avionics, computer vision and image processing.
Key words: enhanced vision system, object recognition, runway, object detection in images, image analysis
For citation: Andreev D. S. Object Detection Method Application to Runway Imagery in Low Visibility Conditions. Journal of the Russian Universities. Radioelectronics. 2019, vol. 22, no. 1, pp. 17-28. doi:10.32603/1993-8985-2019-22-1-17-28 (In Russian)
Введение. Обеспечение безопасности движения самолета при заходе на посадку и посадке является одной из важнейших задач организации воздушного движения. Особую важность представляет эксплуатация воздушного судна в условиях плохой видимости. Согласно исследованиям Всемирного фонда безопасности более 75 % аварий при заходе на посадку и посадке происходят в условиях недостаточной видимости, когда системы точной посадки на взлетно-посадочной полосе (ВПП) отсутствуют или по какой-либо причине не функционируют [1].
Одного светотехнического оборудования ВПП не всегда достаточно для обеспечения безопасного захода на посадку: в условиях ограниченной видимости зачастую невозможно достоверно определить высоту и положение воздушного судна по отношению к полосе. Для безопасной посадки необходимо иметь дополнительную информацию и визуальные ориентиры.
К ключевым факторам безопасности движения самолета на всех этапах посадки и руления относятся качество покрытия ВПП, а также наличие или отсутствие на ее поверхности препятствий. Любое препятствие на ВПП представляет собой потенциальную угрозу для безопасности воздушного движения. Ежегодный ущерб мировых авиакомпаний от столкновений воздушных судов с препятствиями на ВПП оценивается в 13 млрд дол. [2]. Препятствия могут представлять собой утерянные контейнеры, части обшивки летательных аппаратов, средства передвижения и многое другое.
Для пилотов препятствия при визуальных заходах на посадку в условиях плохой видимости на высоте принятия решения, как правило, не видны.
В настоящее время в аэропортах мира вводятся в эксплуатацию наземные системы обнаружения препятствий на ВПП. Такие системы используют оптико-электронные или радиолокационные датчики и проверяют поверхности ВПП на наличие каких-либо изменений или посторонних объектов. Наземные системы обнаружения обладают высокой разрешающей способностью и обнаруживают препятствия, размер которых превышает 10 см [3]. Однако важно отметить, что в настоящее время подобными наземными системами, соответствующими современным требованиям к обеспечению безопасности, оборудовано лишь небольшое число наиболее крупных аэропортов, в связи с чем становится актуальной разработка мобильной системы обнаружения препятствий для установки ее на борту самолета [4].
С другой стороны, во всем мире ведется активная разработка авиационных систем улучшенного и комбинированного видения, обеспечивающих пилотов лучшей осведомленностью о зака-бинном пространстве [5]. Такие системы, используя установленные на борту видеодатчики видимого и инфракрасного диапазонов и алгоритмы видеообработки, дают возможность отобразить улучшенное изображение ВПП и вспомогательную информацию на лобовом стекле. Возможности подобных систем бортовой авионики могут быть существенно расширены при внедрении в их состав средств обнаружения и распознавания объектов на ВПП. Указанная модификация позволит контролировать состояние ВПП для обеспечения безопасности движения самолета на этапах посадки, руления, а также взлета.
Постановка задачи. С учетом сформулированных требований к обеспечению безопасности при заходе на посадку и посадке в условиях плохой видимости, а также особенностей современных технических средств и решений требуется разработать совокупность методов обнаружения объектов на ВПП в условиях плохой видимости. На практике объекты требуется обнаруживать в условиях динамически изменяющейся обстановки, и кроме решения задачи обнаружения необходимо также оптимизировать скорость работы алгоритмов для эффективной работы в режиме реального времени.
Настоящая статья посвящена обнаружению объекта на статичном изображении. Оптимизация алгоритмов для обнаружения в режиме реального времени представляет задачу дальнейшего исследования.
Задачи распознавания и обнаружения объектов. В настоящее время существует множество задач, в которых требуется принять решение в зависимости от присутствия на изображении объекта или отнести обнаруженный объект к некоторому классу. Распознавание объектов на ВПП -лишь одна из них. К хорошо изученным областям применения распознавания образов можно отнести биометрические системы, распознавание пешеходов, автомобилей, системы видеонаблюдения.
В общем случае задачи распознавания образов можно подразделить на две группы:
- распознавание или классификация изображений;
- поиск и распознавание объектов на изображениях.
В первой группе задач распознавание или классификация проводится для всего изображения. В задачах второй группы процесс распознавания включен в более общую технологию обработки изображения. Объекты представляют собой относительно небольшие локальные области, появление которых может произойти в любой области изображения. Результатом распознавания в этом случае является не только класс найденного объекта, но также и его характеристики: положение и, возможно, размер. Часто требуется не ставить задачу классификации всех окружающих объектов, а выделить в поступающем видеопотоке объекты определенного рода.
Методы выбора дескрипторов признаков объектов. При решении задачи распознавания или классификации важно учитывать, что каждый объект обладает уникальным набором признаков,
позволяющим отнести его к тому или иному классу. В частных случаях объекты характеризуются такими идентификационными признаками, как форма, цвет, положение, подвижность, отличительные особенности, их комбинации и т. п. Объекты классифицируются в зависимости от совокупности этих признаков.
К важнейшим и весьма сложным этапам на пути создания системы распознавания относится построение словаря признаков, по которым будет происходить распознавание. При решении указанной задачи приходится сталкиваться со следующими ограничениями:
- в словарь включают только те признаки, для которых может быть получена априорная информация, необходимая для описания классов на языке этих признаков;
- некоторые из признаков нецелесообразно включать в словарь, поскольку они малоинформативны;
- некоторые из признаков, как правило, наиболее информативные, не могут быть определены ввиду отсутствия соответствующих измерителей (вычислителей), а ресурсы, выделенные на создание системы распознавания, ограничены;
- измерения (вычисления) некоторых признаков могут не укладываться во временные рамки, отведенные на эту операцию.
Общепризнанного метода, позволяющего определить порядок выбора признаков, не существует, поэтому основным решением по-прежнему остается выбор наиболее информативных признаков из некоторого исходного множества, задаваемого эвристически.
Для решения поставленной задачи необходимо найти, обобщить и сформулировать в математических терминах эмпирические наблюдения, т. е. формализовать признаки искомого объекта. Глав -ная трудность состоит в том, что описать все свойства практически невозможно, и часть свойств может соответствовать не всем объектам. Поэтому в процессе математической формализации допускаются упрощения. Кроме того, с ростом числа признаков часто падает точность предсказания.
Классификация методов распознавания. Существует множество методов распознавания объектов на изображении. Выбор конкретных методов обусловлен особенностями объекта, который требуется распознать. Часто бывает, что задача распознавания ставится неформально -
свойства искомого объекта задаются без строгих математических параметров. Для решения такой задачи необходимо создать устойчивый метод обнаружения объектов.
Далее приведен список подходов, с помощью которых можно успешно решать задачу поиска объекта на изображении.
1. Цветовые фильтры. Если объект существенно выделяется на фоне по цвету, то задача может быть решена подбором соответствующего фильтра.
2. Выделение и анализ контуров. Если объект имеет простую геометрическую форму, то возможен поиск соответствующей геометрической фигуры на изображении.
3. Сопоставление с шаблоном. При наличии эталонного изображения объекта производится его поиск на исследуемом изображении.
4. Работа с особыми точками. Поиск проводится посредством сопоставления ключевых точек с характерными особенностями.
5. Методы машинного обучения. Классификатор обучается по специальной выборке изображений интересующего объекта.
Анализ ВПП. Одним из важнейших условий успешного решения задачи распознавания объектов является наличие точно сформулированных требований к работе системы и характеристик объекта интереса. С этой целью проведен эвристический анализ изображений ВПП, полученных при посадке в условиях плохой видимости.
Под ВПП понимается часть аэродрома и летного поля, имеющая оснащение и спецтехнику для аэродромов, предназначенная для удобства взлета и посадки воздушных судов.
ВПП освещаются в сумеречное и темное время суток и в условиях плохой видимости. Основное освещение имеет белый цвет. Сигнальные огни делятся на огни приближения, огни световых горизонтов, входные, огни знака приземления, боковые, глиссадные, ограничительные, посадочные, огни концевой безопасности, осевые, огни быстрого схода, боковые и осевые рулежные, стоп-огни, предупредительные, заградительные, аэродромные указательные. Для удобства ориентирования они различаются оттенками.
На ВПП нанесена специальная разметка, необходимая для точной и безопасной посадки самолета на полосу:
- концевая полоса безопасности (КПБ) (желтые шевроны);
- перемещенный порог (белые стрелки);
- порог (белые полосы в виде "зебры");
- маркированный номер и, если необходимо, буква;
- зона приземления (двойные параллельные прямоугольники, начинающиеся за 300 м до порога ВПП);
- отметки фиксированного расстояния (большие прямоугольники, расположенные через 150 м);
- концевая полоса безопасности (специально подготовленный прямоугольный участок, располагаемый в конце дистанции разбега и предназначенный для остановки воздушного судна в случае прерванного взлета).
Необходимым атрибутом разметки являются также осевая и иногда боковые линии.
Существует большое число типов аэропортового оборудования и установок, которые в силу своих особых радионавигационных функций должны быть расположены таким образом, чтобы представлять собой препятствия. Такое оборудование включает в себя:
- глиссадные антенны курсо-глиссадной системы (КГС);
- пограничные маркерные радиомаяки КГС;
- антенны курсового радиомаяка КГС;
- ветроуказатели;
- посадочные знаки;
- облакомеры;
- измерители дальности видимости;
- надземные посадочные огни ВПП, входные и ограничительные огни и огни КПБ;
- надземные рулежные огни;
- огни приближения;
- огни системы визуальной индикации глиссады;
- знаки и маркеры;
- элементы микроволновой системы посадки;
- азимутальные и дальномерные радиомаяки;
- радиолокационная система точного захода на посадку или ее элементы;
- пеленгатор, работающий в диапазоне ОВЧ [6].
Также на полосе могут присутствовать препятствия:
- летательный аппарат, в том числе потерявший способность двигаться;
- транспортные средства;
- аэродромное оборудование обслуживания, например тягачи;
- сигнальщик;
- животные;
- утерянные контейнеры;
- части обшивки летательных аппаратов;
- фрагменты покрытия ВПП [7] и т. п.
Рис. 1. Моделированное изображение объекта на взлетно-посадочной полосе Fig. 1. Simulated Image of the Object on the Runway
Постановка задачи распознавания. Для
распознавания в разной степени представляют интерес препятствия на ВПП и элементы разметки, светосигнальное оборудование и радиолокационные конструкции. При этом необходимо классифицировать как подвижные (тягач, воздушное судно, прочие транспортные средства, животные), так и неподвижные относительно сцены объекты (разметка ВПП, огни полосы, строения, радиолокационные конструкции, неподвижные транспортные средства). Таким образом, перечень объектов для распознавания оказывается весьма обширным.
В настоящей статье методы распознавания исследованы в применении к задаче распознавания летательного аппарата, выполняющего руление на полосе или же потерявшего способность двигаться, как наиболее часто встречающегося типа препятствий, требующего от совершающего посадку воздушного судна ухода на второй круг.
Задача распознавания в указанном случае сводится к выделению существенных признаков данного класса объектов и к отнесению входных данных к одному из них посредством обнаружения ключевых признаков в исходном изображении. При этом распознавание можно разделить на несколько этапов:
1. Получение входных данных с помощью сенсоров, камер видеонаблюдения, подборок данных.
2. Первичная обработка изображений: нормализация данных, фильтрация шумов, выявление признаков.
3. Формирование векторов признаков посредством выбора наиболее значимых признаков, с помощью которых можно выделить непересекающиеся множества классов объектов.
4. Классификация или предсказание на основе полученных данных о классах объектов.
С целью формирования тестового набора снимков в условиях плохой видимости на комплексном авиационном тренажере АО "Технологии для авиации" Airbus a320 было проведено моделирование сценария захода на посадку при наличии на полосе летательного аппарата, потерявшего способность двигаться. Один из полученных снимков приведен на рис. 1.
Выбор методов распознавания. Для оценки методов распознавания объектов ВПП в условиях плохой видимости предлагается использование дескриптора "Гистограмма направленных градиентов" (Histogram of Oriented Gradients - HOG), особенно популярного среди исследователей [8]. При решении задачи распознавания объектов на ВПП использование глобальных признаков, таких как яркостные, гистограммные или же цветовые распределения, представляется малоэффективным ввиду равномерности данных распределений по всей площади исследуемых изображений. Дескриптор HOG работает локально, поддерживает
инвариантность геометрических и фотометрических преобразований, за исключением ориентации объекта [8].
Параметры извлечения признаков выбраны в соответствии с оригинальным исследованием [8]: размер окна 128^64 элементов, размер блока 8^8 элементов, однако принята горизонтальная ориентация окна в соответствии с горизонтальной ориентацией образа самолета.
Этап нормализации цвета и гамма-коррекции, согласно исследованиям авторов дескриптора HOG, можно опустить, поскольку последующая нормализация гистограмм дает тот же результат.
Для оценки работы в применении к задачам распознавания объектов на ВПП в условиях плохой видимости были выбраны три популярных метода классификации: метод опорных векторов (Support Vector Machine - SVM) [9], [10], метод K ближайших соседей (K Nearest Neighbors - KNN) [11], [12] и метод дерева решений (Decision Tree - DT) [13].
Метод SVM, имея на входе размеченную обучающую выборку, предоставляет на выходе оптимальную гиперплоскость, классифицирующую новые экземпляры. Для данного классификатора выбрано ядро "Пересечение гистограмм" [14].
Метод KNN запоминает все обучающие образцы и предсказывает отклик на новый экземпляр, анализируя некоторое число (K) ближайших соседей экземпляра, используя голосование, расчет взвешенной суммы и т. д.
DT - бинарное дерево, в котором каждый лист отмечен принадлежностью к некоторому классу и множество листьев могут иметь одинаковую метку.
Обнаружение местонахождения объектов выполнено на изображениях в нескольких масштабах, для чего сформирована пирамида изображений [15]. На каждом масштабированном изображении проводится поиск с применением метода скользящего окна [16]. Каждое успешное обнаружение отмечается на изображении, называемом тепловой картой [17], после чего область с наибольшим числом обнаружений выбирается как область, содержащая искомый объект.
Для оценки методов была подготовлена обучающая выборка, состоящая из 200 снимков самолетов и 560 снимков произвольного фона, не включающего в себя изображения самолета, а также две тестовых выборки, каждая из которых включает в себя 50 снимков ВПП, 25 из которых содержат изображение самолета и 25 - нет. В первую тестовую выборку входят изображения,
полученные в условиях нормальной видимости, во вторую - в условиях плохой видимости.
По результатам распознавания изображений тестовой выборки были получены значения точности (accuracy), среднеквадратической ошибки (СКО, RMSE), прецизионности (Precision), полноты (Recall) и F-меры ( -score) [18] для каждого из методов.
Точность определяется как отношение суммы числа правильных обнаружений (True Positive - TP) и правильных необнаружений (True Negative - TN) к общему числу предсказаний, включающем наряду с TP и TN число ложных тревог (False Positive - FP) и число пропусков цели (False Negative - FN):
A = -
TP + TN
TP + TN + FP + FN
СКО определяется следующим образом:
RMSE =
T(xt - y )
N
где х^, у/ - значение класса и результат предсказание для /-го экземпляра соответственно; N - число предсказаний.
Мера прецизионности указывает долю правильных положительных решений классификатора от всех положительных: Р = - ТР
TP + FP
Мера полноты позволяет судить о способности метода обнаруживать все объекты интереса. Она определяется долей правильных обнаружений от суммы правильных обнаружений и пропусков целей:
ТР
Я =-——.
ТР + Ш
Я-мера представляет собой среднее гармоническое прецизионности и полноты:
Я = 2-™
P + R
Результаты распознавания объектов (самолета) на изображениях, соответствующих условиям достаточной видимости, приведены в табл. 1. Из приведенных результатов следует, что наибольшую точность обеспечивает метод SVM, показатели Precision для всех методов достигают 1, а
Табл. 1. Результаты распознавания в условиях хорошей видимости Table 1. Recognition Result in Good Visibility Conditions
Метод Показатель
A, % RMSE P R F1
SVM 97.1 0.343 1 0.957 0.978
KNN 67.7 1.138 1 0.522 0.686
DT 70.6 1.085 1 0.565 0.722
Табл. 2. Результаты распознавания в условиях плохой видимости Table 2. Recognition Results in Poor Visibility Conditions
Метод Показатель
A, % RMSE P R Fi
SVM 75 1.0 1.0 0.474 0.643
KNN 65 1.183 1.0 0.263 0.417
DT 65 1.183 0.692 0.474 0.563
показатель Recall для метода SVM заметно выше, чем для KNN и DT. При этом в задачах обеспечения безопасности воздушного движения показатель Recall, отражающий влияние ошибок второго рода, играет существенно более важную роль, так как пропуск объекта при обнаружении может привести к авиакатастрофе.
Результаты для изображений ВПП в условиях плохой видимости (табл. 2) показывают, что все классификаторы обеспечивает более низкий показатель Recall, что позволяет сделать вывод о пониженной способности к успешному распознаванию объекта. Для классификатора KNN показатель снизился наиболее существенно: до 0.263. Классификатор DT, к тому же, продемонстрировал и снижение значения показателя Precision, что в комплексе с низким уровнем Recall указывает на низкую способность к успешному распознаванию объектов.
(Начало)
Подготовить пирамиду изображений
I
Выбрать первое изображение _из пирамиды_
т
Выделить первое окно поиска
Извлечь признаки
I
Классифицировать изображение в окне
Нет___ Классифицировано Да Добавить изображение в окне
''"■^■^..тложт'ельно?),»— к тепловой карте
-►r^-
Выделить следующее окно поиска
Выбрать следующее изображение
С Конец)
Рис. 2. Алгоритм обнаружения объектов на снимке Fig. 2. Algorithm for Detecting Objects in the Image
Для оценки работы выбранных классификаторов реализован алгоритм обнаружения объектов на снимке с использованием методов скользящего окна, пирамид изображений и тепловых карт (рис. 2). Алгоритм протестирован на нескольких полноформатных снимках ВПП, полученных в условиях плохой видимости.
На рис. 3 и 4 представлены результаты обнаружения самолета методом на изображении в масштабе 0.5, полученном после построения
Рис. 3. Результат обнаружения самолета методом KNN на изображении масштаба 0.5 Fig. 3. KNN Method Based Result of Aircraft Detection in the Image on a Scale of 0.5
Рис. 5. Результат обнаружения самолета методом DT на изображении масштаба 0.5 Fig. 5. DT Method Based Result of Aircraft Detection in the Image on a Scale of 0.5
Рис. 7. Результат обнаружения самолета методом SVM
на изображении масштаба 0.5 Fig. 7. SVM Method Based Result of the Aircraft Detection in the Image on a Scale of 0.5
пирамиды изображений. Рис. 3 показывает множество позиций объектов, полученное при применении метода, а на рис. 4 представлен результат фильтрации методом тепловой карты, в результате которой на изображении присутствует только одна выделенная область. При других масштабах объект не был распознан К№Ы-классификатором.
Результаты аналогичного этапа обнаружения методом БТ представлены на рис. 5 и 6. В данном случае наблюдается множество ложных срабаты-
Рис. 4. Результат обнаружения самолета методом KNN на изображении в масштабе 0.5 после фильтрации тепловой карты Fig. 4. KNN Method Based Result of Aircraft Detection in the Image on a Scale of 0.5 after Heat Map Filtration
Рис. 6. Результат обнаружения самолета методом DT на изображении в масштабе 0.5 после фильтрации тепловой карты Fig. 6. DT Method Based Result of Aircraft Detection in the Image on a Scale of 0.5 after Heat Map Filtration
Рис. 8. Результат обнаружения самолета методом SVM на изображении в масштабе 0.5 после фильтрации тепловой карты Fig. 8. SVM Method Based Result of Aircraft Detection in the Image on a Scale of 0.5 after Heat Map Filtration
ваний, что согласуется с полученным на тестовой выборке значением прецизионности. Для остальных масштабов в пирамиде изображений результаты аналогичны. Таким образом, распознать объект методом DT не удалось.
Классификатор SVM показал существенно лучшие результаты (рис. 7 и 8), чем KNN- и DT-
классификаторы при том же масштабе. Несмотря на наличие ложных срабатываний для разных масштабов снимка после применения метода тепловых карт и совмещения результатов для разных масштабов объект был успешно обнаружен.
Результаты обнаружения объекта классификатором SVM на изображениях, полученных для
Рис. 9. Результат обнаружения самолета методом SVM в условиях плохой видимости при категории видимости CAT I на высоте 120 футов (= 36,5 м) Fig. 9. SVM Based Result of Aircraft Detection in Low Visibility Conditions at CAT I Visibility Category at a Height of 120 Feet
Рис. 10. Результат обнаружения самолета методом SVM в условиях плохой видимости при категории видимости CAT I на высоте 70 футов (= 21 м) Fig. 10. SVM Based Result of Aircraft Detection in Low Visibility Conditions at CAT I Visibility Category at a Height of 70 Feet
Рис. 11. Результат обнаружения самолета методом SVM в условиях плохой видимости при категории видимости CAT II на высоте 70 футов (= 21 м) Fig. 11. SVM Based Result of Aircraft Detection in Low Visibility Conditions at CAT II Visibility Category at a Height of 70 Feet
разных высот и при плохой видимости разных классов приведены на рис. 9-11. Представленные результаты показывают работоспособность данного классификатора при существенно изменяющихся условиях наблюдения.
Заключение. Исследованные методы могут применяться в задачах обнаружения объектов, однако не все из них продемонстрировали достаточную эффективность в применении к задачам обнаружения объектов в условиях плохой видимости. Наилучшие результаты получены при применении метода опорных векторов, признаков гистограммы направленных градиентов и поиска на изображении с использованием метода скользящего окна, пирамиды изображений и тепловой карты. В дальнейшем эффективность работы может быть повышена с применением дополнитель-
ной предобработки, например адаптивного многомасштабного метода Яейпех [19], других методов классификации, в том числе сверточных нейронных сетей [20], других дескрипторов признаков, что требует дальнейшего исследования или спектрального анализа.
Исследованные методы пригодны для обнаружения объекта лишь на статичном изображении -главным образом из-за больших вычислительных затрат, требуемых для последовательной обработки пирамиды изображений методом скользящего окна. В задачах обнаружения объектов в процессе посадки необходимо проводить обнаружение в режиме реального времени, для чего в дальнейшем предстоит исследовать методы оптимизации скорости работы алгоритмов обнаружения.
СПИСОК ЛИТЕРАТУРЫ
1. Визильтер Ю. В., Желтов С. Ю. Проблемы технического зрения в современных авиационных системах // Тр. науч.-техн. конф.-семинара "Техническое зрение в системах управления мобильными объектами - 2010", Таруса, 16-18 марта 2010; под ред. Р. Р. Назирова. М.: Университет Книжный Дом, 2011. Вып. 4. С. 11 -44.
2. U.S. Federal Aviation Administration. Advisory circular on Airport Foreign Object Debris (FOD) Detection Equip-men. 2009. URL: https://www.faa.gov/documentLibrary /media/Advisory_Circular/150_5210_24.pdf (дата обращения 10.02.2019)
3. Weller J. R. FOD detection system. Evaluation, performance assessment and regulatory guidance // Wild-
life and Foreign Object Debris (FOD). Workshop, Cairo, Egypt, 24-26 March, 2014. URL: https://www.icao.int/MID /Documents/2014/Wildlife%20and%20FOD%20Workshop /Assessing%20Risk%20FAA.pdf (дата обращения 10.02.2019)
4. Соколова М. А. Системы управления наземным движением на площади маневрирования аэродрома // Современные инновации. 2018. Т. 26, № 4. С. 26-27.
5. Костяшкин Л. Н, Логинов А. А., Никифоров М. Б. Проблемные аспекты системы комбинированного видения летательных аппаратов // Изв. Юж. федерал. ун-та. Техн. науки. 2013. № 5. С. 61-65.
6. Airport Services Manual. Pt. 6. Controlling obstacles. Guide Doc 9137-AN/898/2, 1983. URL: http://files.repuloterek
-civil-katonai-kozos.webnode.hu/200000025-66bfa67b8d /Doc_9137_P6_C0NTR0L%200F%200BSTACLES.pdf (дата обращения 30.01.2019)
7. Aviation rules. Pt. 139. Certification of Airfields. Title 14, Code of Federal Regulations (CFR). 2004. URL: https://www.govinfo.gov/content/pkg/CFR-2014-title14-vol3 /pdf/CFR-2014-title14-vol3-part139.pdf (дата обращения 10.02.2019)
8. Dalal N., Triggs B. Histograms of oriented gradients for human detection // 2005 IEEE Computer Society Conf. on Computer Vision and Pattern Recognition, San Diego, CA, 20-25 June 2005. Piscataway: IEEE, 2005. doi: 10.1109/CVPR.2005.177
9. Вапник В. Н. Восстановление зависимостей по эмпирическим данным. М.: Наука, 1979. 448 с.
10. Cristianini N., Shawe-Taylor J. An introduction to support vector machines and other kernel-based learning methods. NY: Cambridge University Press, 2000. 168 p. doi: 10.1017/CB09780511801389
11. Cover T. M., Hart P. E. Nearest neighbor pattern classification // IEEE Trans. on Information Theory. 1967. Vol. IT-13, iss. 1. P. 21-27. doi: 10.1109/TIT.1967.1053964
12. Dudani S. A. The distance-weighted k-nearest-neighbor rule // IEEE Trans. on Systems, Man and Cybernetics. 1976. Vol. SMC-6, iss. 4. P. 325-327. doi: 10.1109 /TSMC.1976.5408784
13. Quinlan J. R. Induction of decision trees // Machine Learning. 1986. Vol. 1, iss. 1. P. 81-106.
14. Barla A., 0done F., Verri A. Histogram intersection kernel for image classification // 2003 Intern. Conf. on Im-
Статья поступила в редакцию 04 февраля 2019 г. Статья принята к публикации 11 февраля 2019 г.
age Processing, Barcelona, Spain. IEEE, 2003. doi: 10.1109 /ICIP.2003.1247294
15. Pyramid methods in image processing / E. H. An-delson, C. H. Anderson, J. R. Bergen, P. J. Burt, J. M. 0gden // RCA Engineer. 1984. Vol. 29, iss. 6. P. 33-41. URL: http://persci.mit.edu/pub_pdfs/RCA84.pdf (дата обращения 10.02.2019)
16. Glumov N. I., Kolomiyetz E. I., Sergeyev V. V. Detection of objects on the image using a sliding window mode // 0ptics & Laser Technology. 1995. Vol. 27, iss. 4. P. 241-249. doi: 10.1016/0030-3992(95)93752-D
17. Wilkinson L., Friendly M. The history of the cluster heat map // The American Statistician. 2009. Vol. 63, № 2. P. 179-184. doi: 10.1198/tas.2009.0033
18. Powers D. M. W. Evaluation: From Precision, Recall and F-Measure to R0C, Informedness, Markedness & Correlation // J. of Machine Learning Technologies. 2011. Vol. 2, № 1. P. 37-63.
19. Andreev D. S., Lysenko N. V. Preprocessing methods for runway pictures taken in poor visibility conditions // 2018 IEEE Conf. of Russian Young Researchers in Electrical and Electronic Engineering (EIConRus), Saint-Petersburg, Russia. IEEE, 2018. doi: 10.1109/EIConRus. 2018.8317273
20. Xiaobin L., Wang S. 0bject detection using convo-lutional neural networks in a coarse-to-fine manner // IEEE Geoscience and Remote Sensing Letters. 2017. Vol. 14, iss. 11. doi: 10.1109/LGRS.2017.2749478
Андреев Денис Сергеевич - магистр по направлению "Радиотехника" (2017), аспирант кафедры телевидения и видеотехники Санкт-Петербургского государственного электротехнического университета "ЛЭТИ" им. В. И. Ульянова (Ленина). Автор 6 научных публикаций. Сфера научных интересов - системы дополненной и виртуальной реальности; машинное обучение; авиаприборостроение. E-mail: [email protected]
REFERENCES
1. Vizilter Yu. V., Zheltov S. Yu. Problemy tekhnich-eskogo zreniya v sovremennykh aviatsionnykh sistemakh [Problems of Technical Vision in Modern Aviation Systems]. Proceedings of Scientific and Technical Conference-Seminar "Technical Vision in Mobile Object Management Systems - 2010", Tarusa, 16-18 March 2010. Ed. by R. R. Nazirov. Moscow, University Book House, 2011, vol. 4, pp. 11-44. (In Russian)
2. U.S. Federal Aviation Administration. Advisory circular on Airport Foreign Object Debris (FOD) Detection Equipmen. 2009. Available at: https://www.faa.gov/ doc-umentLibrary/media/Advisory_Circular/150_5210_24.pdf (accessed 10.02.2019)
3. Weller J. R. FOD Detection System. Evaluation, Performance Assessment and Regulatory Guidance. Wildlife and Foreign Object Debris (FOD). Workshop, Cairo,
Egypt, 24-26 March, 2014. Available at: https://www.icao.int/MID/Documents/2014/Wildlife%20a nd%20FOD%20Workshop /Assessing%20Risk%20FAA.pdf (accessed 10.02.2019)
4. Sokolova M. A. Sistemy upravleniya nazemnym dvizheniem na ploshchadi manevrirovaniya aerodroma [Ground Movement Control Systems at Aerodrome Maneuvering Area]. Sovremennye innovatsii [Modern Innovations], 2018, vol. 26, no. 4, pp. 26-27. (In Russian)
5. Kostyashkin L. N, Loginov A. A., Nikiforov M. B. Problem Aspects of a Combined Aircraft Vision System. Izvestiya SFedU [Proceedings of the Southern Federal University. Engineering Sciences], 2013, no. 5, pp. 61-65. (In Russian)
6. Airport Services Manual. Pt. 6. Controlling obstacles. Guide Doc 9137-AN/898/2, 1983. Available at:
http://files.repuloterek-civil-katonai-kozos.webnode.hu/ 200000025-66bfa67b8d/Doc_9137_P6_CONTROL%20OF% 20OBSTACLES.pdf (accessed 30.01.2019)
7. Aviation rules. Pt. 139. Certification of Airfields. Title 14, Code of Federal Regulations (CFR). 2004. Available at: https://www.govinfo.gov/content/pkg/CFR-2014-title14-vol3 /pdf/CFR-2014-title14-vol3-part139.pdf (accessed 10.02.2019)
8. Dalal N., Triggs B. Histograms of Oriented Gradients for Human Detection. 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, San Diego, CA, USA, 20-25 June 2005. Piscataway, IEEE, 2005. doi: 10.1109/CVPR.2005.177
9. Vapnik V. N. Vosstanovlenie zavisimostei po em-piricheskim dannym [Dependency Recovery Based on Empirical Data]. Мoscow, Nauka, 1979, 448 p. (In Russian)
10. Cristianini N., Shawe-Taylor J. An Introduction to Support Vector Machines and Other Kernel-based Learning Methods. NY: Cambridge University Press, 2000. 168 p. doi: 10.1017/CBO9780511801389
11. Cover T. M., Hart P. E. Nearest Neighbor Pattern Classification // IEEE Trans. on Information Theory. 1967, vol. IT-13, iss. 1, pp. 21-27. doi: 10.1109/TIT.1967.1053964
12. Dudani S. A. The Distance-Weighted k-Nearest-Neighbor Rule. IEEE Transactions on Systems, Man, and Cybernetics. 1976, vol. 6, iss. 4, pp. 325-327. doi: 10.1109/TSMC.1976.5408784
13. Quinlan J. R. Induction of Decision Trees. Machine Learning. 1986, vol. 1, iss. 1, pp. 81-106.
14. Barla A., Odone F., Verri A. Histogram Intersection Kernel for Image Classification. 2003 Intern. Conf. on Image Processing, Barcelona, Spain. IEEE, 2003. doi: 10.1109 /ICIP.2003.1247294
15. Andelson E. H., Anderson C. H., Bergen J. R., Burt P. J., Ogden J. M. Pyramid Methods in Image Processing. RCA Engineer. 1984, vol. 29, iss. 6, pp. 33-41. Available at: http://persci.mit.edu/pub_pdfs/RCA84.pdf (accessed 10.02.2019)
16. Glumov N. I., Kolomiyetz E. I., Sergeyev V. V. Detection of Objects on the Image Using a Sliding Window Mode. Optics & Laser Technology. 1995, vol. 27, Iss. 4, pp. 241-249. doi: 10.1016/0030-3992(95)93752-D
17. Wilkinson L., Friendly M. The History of the Cluster Heat Map. The American Statistician. 2009, vol. 63, no. 2, pp. 179-184. doi: 10.1198/tas.2009.0033
18. Powers D. M. W. Evaluation: From Precision, Recall and F-Measure to ROC, Informedness, Markedness & Correlation. Journal of Machine Learning Technologies. 2011, vol. 2, no. 1, pp. 37-63.
19. Andreev D. S., Lysenko N. V. Preprocessing Methods for Runway Pictures Taken in Poor Visibility Conditions. 2018 IEEE Conf. of Russian Young Researchers in Electrical and Electronic Engineering (EIConRus), Saint-Petersburg, Russia. IEEE, 2018. doi: 10.1109/EIConRus. 2018.8317273
20. Xiaobin L., Wang S. Object Detection Using Con-volutional Neural Networks in a Coarse-to-Fine Manner. IEEE Geoscience and Remote Sensing Letters. 2017, vol. 14, iss. 11. doi: 10.1109/LGRS.2017.2749478
Received February, 04, 2019 Accepted February, 11, 2019
Denis S. Andreev - Master's Degree in Radio Engineering (2017), Postgraduate Student of the Department of Television and Video Equipment of Saint-Petersburg Electrotechnical University "LETI". The author of 6 scientific publications. Area of expertise: augmented and virtual reality systems; machine learning; avionics. E-mail: [email protected]
