CC BY
453
Раздел IV. Системы технического зрения и бортовые вычислители
УДК 681.518.3
С.М. Соколов, А.А. Богуславский, Н.Г. Фёдоров, П.В. Виноградов
СИСТЕМА ТЕХНИЧЕСКОГО ЗРЕНИЯ ДЛЯ ИНФОРМАЦИОННОГО ОБЕСПЕЧЕНИЯ АВТОМАТИЧЕСКОЙ ПОСАДКИ И ДВИЖЕНИЯ ПО ВПП ЛЕТАТЕЛЬНЫХ АППАРАТОВ
Описывается первый этап исследований, проводимых совместно Раменским приборостроительным конструкторским бюро приборостроения» и Институтом прикладной математики им. М.В. Келдыша РАН. Рассматривается общая компоновка бортового оборудования (КБО) в составе экспериментального летательного аппарата для исследования возможностей автоматического информационного обеспечения системы управления летательным аппаратом (ЛА) при совершении движений по ВПП, выполнении взлёта и посадки. За основу компоновки берутся проверенные и хорошо зарекомендовавшие себя компоненты навигационно-пилотажного оборудования. В качестве независимого информационного канала в состав КБО рассматривается система технического зрения (СТЗ). Описывается программно-аппаратная архитектура СТЗ. Алгоритмическое обеспечение строится в рамках каркаса программного обеспечения СТЗ реального времени. Архитектура программного обеспечения открытая, позволяющая изменять состав аппаратных средств КБО в процессе исследования. В частности, использовать камеры различных спектральных диапазонов. На описываемом этапе исследований в качестве средств сбора зрительных данных рассматриваются видеокамеры видимого диапазона высокого разрешения, объединённые в стереопары. Основу навигационного обеспечения наземных движений составляют методы интерпретирующей навигации, позволяющие формировать траекторию движения летательного аппарата на основе слежения за ориентирами в окружающем пространстве. Ориентиры могут выбираться как из числа уже существующих объектов инфраструктуры аэродромов, так и формироваться искусственными объектами. Приводятся оценки точности информационного обеспечения, полученного с помощью предложенной СТЗ. Обсуждаются перспективы дальнейших работ.
Беспилотный летательный аппарат; система технического зрения; автоматическая посадка; автоматическое движение по ВПП.
S.M. Sokolov, A.A. Boguslavsky, N.G. Fyodorov, P.V. Vinogradov
VISION SYSTEM FOR FLYING MACHINES INFORMATION SUPPORT OF AUTOMATIC LANDING AND MOTION ON AIRSTRIP
In the paper the first stage of the researches spent by Ramensky instrument-making design office of instrument making and Keldysh Institute of applied mathematics Russian Academy of Sciences is described. The general configuration of the onboard equipment (SOE) as a part of the experimental flying machine for research of possibilities of automatic information support of a control system by the flying machine (FM) is considered at fulfilment of motion on airstrip, takeoff and landing performance. The checked up and well proved components of the navigation - flight equipment undertakes a configuration basis. As an independent information channel in SOE structure the vision system (VS) is considered. VS hardware-software architecture is described. Algorithmic maintenance is under construction within the limits of real time VS software pattern. The
architecture of the software opened, allowing changing SOE in the course of research. In particular, to use cameras of various spectral ranges. At a described stage of researches as means of visual data gathering of a visible range of the high resolution, united in stereosystems are considered. The basis of navigating maintenance of land motion is made by methods of the interpreting navigation, allowing forming a flying machine motion trajectory on the basis of tracking landmarks in surrounding space. Landmarks can get out as from among already existing objects of an airdromes infrastructure, and to be formed by artificial objects. Estimations of accuracy of the information support received by means of offered VS are resulted. Prospects of the further works are discussed.
Unmanned aircraft system; vision system; automatic landing; automatic runway taxing.
Введение. Методы и технологии создания беспилотных летательных аппаратов в настоящее время переживают бурное развитие. Активно ведутся работы в этом направлении во всём мире [1-7]. Одним из наиболее известных и продвинутых примеров является программа разработки ударного беспилотного летательного аппарата (БПЛА) Northrop Grumman X-47B. В июле 2013 г. X-47B, имеющий кодовое название «Salty Dog 502», взлетел с полосы сухопутного аэродрома военно-морской авиации Patuxent River, своим ходом добрался до авианосца ВМФ США Джордж Х.В. Буш (USS George H.W. Bush, CVN 77), находящегося в открытом море близ берегов Вирджинии, и совершил автоматическую посадку на его летную палубу. БПЛА, летящий со скоростью 145 узлов (268 км/ч), в автоматическом режиме зашел на посадку, снизился, коснулся своим шасси палубы авианосца и зацепился крюком за трос кабельной тормозной системы, что привело к короткой и быстрой остановке летательного аппарата.
Одной из целей, которую преследовало создание БПЛА X-47B UCAS-D, является проверка возможности совершения летающим роботом операции посадки на палубу идущего в море авианосца в автоматическом режиме, что является одной из самых трудных задач и для людей-пилотов. Для этого специалистами компании Northrop Grumman было создано специализированное навигационное программное обеспечение (ПО), в котором был учтен опыт множества поколений пилотов, и которое работало за счет использования системы GPS, системы обработки визуальной информации и других источников навигационных данных, включая данные о направлении и скорости движения воздушных потоков в районе совершения посадки. На основании уже достигнутого уровня можно спрогнозировать быстрой рост автономности будущих БПЛА с одновременным ростом их «интеллекта».
Многие российские компании создают вполне качественные образцы небольших телеуправляемых БПЛА малого радиуса действия и малых высот полёта.
ОАО «РПКБ» является одной из ведущих организаций России, которая традиционно проводит комплексные и многоплановые работы в авиационной области, включая проектирование навигационных систем и комплексов [8-12].
Накопленный научно-технический задел по разработке информационно-управляющей авионики для пилотируемых летательных объектов позволяет ОАО «РПКБ» приступить к проектированию комплекса пилотажно-навигационного оборудования (КПНО) для интеграции в беспилотную систему. На первом этапе работ ставится задача разработать общую компоновку бортового комплекса, исследовать программно-аппаратную архитектуру, оценить возможности интегрируемой системы технического зрения (СТЗ) при решении задач информационного обеспечения автоматического движения летательного аппарата по взлётно-посадочной полосе и совершении взлёта и посадки. Отработка и экспериментальная проверка предлагаемых решений производится на лёгком пилотируемом летательном аппарате.
1. Компоновка КПНО. Перечислим те факторы, которые учитываются при компоновке состава КПНО.
Неоднородность задач, решаемых БПЛА, по требуемой точности навигационных параметров, с одной стороны, и отсутствие полной гарантии их определения от спутниковой навигационной системы (СНС), с другой, требуют расширения состава радиотехнических навигационных средств. Поэтому в состав КПНО БПЛА должны входить разнородные датчики навигационной информации.
Критерием, определяющим выбор состава и структуры комплекса, может служить гарантированность навигационного определения, как вероятность того, что в любое время и в любой точке пространства навигационный комплекс обеспечит потребителя информацией, достаточной для решения его задач с точностью не ниже требуемой.
Концепция разработки комплексов пилотажно-навигационного оборудования для БПЛА помимо создания номенклатуры навигационных датчиков должна включать в себя:
♦ разработку математического обеспечения, содержащего комплекс унифицированных программных модулей;
♦ разработку способов управления;
♦ конструктивно-функциональную интеграцию, обеспечивающую оптимальное использование функциональной избыточности и аппаратуру резервирования датчиков и программных модулей;
♦ открытость архитектуры, обеспечивающую за весь период эксплуатации самолета возможность замены или наращивания КПНО новыми перспективными датчиками и решаемыми задачами.
Отработка и экспериментальная проверка предлагаемых решений на лёгком пилотируемом летательном аппарате также накладывает ряд ограничений и дополнительных требований на компоновку КНПО.
С учётом перечисленных факторов была предложена следующая схема КНПО (рис. 1).
Рис. 1. Структурная схема КПНО
В состав КПНО входят:
♦ пилотажно-навигационное средство (ПНС) 2 шт. с встроенными вычислителями:
♦ спутниковой навигационной системы (СНС);
♦ системы воздушных сигналов (СВС);
♦ система технического зрения (СТЗ) в составе:
♦ вычислительно-управляющий блок (ВУБ) 2 шт.;
♦ камера высокого разрешения оптического диапазона 4 шт.;
♦ приемная антенна СНС ГЛОНАСС/GPS с разветвителем сигнала (РС);
♦ приемник воздушного давления (ПВД);
♦ система курсовертикали (СБКВ) 2 шт.;
♦ многофункциональный индикатор (МФИ) 2 шт.;
♦ пульт управления индикацией (ПУИ) 2 шт.
На навигационный комплекс БПЛА возлагается следующие основные задачи:
♦ комплексная обработка информации датчиков для формирования навигационных и пилотажных параметров;
♦ формирование команд управления для движения БПЛА по маршруту в заданную точку, возврата на аэродром;
♦ формирования команд управления для стабилизации скорости и высоты, набора высоты, снижения, посадки и т.д.
Задачи, решаемые БПЛА, существенно неоднородны по требуемой точности определения навигационных параметров. Условно точность, необходимую для решения различных задач, можно разбить на следующие категории:
1. сверхвысокую (для обеспечения режимов посадки и сближения объектов при дозаправке):
а) по координатам - 2^4 м;
б) по высоте - 0,5 м;
в) по составляющим скорости - 0,01 м/с;
г) по времени - 0,03 мкс;
2. высокую (при заходе на посадку, для обеспечения встречи в воздухе и управления движением):
а) по координатам - 100 м;
б) по высоте - 10 м;
в) по составляющим скорости - 0,1 м/с;
г) по времени - 0,3 мкс;
3. среднюю (при вождении по маршруту):
а) по координатам - 500 м;
б) по высоте - 50 м;
в) по составляющим скорости - 1 м/с;
г) по времени - 3 мкс;
4. низкую (при полётах по маршруту в отдалённых районах, для обеспечения вывода БПЛА в район действия корректирующих систем):
а) по координатам - 5 км;
б) по высоте - 0,5 км;
в) по составляющим скорости - 5 м/с;
г) по времени - 30 мкс;
Для обеспечения решения перечисленных задач предлагается формировать КПНО на основе бортовой аппаратуры, включающей как автономные датчики на-вигационно-пилотажных параметров, так и радиотехнические средства навигации и коррекции.
В статье основное внимание сосредоточено на задачах СТЗ в части информационного обеспечения движения по взлетно-посадочной полосе (ВПП), взлёта и посадки ЛА.
2. Задачи СТЗ. Для эффективного решения задачи информационного обеспечения автономного (без использования информации других систем для коррекции параметров пространственного положения и движения самолета) автоматического движения по аэродрому, взлёта и посадки КПНО осуществляет информационное взаимодействие с интегрированной СТЗ оптического диапазона.
При этом СТЗ в простых метеоусловиях призвана обеспечить решение следующих задач1:
♦ непрерывное автоматическое определение относительных координат и скорости самолета в инерциальной системе координат, заданной относительно ВПП (при условии наблюдения ВПП как минимум в одном из полей зрения СТЗ);
♦ непрерывное автоматическое определение параметров угловой ориентации самолета, в том числе:
1) при движении по аэродрому (рулении, разбеге и пробеге) - угла ориентации продольной оси связанной с самолетом системы координат относительно продольной оси ВВП (или другой линии, задающей направление движения);
2) в полёте (в том числе, на взлете, заходе на посадку и посадке):
♦ углов тангажа и крена самолета (при условии видимости линии горизонта в одном из полей зрения СТЗ );
♦ угла ориентации продольной оси связанной с самолетом системы координат относительно продольной оси ВВП;
♦ угла наклона траектории (угол между касательной к траектории в вертикальной плоскости и плоскостью поверхности ВПП).
На рис. 2, 3 приведены примеры изображений ВПП и объектов на ней. На основе изображений тех же объектов, полученных с камер, установленных на борту ЛА, СТЗ определяет параметры, необходимые для информационного обеспечения этапов выполнения полетного задания ЛА.
а б
Рис. 2. Примеры изображение ВПП с разметкой
1 на описываемом этапе исследований
Рис. 3. Пример изображения (компьютерной модели) ВПП в поле зрения камеры,
установленной на борту ЛА
3. Структура алгоритмического обеспечения СТЗ. Структура алгоритмического обеспечения (АО) СТЗ в составе КПНО в целом повторяет схему алгоритмов мобильных систем [13-16].
Всё АО разделено на группы в соответствии с режимами функционирования
КПНО, в которых задействована СТЗ2:
♦ "Предполетная подготовка";
♦ "Руление по ВПП";
♦ "Разбег и взлет";
♦ "Заход на посадку";
♦ "Посадка и пробег".
В целом, определение пилотажно-навигационных параметров, а также параметров директорного управления осуществляется на основе комплексной обработки данных от информационных систем КПНО.
АО строится в событийной архитектуре. Переход из режима в режим осуществляется диспетчером режимов в соответствии с перечнем событий, определённых для каждого из режимов.
Операции, реализуемые в каждом из режимов:
♦ "Предполетная подготовка"
Проверка работоспособности аппаратных и программных компонентов СТЗ. Выполняются априорно известные процедуры опроса зрительных датчиков и вспомогательных устройств, проверка изменения выходных данных в соответствии с тестовыми последовательностями управляющих команд. В качестве одной из операций подготовки является калибровка стереоскопических зрительных систем. В процессе калибровки определяются внутренние параметры камер и параметры их расположения и ориентации в составе стереосистемы [17].
♦ "Руление по ВПП"
Выполняется обнаружение взлетно-посадочной полосы с применением нескольких алгоритмов обработки зрительных данных, настроенных на типовые режимы обнаружения образа ВПП: дневной или ночной режим, твердое покрытие без разметки, твердое покрытие с разметкой.
2 Имеется в виду на описываемом этапе исследований.
♦ "Разбег и взлет"
В СТЗ реализуется слежение за положением ЛА относительно оси ВПП и контроль внешней обстановки с учетом текущей скорости ЛА. Выполняется обнаружение границ ВПП и образов элементов разметки (если они имеются). Осуществляется контроль положения ЛА в соответствии с моделью используемой ВПП и текущими параметрами местоположения и ориентации ЛА.
♦ "Заход на посадку"
В режиме захода на посадку осуществляется обнаружение ВПП с расстояния порядка нескольких сотен метров до нескольких метров. При наблюдении на таком расстоянии предполагается видимость границ ВПП и элементов инфраструктуры (подъездные дорожки). Алгоритмы обработки зрительных данных сочетают обработку граничных, областных, цветовых признаков, а также признаков оптического потока для надежного обнаружения ВПП, ее ориентации в поле зрения стереосистемы и вычисления относительного местоположения и ориентации ЛА.
♦ "Посадка и пробег".
Выполняемые операции в целом аналогичны режиму «Разбег и взлет», включают в себя определение границ ВПП, местоположения ЛА относительно оси ВПП и определение ЛА в пределах ВПП с контролем скорости движения по результатам обработки зрительных данных.
4. Основы реализации. Основу реализации алгоритмического обеспечения образует каркас программного обеспечения систем технического зрения реального времени [18, 19]. Каркас используется в качестве заготовки для разработки новых СТЗ и дополняется компонентами, спроектированными для решения конкретной прикладной задачи. В рассматриваемом применении расширением каркаса являются объекты, служащие оболочками для алгоритмов обработки зрительных данных в каждом из предусмотренных режимов.
Компонентный программный каркас построен на основе опыта разработки систем технического зрения реального времени. Он рассчитан на реализацию ПО СТЗ в среде многозадачных операционных систем. Каркас реализует взаимодействие подсистем ПО СТЗ в рамках многопоточной архитектуры.
Компонентами, входящими в состав каркаса ПО СТЗ, являются объекты, классы и подсистемы ПО. Основными и наиболее крупными компонентами каркаса ПО являются подсистемы, которым соответствуют параллельные исполняемые потоки. В ПО СТЗ выделены три подсистемы: интерфейс пользователя, подсистема ввода зрительных данных и обработки зрительных данных. Первые две из этих подсистем содержат исполняемые потоки. Для реализации режимов функционирования ПО СТЗ сформированы классы для их представления. Эти классы содержат исполняемые потоки, реализующие цикл реального времени ПО СТЗ в каждом из режимов работы. Объекты-режимы выполняют координирующую роль по отношению к подсистемам ПО СТЗ. Действия по координации этих подсистем производятся в составе цикла реального времени.
Каркас ПО СТЗ представляет собой программу, обеспечивающую ввод зрительных данных от различных источников и передачу этих данных на программную обработку. В каркасе предусмотрены операции, связанные с организацией ввода и обработки зрительных данных, а также с представлением этих данных, промежуточных и окончательных результатов их обработки. Каркас позволяет выполнять обработку цветных и полутоновых изображений в составе одной СТЗ, выполнять обработку в нескольких полях зрения и разрабатывать распределенные СТЗ.
Алгоритмы обработки зрительных данных в ПО СТЗ оформляются в виде классов, выполняющих роль оболочек алгоритмов, и подключаемых к каркасу. Примерами низкоуровневых алгоритмов являются алгоритмы обнаружения харак-
терных признаков на изображениях - отрезков, краев, углов, окружностей и т.п. Хотя структура образов подобных признаков обычно не зависит от предметной области СТЗ, но в процессе их обнаружения для сокращения временных затрат и обеспечения работы в реальном времени могут быть использованы априорные данные о параметрах образов интереса. Эти данные в ПО СТЗ передаются в качестве входных параметров низкоуровневых алгоритмов обработки зрительных данных.
В каркасе ПО СТЗ предусмотрены средства отладки и контроля масштаба реального времени [18]. Пороговые ограничения по длительности обработки поступающих изображений динамически вычисляются в процессе обработки очередного кадра. При превышении заданного порогового значения алгоритмы обработки выполняют возврат с возвращением частично сформированных массивов выходных данных и с формированием признака возврата вследствие превышения времени обработки. Эти признаки фиксируются в отладочных объектах ПО СТЗ и используются в процессе настройки СТЗ на этапе опытной эксплуатации системы.
Высокоуровневые алгоритмы обработки зрительных данных в ПО СТЗ выполняют обработку, ориентированную на осуществление каждого из выделенных режимов функционирования ЛА. В этих алгоритмах выделяется набор последовательно выполняемых этапов обработки зрительных данных, успешное выполнение которых приводит к принятию решения об обнаружении образов объектов интереса. Такую структуру алгоритмов обработки можно представить в виде совокупности операций генерации гипотез с последующей верификацией. Для обеспечения работы в реальном времени при формировании гипотез, наиболее вероятно подтверждаемых в процессе обработки изображения, применяются априорно известные модели образов объектов интереса. Для обеспечения работы в реальном времени в ПО СТЗ также используется прогноз движения объектов интереса и их образов на изображениях, что позволяет сократить количество проверяемых гипотез при обработке очередного кадра.
5. Эксперименты по компоновке макета СТЗ и реализации ПО. В качестве средств сбора зрительных данных, на основе опыта разработки СТЗ наземных мобильных средств выбраны цифровые камеры высокого разрешения [15]. Характеристики камер:
♦ разрешение 2,3-5 Мб (1920x1200, 2592x1944, RGB);
♦ выход: цифровая форма представления видеосигнала высокого разрешения без сжатия, упакованная для передачи по гигабитной сети;
♦ прогрессивная развёртка (доступ к произвольным фрагментам растра), предусматривает возможность передачи по каналам связи и предоставления на обработку в вычислительное устройство только необходимых зрительных данных, а не всего кадра;
♦ управление объективом с автоматическим диафрагмированием;
♦ внешняя синхронизация. В условиях мобильной СТЗ синхронизация времени получения зрительных данных с различных полей зрения приобретает принципиально важное значение. Одновременность съёма зрительных данных является обязательным условием организации стереоизмерений. Наличие внешней синхронизации - ещё одна необходимая характеристика цифровой видеокамеры.
Эти камеры объединены в стереосистемы с базами от 1200 до 3000 мм. Вычислительно-управляющие блоки (ВУБ) в составе макета СТЗ имеют следующие характеристики:
♦ процессор: Intel Core i7 с частотой 3,3 ГГц;
♦ оперативная память: 16 Гб;
♦ накопитель твердотельный: не менее 2х400 Гб;
♦ 4 сетевых канала Gigabit Ethernet.
Каждый ВУБ обслуживает в режиме реального времени (с частотой от 15 до 30 Гц) одну стереопару.
Всё оборудование питается от бортовой сети ЛА.
Пример реализации алгоритмов выделения ориентиров при следовании по ВПП показан на рис. 4.
Рис. 4. Выделение полос разметки ВПП в поле зрения вперёд смотрящих
видеокамер.
Основу алгоритмического обеспечения автоматического движения ЛА по ВПП (от места стоянки до начала взлёта и от места посадки до стоянки) составляют методы интерпретирующей навигации, позволяющей решать навигационные задачи на основе слежения за образами ориентиров в поле зрения СТЗ [20-24].
Для оценки точностных характеристик СТЗ при определении размеров и расстояния до объектов в полях зрения применяются результаты исследования стереопар в составе наземных мобильных средств [25-30]. С учётом вышеуказанных характеристик видеокамер, использованных при компоновке макета СТЗ, точности определения параметров относительного движения (ЛА, на котором установлена СТЗ, по отношению к ВПП) составляют: 0,3-0,5 % от дальности наблюдения.
Заключение. В докладе описаны результаты первого этапа разработки системы технического зрения в составе комплекса пилотажно навигационного оборудования летательных аппаратов для информационного обеспечения автоматического движения по ВПП, взлёта и посадки.
Предложена общая компоновка комплекса бортового пилотажно-навигационного оборудования с интегрированной системой технического зрения в составе. На основе опыта разработок СТЗ наземных мобильных средств сформирована программно-аппаратная архитектура СТЗ. Разработана общая схема алгоритмического обеспечения СТЗ для информационного обеспечения автоматического движения по ВПП, взлёта и посадки. На макете СТЗ получены оценки точностных характеристик описанной системы. В целом результаты описанного этапа исследований говорят о возможности успешной реализации использования СТЗ в качестве дополнительного независимого информационного канала обеспечения автоматического управления летательным аппаратом при движении по ВПП, взлёте и посадки.
На следующих этапах исследования планируется провести эксперименты с макетом СТЗ в составе описанного КПНО.
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Brockers R. et al. Toward autonomous navigation of miniature UAV // Proc. IEEE Conf. on Computer Vision and Pattern Recognition. - 2014. - P. 645-651.
2. Johnson A. et al. Vision Guided Landing of an Autonomous Helicopter in Hazardous Terrain // Proc. IEEE Int. Conf. on Robotics and Automation, Barcelona, Spain, April 2005. - P. 3966-3971.
3. Dai X., Zhang H., and Shi Y. Autonomous Navigation for Wheeled Mobile Robots Survey // in Second International Conference on Innovative Computing, Information and Control (ICICIC 2007). IEEE, Sept. 2007. - P. 551-551.
4. Santosh D., Achar S.and Jawahar C. V. Autonomous image-based exploration for mobile robot navigation // in 2008 IEEE International Conference on Robotics and Automation. IEEE, May 2008. - P. 2717-2722.
5. Omer Cetin, Sefer Kurnaz, Okyay Kaynak. Airborne Vision-Based Navigation Method for UAV Accuracy Landing Using Infrared Lamps // J Intell Robot Syst, January 2011. - P. 239-250.
6. Yang Gui, Pengyu Guo, Hongliang Zhang, Zhihui Lei, Xiang Zhou, Jing Du, Qifeng Yu. Airborne Vision-Based Navigation Method for UAV Accuracy Landing Using Infrared Lamps // J Intell Robot Syst, March 2013. - P. 201-223.
7. Сотников В.И. Информационное обеспечение автоматической посадки беспилотного летательного аппарата // Сб. тезисов докладов Всероссийской научно-технической конференции «Навигация, наведение и управление летательными аппаратами», Москва, 20-21 сентября 2012 г. - М.: Изд-во «Научтехлитиздат», 2012. - С. 132-133.
8. Шкред В.К., БабиченкоА.В., ОреховМ.И. Электромагнитные измерения в навигационном пространстве // Инженерная физика. - 2011. - № 11. - С. 79-114.
9. Джанджгава Г.И., Бабиченко А.В., Орехов М.И. Многоуровневая система базовых алгоритмов комплексной обработки информации информационно-управляющего комплекса многофункционального летательного аппарата // Сб. тезисов докладов Всероссийской научно-технической конференции «Навигация, наведение и управление летательными аппаратами», Москва, 20-21 сентября 2012 г. - М.: Изд-во «Научтехлитиздат», 2012.
- С. 140-150.
10. Алексеев А.Н., Семенов А.А. Технология разработки программного обеспечения комплексов бортового оборудования летательных аппаратов на основе единого функционального ядра // Сб. тезисов докладов Всероссийской научно-технической конференции «Навигация, наведение и управление летательными аппаратами», Москва, 20-21 сентября 2012 г. - М.: Изд-во «Научтехлитиздат», 2012. - С. 168-169.
11. Мироненко С.А., Виноградов П.В., Алексеев А.Н. Концепция построения пилотажно-навигационного комплекса «тяжелого» беспилотного летательного аппарата самолетного типа // Сб. тезисов докладов Всероссийской научно-практической конференции «АВИАТОР», Воронеж, 12-14 февраля 2014 г. - Воронеж: Издательско-полиграфический центр «Научная книга», 2013. - С. 175-176.
12. Августов Л.И., Бабиченко А.В., Орехов М.И. Сухоруков С.Я., Шкред В.К. Навигация летательных аппаратов в околоземном пространстве / Под ред. Джанджгавы Г.И. - М.: Изд-во «Научтехлитиздат», 2015. - 592 с.
13. ПлатоновА.К., Соколов С.М., СазоновВ.В., Богуславский А.А., Трифонов О.В., Васильев А.И., Куфтин Ф.А., Моксин К.А. Программно-аппаратный комплекс средств навигации мобильных систем // Вопросы оборонной техники. Серия 9. Специальные системы управления, следящие приводы и их элементы. - 2010. - Вып. 1 (242)-2(243). - С. 47-55.
14. Соколов С.М., Богуславский А.А., Васильев А.И., Трифонов О.В., Назаров В.Г., Фролов Р.С. Методические и практические аспекты разработки систем компьютерного видения для навигации и измерений // Известия ЮФУ. Технические науки. - 2012. - № 3 (128). - С. 76-85.
15. Соколов С.М., Богуславский А.А., Трифонов О.В. Интеллектуальные модули системы технического зрения для оперативного определения состояния и контроля объектов инфраструктуры железной дороги // Труды 2-й Международной научно-практической конференции «Интеллектуальные системы на транспорте» (IntellectTrans-2012) 28-31 марта 2012 г. - СПб., 2012. - С. 346-355.
16. Соколов С.М., Богуславский А.А., Трифонов О.В. Компьютерное видение в составе систем интеллектуального управления на железнодорожном транспорте // Железнодорожный транспорт. - 2013. - № 10. - С. 66-69.
17. Васильев А.И., Богуславский А.А. Алгоритмы калибровки широкоугольных камер общего назначения для стереоскопических измерений // Геопространственные информационно-управляющие системы: научно-технический сборник материалов Юбилейной научно-технической конференции, посвященной 60-летию создания ОАО "НИИ ТП". Т. 1.
- М., 2012. - С. 171-184.
18. Богуславский А.А., Соколов С.М. Компонентные технологии отладки для систем технического зрения реального времени // Труды Первой Всероссийской научной конференции "Методы и средства обработки информации", Москва, МГУ им. М.В. Ломоносова, 1-3 октября 2003. - C. 304-310.
19. Богуславский А.А., Соколов С.М. Обнаружение образов объектов c изменяющейся структурой в системах технического зрения реального времени // Информационные технологии и вычислительные системы. - 2006. - № 1. - C. 61-77.
20. КирильченкоА.А. Интерпретация локальных относительных описаний среды мобильным роботом // Препринт ИПМ им. М.В. Келдыша АН СССР. - 1983. - № 149. - 28 с.
21. Levitt T.S., Lawton D.T. Qualitative navigation for mobile robots // Artif. Intell. - 1990.
- Vol. 44. - P. 305-360.
22. Кирильченко А.А., Платонов А.К., Соколов С.М. Теоретические аспекты организации интерпретирующей навигации мобильного робота // Препринт ИПМ им. М. В. Келдыша РАН. - 2002. - № 5. - 40 с.
23. Sokolov S.M., Kirilchenko A.A., Batanov A.F. Increase of Efficiency of the Mobile Robots with the Help of the Information System Intellectualization // Proceedings of the 7th World Multi-Conference on Systemics, Cybernetics and Informatics (SCI 2003), July 27-30, 2003 Orlando, Florida (USA).
24. Ахтеров А.В. Некоторые аспекты интерпретирующей навигации мобильного робота // Препринт ИПМ им. М.В. Келдыша РАН. - 2005.
25. Wagner M. et al. Principles of Computer System Design for Stereo Perception // Robotics Institute, Carnegie Mellon University, CMU-RI-TR-02-01, 2002. - 22 p.
26. Vasilyev A.I., BoguslavskiyA.A., Sokolov S.M. Parallel SIFT-detector implementation for images matching // Proc. of the 21st Conference on Computer Graphics and Vision, GraphiCon'2011, September 26-30, 2011. - P. 173-176.
27. Sokolov S.M., Boguslavsky A.A., Vasilyev A.I., Trifonov O.V. Development of software and hardware of entry-level vision systems for navigation tasks and measuring // Proc. The 1st Intern. Conf. on Robot Intelligence Technology and Applications (RiTA2012), Owangju, Korea, December 16-18, 2012.
28. Goldberg S., Maimone M., Matthies L. Stereo Vision and Rover Navigation Software for Planetary Exploration // Proc. IEEE Aerospace Conf., Montana, USA, March 2002.
29. Bernini N. et al. Real-Time Obstacle Detection using Stereo Vision for Autonomous Ground Vehicles: A Survey // Proc. IEEE 17th Int. Conf. on Intelligent Transportation Systems.
- 2014. - P. 873-878.
30. Johnson A. et al. Robust and Efficient Stereo Feature Tracking for Visual Odometry // Proc. IEEE Int. Conf. on Robotics and Automation, Pasadena, USA, May 19-23, 2008. - P. 39-46.
REFERENCES
1. Brockers R. et al. Toward autonomous navigation of miniature UAV, Proc. IEEE Conf. on Computer Vision and Pattern Recognition, 2014, pp. 645-651.
2. Johnson A. et al. Vision Guided Landing of an Autonomous Helicopter in Hazardous Terrain, Proc. IEEE Int. Conf. on Robotics and Automation, Barcelona, Spain, April 2005, pp. 39663971.
3. Dai X., Zhang H., and Shi Y. Autonomous Navigation for Wheeled Mobile Robots Survey, in Second International Conference on Innovative Computing, Information and Control (ICICIC 2007). IEEE, Sept. 2007, pp. 551-551.
4. Santosh D., Achar S.and Jawahar C. V. Autonomous image-based exploration for mobile robot navigation, in 2008 IEEE International Conference on Robotics and Automation. IEEE, May 2008, pp. 2717-2722.
5. Omer Cetin, Sefer Kurnaz, Okyay Kaynak. Airborne Vision-Based Navigation Method for UAV Accuracy Landing Using Infrared Lamps, J. Intell Robot Syst , January 2011, pp. 239-250.
6. Yang Gui, Pengyu Guo, Hongliang Zhang, Zhihui Lei, Xiang Zhou, Jing Du, Qifeng Yu. Airborne Vision-Based Navigation Method for UAV Accuracy Landing Using Infrared Lamps, J. Intell Robot Syst, March 2013, pp. 201-223.
7. Sotnikov V.I. Informatsionnoe obespechenie avtomaticheskoy posadki bespilotnogo letatel'nogo apparata [Information support automatic landing unmanned aerial vehicle], Sb. tezisov dokladov Vserossiyskoy nauchno-tekhnicheskoy konferentsii «Navigatsiya, navedenie i upravlenie letatel'nymi apparatami», Moskva, 20-21 sentyabrya 2012 g [A collection of abstracts of all-Russian scientific-technical conference "Navigation, guidance and control of aircraft", Moscow, 20-21 September 2012]. Moscow: Izd-vo «Nauchtekhlitizdat», 2012, pp. 132-133.
8. Shkred V.K., Babichenko A.V., Orekhov M.I. Elektromagnitnye izmereniya v navigatsionnom prostranstve [Electromagnetic measurements in the navigation space], Inzhenernaya fizika [Engineering physics], 2011, No. 11, pp. 79-114.
9. Dzhandzhgava G.I., Babichenko A.V., Orekhov M.I. Mnogourovnevaya sistema bazovykh algoritmov kompleksnoy obrabotki informatsii informatsionno-upravlyayushchego kompleksa mnogofunktsional'nogo letatel'nogo apparata [Multilevel system of the basic algorithms integrated processing of information and control of complex multifunctional aircraft], Sb. tezisov dokladov Vserossiyskoy nauchno-tekhnicheskoy konferentsii «Navigatsiya, navedenie i upravlenie letatel'nymi apparatami», Moskva, 20-21 sentyabrya 2012 g [A collection of abstracts of all-Russian scientific-technical conference "Navigation, guidance and control of aircraft", Moscow, 20-21 September 2012]. Moscow: Izd-vo «Nauchtekhlitizdat», 2012, pp. 140-150.
10. Alekseev A.N., Semenov A.A. Tekhnologiya razrabotki programmnogo obespecheniya kompleksov bortovogo oborudovaniya letatel'nykh apparatov na osnove edinogo funktsional'nogo yadra [Technology software development avionics of the aircraft on the basis of common functional core], Sb. tezisov dokladov Vserossiyskoy nauchno-tekhnicheskoy konferentsii «Navigatsiya, navedenie i upravlenie letatel'nymi apparatami», Moskva, 20-21 sentyabrya 2012 g [A collection of abstracts of all-Russian scientific-technical conference "Navigation, guidance and control of aircraft", Moscow, 20-21 September 2012]. Moscow: Izd-vo «Nauchtekhlitizdat», 2012, pp. 168-169.
11. Mironenko S.A., Vinogradov P.V., Alekseev A.N. Kontseptsiya postroeniya pilotazhno-navigatsionnogo kompleksa «tyazhelogo» bespilotnogo letatel'nogo apparata samoletnogo tipa [The concept of flight-navigation complex "heavy" unmanned aerial vehicle aircraft type], Sb. tezisov dokladov Vserossiyskoy nauchno-prakticheskoy konferentsii «AVIATOR», Voronezh, 12-14 fevralya 2014 g [A collection of abstracts of all-Russian scientific-practical conference "the AVIATOR", Voronezh, 12-14 February 2014]. Voronezh: Izdatel'sko-poligraficheskiy tsentr «Nauchnaya kniga», 2013, pp. 175-176.
12. Avgustov L.I., Babichenko A.V., Orekhov M.I. Sukhorukov S.Ya., Shkred V.K. Navigatsiya letatel'nykh apparatov v okolozemnom prostranstve [Navigation of aircraft in near-earth space]. Under edition Dzhandzhgavy G.I. Moscow: Izd-vo «Nauchtekhlitizdat», 2015, 592 p.
13. Platonov A.K., Sokolov S.M., Sazonov V.V., Boguslavskiy A.A., Trifonov O.V., Vasil'ev A.I., Kuftin F.A., Moksin K.A. Programmno-apparatnyy kompleks sredstv navigatsii mobil'nykh sistem [Software and hardware mobile navigation systems], Voprosy oboronnoy tekhniki. Seriya 9. Spetsial'nye sistemy upravleniya, sledyashchie privody i ikh element [Questions of defense technology. Series 9. Special control systems, servo drives and their elements], Issue 1 (242)-2(243), 2010, pp. 47-55.
14. Sokolov S.M., Boguslavskiy A.A., Vasil'ev A.I., Trifonov O.V., Nazarov V.G., Frolov R.S. Metodicheskie i prakticheskie aspekty razrabotki sistem komp'yuternogo vi-deniya dlya navigatsii i izmereniy [Methodological and practical aspects of the development of systems for computer vision for navigation and measurement], Izvestiya YuFU. Tekhnicheskie nauki [Izvestiya SFedU. Engineering Sciences], 2012, No. 3 (128), pp. 76-85.
15. Sokolov S.M., Boguslavskiy A.A., Trifonov O.V. Intellektual'nye moduli sistemy tekhnicheskogo zreniya dlya operativnogo opredeleniya sostoyaniya i kontrolya ob"ektov infrastruktury zheleznoy dorogi [Intelligent modules of the system of technical vision for rapid determination of the status and control of the railway infrastructure], Trudy 2-y Mezhdunarodnoy nauchno-prakticheskoy konferentsii «Intellektual'nye sistemy na transporte» (IntellectTrans-2012) 28-31 marta 2012 g [Proceedings of the 2nd International scientific-practical conference "Intelligent systems in transport (IntellectTrans-2012) March 28-31, 2012]. St. Petersburg, 2012, pp. 346-355.
16. Sokolov S.M., Boguslavskiy A.A., Trifonov O.V. Komp'yuternoe videnie v sostave sistem intellektual'nogo upravleniya na zheleznodorozhnom transporte [Computer vision in the structure of the intelligent control systems on the railway transport], Zheleznodorozhnyy transport [Railway transport]. 2013, No. 10, pp. 66-69.
17. Vasil'ev A.I., Boguslavskiy A.A. Algoritmy kalibrovki shirokougol'nykh kamer obshchego naznacheniya dlya stereoskopicheskikh izmereniy [Calibration algorithms wide-angle cameras for General purpose stereoscopic measurements], Geoprostranstvennye informatsionno-upravlyayushchie sistemy: nauchno-tekhnicheskiy sbornik materialov Yubileynoy nauchno-tekhnicheskoy konferentsii, posvyashchennoy 60-letiyu sozdaniya OAO "NII TP" [Proceedings of the 2nd International scientific-practical conference "Intelligent systems in transport (IntellectTrans-2012) March 28-31, 2012], Vol. 1. Moscow, 2012, pp. 171-184.
18. Boguslavskiy A.A., Sokolov S.M. Komponentnye tekhnologii otladki dlya sistem tekhni-cheskogo zreniya real'nogo vremeni [Component debugging technologies for vision systems for real-time], Trudy Pervoy Vserossiyskoy nauchnoy konferentsii "Metody i sredstva obrabotki informatsii", Moskva, MGU im. M.V. Lomonosova, 1-3 oktyabrya 2003 [Proceedings of the First all-Russian scientific conference "Methods and tools for information processing", Moscow, MSU M. V. Lomonosov, 1-3 October 2003], pp. 304-310.
19. Boguslavskiy A.A., Sokolov S.M. Obnaruzhenie obrazov ob"ektov c izmenyayushcheysya strukturoy v sistemakh tekhnicheskogo zreniya real'nogo vremeni [Detecting images of objects of c varying structure in vision systems for real-time], Informatsionnye tekhnologii i vychislitel'nye sistemy [Information technology and computer systems], 2006, No. 1, pp. 61-77.
20. Kiril'chenko A.A. Interpretatsiya lokal'nykh otnositel'nykh opisaniy sredy mobil'nym robotom [Interpretation of local relative descriptions of the environment of a mobile robot], Preprint IPMim. M.V. Keldysha ANSSSR [Preprint IPM them. M. V. Keldysh, USSR Academy of Sciences], 1983, No. 149, 28 p.
21. Levitt T.S., Lawton D.T. Qualitative navigation for mobile robots, Artif. Intell., 1990, Vol. 44, pp. 305-360.
22. Kiril'chenko A.A., Platonov A.K., Sokolov S.M.Teoreticheskie aspekty organizatsii interpretiruyushchey navigatsii mobil'nogo robota [Theoretical aspects of qualitative navigation for mobile robot], Preprint IPM im. M.V. Keldysha RAN [Preprint IPM them M.V. Keldysh RAS], 2002, No. 5, 40 p.
23. Sokolov S.M., Kirilchenko A.A., Batanov A.F. Increase of Efficiency of the Mobile Robots with the Help of the Information System Intellectualization, Proceedings of the 7th World Multi-Conference on Systemics, Cybernetics and Informatics (SCI 2003), July 27-30, 2003 Orlando, Florida (USA).
24. Akhterov A.V. Nekotorye aspekty interpretiruyushchey navigatsii mobil'nogo robota [Some aspects of qualitative navigation for mobile robot], Preprint IPM im. M.V. Keldysha RAN [Preprint IPM them. M.V. Keldysh RAS], 2005.
25. Wagner M. et al. Principles of Computer System Design for Stereo Perception, Robotics Institute, Carnegie Mellon University, CMU-RI-TR-02-01, 2002, 22 p.
26. Vasilyev A.I., Boguslavskiy A.A., Sokolov S.M. Parallel SIFT-detector implementation for images matching, Proc. of the 21st Conference on Computer Graphics and Vision, GraphiCon'2011, September 26-30, 2011, pp. 173-176.
27. SokolovS.M., BoguslavskyA.A., VasilyevA.I., Trifonov O.V. Development of software and hardware of entry-level vision systems for navigation tasks and measuring, Proc. The 1st Intern. Conf. on Robot Intelligence Technology and Applications (RiTA2012), Owangju, Korea, December 16-18, 2012.
28. Goldberg S., Maimone M., Matthies L. Stereo Vision and Rover Navigation Software for Planetary Exploration, Proc. IEEE Aerospace Conf., Montana, USA, March 2002.
29. Bernini N. et al. Real-Time Obstacle Detection using Stereo Vision for Autonomous Ground Vehicles: A Survey, Proc. IEEE 17th Int. Conf. on Intelligent Transportation Systems, 2014, pp. 873-878.
30. Johnson A. et al. Robust and Efficient Stereo Feature Tracking for Visual Odometry, Proc. IEEE Int. Conf. on Robotics and Automation, Pasadena, USA, May 19-23, 2008, pp. 39-46.
Статью рекомендовал к опубликованию д.т.н., профессор В.Х. Пшихопов.
Соколов Сергей Михайлович - Федеральное государственное бюджетное учреждение науки Институт прикладной математики им. М.В. Келдыша Российской академии наук; e-mail: [email protected]; 125047, Москва, Миусская пл., 4; тел.: 89161220113; д.ф.-м.н.; зав. сектором.
Богуславский Андрей Александрович - e-mail: [email protected]; тел.: 89167379448; д.ф.-м.н.; с.н.с.
Фёдоров Николай Григорьевич - Открытое акционерное общество «Раменское приборостроительное конструкторское бюро»; e-mail: [email protected]; 140103, Раменское, Московской области, ул. Гурьева, 2; тел.: 89067158504; начальник отдела.
Виноградов Павел Владимирович - e-mail: [email protected]; тел.: 89057680235; к.т.н.; ведущий инженер-конструктор.
Sokolov Sergey Mikhaylovich - Keldysh Institute for Applied Mathematics Russian Academy of Sciences; e-mail: [email protected]; 4, Miusskaya sq., Moscow A-47, 125047, Moscow, Russia; phone: +79161220113; head of robotics and mechatronics division; dr. of phys.-math. sc.; professor.
Boguslavsky Andrey Alexandrovich - e-mail: [email protected]; phone: +79167379448; dr. of phys.-math. sc.; senior scientist.
Fedorov Nikolay Grigor'evich - JSC Ramenskoe design company; e-mail: [email protected]; 2, Guryeva street, Moscow region, Ramenskoe, 140103, Russia; phone: +79067158504; head of advanced developments division.
Vinogradov Pavel Vladimirovich - e-mail: [email protected]; phone: +79057680235; cand. of eng. sc.; leading design engineer.
УДК 004.89
Н.В. Ким, Н.Е. Бодунков, Д.В. Клестов
РАЗРАБОТКА СИСТЕМЫ ФОРМИРОВАНИЯ АДАПТИВНЫХ ОПИСАНИЙ ОБЪЕКТОВ ИНТЕРЕСА ДЛЯ СТЗ РТК
Рассмотрена проблема функционирования систем технического зрения (СТЗ) автономного робототехнического комплекса (РТК) в неопределенных и изменяемых условиях. Показано, что решение задач наблюдения: обнаружения или распознавания объектов интереса основано на сравнении запомненных заранее эталонных описаний объектов и принимаемых СТЗ реальных (текущих) изображений. При этом эффективность решений в изменяемых условиях определяется необходимостью предварительной подготовки большого числа эталонных описаний объектов (для различных условий наблюдения). Для сокращения требуемого начального набора эталонных описаний предлагается новый подход к формированию адаптивных описаний объектов интереса на основе использования нейронечет-ких систем. Нечеткая система состоит из нечетких правил. Правило устанавливает соответствие между определенными условиями наблюдения и эталонными описаниями. Набор эталонов формирует соответствующую базу знаний (БЗ). Такой подход может обеспечить расширение функциональных возможностей существующих СТЗ РТК в неопределенных условиях и предоставляет возможность дополнительного обучения уже сформированных описаний. Рассматриваются вопросы использования адаптивных описаний при решении целевой задачи навигации РТК, структура адаптивных описаний, способ представления БЗ описаний. Показано, что наиболее подходящим способом представления знаний для задачи формирования БЗ адаптивной СТЗ является фреймовое. На основе фреймовых описаний была построена тестовая БЗ, на примере которой была показана работоспособность предлагаемого подхода.
Автономные РТК; системы технического зрения; адаптивные описания; нейроне-четкие системы; фреймы.
N.V. Kim, N.E. Bodunkov, D.V. Klestov
DEVELOPMENT OF THE ADAPTIVE OBJECTS DESCRIPTIONS FOR THE COMPUTER VISION OF ROBOTIC SYSTEMS
Problem of technical vision .systems (TVS) of autonomous robotic complex (RTC) functioning in uncertain and changing conditions is considered in the paper. It is shown that the solution of the observation tasks, such as detection and recognition of objects of interest (OI), is based on a comparison of pre-stored reference object descriptions and actual (current) images received by
