CC BY
24
АНАЛИЗ МОНОГРАФИИ Д. А. ЛОВЦОВА, Д. А. ГАВРИЛОВА «МОДЕЛИРОВАНИЕ ОПТИКО-ЭЛЕКТРОННЫХ СИСТЕМ ДИСТАНЦИОННО ПИЛОТИРУЕМЫХ АППАРАТОВ»
Дементьев В.А.*
Ключевые слова: оптико-электронная система, переработка визуальной информации, стабилизация, детектирование, локализация, классификация, методы, нейросетевые технологии, эффективность, качество.
Аннотация.
Цель работы: научная оценка современного состояния развития научно-методической базы моделирования и построения эффективных оптико-электронных систем дистанционно пилотируемых аппаратов.
Метод: системный анализ монографии как научного труда, направленного на решение актуальной научной проблемы обеспечения эффективности переработки визуальной информации.
Результаты: исследованы содержание, структура, предназначение, актуальность, прагматические достоинства, дидактические особенности и апробация монографии. Дана общая оценка монографии как системологи-ческого исследования научно-теоретических основ и информационно-математического обеспечения, отношений и структур применяемых и разрабатываемых оптико-электронных систем дистанционно пилотируемых аппаратов.
Показаны роль и место монографии в предметной области оптической электроники, аэрокосмического мониторинга, информологии и правовой информатики.
001: 10.21681/1994-1404-2019-3-72-76
Современные дистанционно пилотируемые аппараты (ДПА) представляют собой сложные технические комплексы, позволяющие решать достаточно широкий круг различных народнохозяйственных и специальных задач мониторинга [8—10] и целевого воздействия. Дистанционно пилотируемый аппарат — летательный, подводный или наземный аппарат, удаленно управляемый оператором, находящимся на пункте управления, или бортовой автоматической системой и обеспечивающий возможность получения, переработки и передачи визуальной информации на пункт дистанционного управления в реальном масштабе времени.
Основная сложность при создании ДПА специального назначения заключается в создании необходимой для его применения системы управления1, включая алгоритмы, информационные датчики, оптико-электронные системы и др. Особое место в данном случае занимает проблема замещения пилота как оператора управления на борту ДПА. На различных этапах по-
1 См., например: Дементьев В. А. Комплексное проектирование
систем управления и контроля летательных аппаратов. М.: Машиностроение, 1980. 256 с.
лета могут возникать ситуации, требующие наличия на ДПА полностью автономной системы управления и информационно-математического обеспечения [11]. Эффективность системы управления современных автономных ДПА в значительной мере определяется эффективностью работы алгоритмов бортовой оптико-электронной системы.
В 2019 г. в издательстве «Технолоджи-3000» вышла в свет монография «Моделирование оптико-электронных систем дистанционно пилотируемых аппаратов» (ISBN 978-5-94472-036-8) [13], подготовленная доктором технических наук, профессором, заслуженным деятелем науки Российской Федерации Д. А. Ловцовым, заместителем по научной работе генерального директора Института точной механики и вычислительной техники имени С. А. Лебедева Российской академии наук, и кандидатом технических наук Д. А. Гавриловым, руководителем лаборатории цифровых систем специального назначения Московского физико-технического института (национальный технический университет). Рецензентами выступили автор настоящей статьи и доктор технических наук, профессор, заслуженный деятель науки и техники РСФСР В. В. Омельченко, советник секретариата научно-технического совета Военно-промышленной корпорации «НПО машиностроения».
* Дементьев Валерий Александрович, доктор технических наук, профессор, академик Российской академии ракетных и артиллерийских наук и Российской академии естественных наук, советник генерального директора ООО «Автоматизированная система торгов государственного оборонного заказа», г. Москва, Российская Федерация. E-mail: [email protected]
Анализ монографии Д.А. Ловцова, Д.А. Гаврилова «Моделирование..
Основная цель монографии — решение актуальной научной проблемы обеспечения информационной эффективности, а также оперативности, надежности, устойчивости и живучести [11] автоматизированных оптико-электронных систем (АОЭС) дистанционно пилотируемых аппаратов на основе разработки формально-математического аппарата и совокупности научно-методических положений, методик и алгоритмов переработки визуальной информации.
В качестве основы для построения эффективной АОЭС ДПА авторами использован проблемно-ориентированный вариант комплексного «ИКС»-подхода2 («ин-формационно-кибернетически-синергетического») [11, 12], т. е. системного подхода с акцентированием внимания на его информационном, кибернетическом и синергетическом аспектах, состоящего в интеграции методологии информационного подхода (при котором объект рассматривается как целенаправленная информационная система), методологии кибернетического подхода (при котором объект рассматривается как система управления на уровне информационных процессов и алгоритмов функционирования информационной базы) с методологией синергетического подхода (при котором объект рассматривается как динамическая самоорганизующаяся система, взаимодействующая со средой) в составе методологии системного подхода (при котором объект рассматривается как сложноорганизованная многоуровневая и многоаспектная система), включающего методы структурно-математического, операционного и ситуационного анализа, позволяющие рассматривать математические и логические описания процессов и результатов их выполнения в реальном масштабе времени. Применение данного варианта комплексного подхода обеспечило возможность многоуровневого продуктивного исследования АОЭС ДПА [14, 15].
Содержание монографии определяется результатами многолетних научных исследований авторов в области обеспечения эффективности переработки визуальной информации, в ходе которых создан ряд опытных образцов и лабораторных макетов модель-но-алгоритмического и программного обеспечения, перспективных электронных компонентов современных АОЭС ДПА, разработаны стенды симуляции фоно-целевых обстановок и системы тестирования оптико-электронных систем.
Структура монографии определяется ее целью и представлена пятью взаимосвязанными главами, посвященными соответственно: анализу методов и способов решения задач переработки информации (глава 1), вопросам стабилизации изображений (глава 2), разметке изображений и формированию обучающих выборок для нейронных сетей (глава 3), оценке качества оптико-электронных систем ДПА (глава 4) и методам
2 Ловцов Д. А. Информационные аспекты комплексного подхода к исследованию систем управления // НТИ. Сер. 2. Информ. процессы и системы. 1997. № 5. С. 10—17, 32.
испытаний оптико-электронных систем (глава 5). Ссылки на известные научные библиографические источники приведены достаточно полно и уместно, и являются отдельным достоинством работы.
Во введении определено место системы управления при решении вопросов создания ДПА. Выделены основные сложности, возникающие при создании ДПА специального назначения. Одним из основных требований к оптико-электронной системе ДПА является способность без участия оператора выделять во входном видеопотоке объекты интереса и осуществлять слежение за данными объектами. При этом переработка визуальной информации, получаемой оптико-электронной системой, должна осуществляться в автоматическом режиме. Таким образом, оптико-электронная система приобретает роль «органов зрения» ДПА, ключевым моментом построения которых является необходимость реализации качественного алгоритма обнаружения объектов.
В первой главе дается краткая историческая справка об эволюции методов переработки визуальной информации. Отмечено, что интерес к изучению проблемы автоматизированного анализа изображений нашел широкое отражение в многочисленных исследованиях российских и зарубежных авторов. Значительный вклад в разработку методов и алгоритмов обработки изображений, а также систем технического зрения внесли работы таких авторов, как Д. Марр3, Р. Гонсалес и Р. Вудс [6], В. А. Сойфер [17], Ю. В. Визильтер и С. Ю. Желтов [1] и многие другие.
Проведен анализ задач переработки визуальной информации, возникающих перед исследователями. Выделена основная задача обработки и последующего анализа изображения, которой является получение из исходного изображения, поданного на вход системы, аналитических данных неизобразительного описания. В зависимости от поставленной задачи это может быть указание классификатора, к которому относится рассматриваемое изображение, либо характеристики отдельных объектов на изображении и отношений между ними. Рассмотрена классификация методов обработки изображений, перечислены основные стадии и методологические основы обработки изображений, выделены основные современные алгоритмы обнаружения и локализации объектов на фото- и видеоданных, построенные на основе классических и нейросетевых методов, применительно к различным фоно-целевым обстановкам.
Вторая глава посвящена вопросам стабилизации видеоизображений. Работа любого алгоритма детектирования и слежения должна начинаться с оценки движения камеры и стабилизации видеоизображения. В данной главе внимание авторов сосредоточено на алгоритмах, решающих одну из важнейших задач при
3 Марр Д. Зрение. Информационный подход к изучению представления и обработки зрительных образов. М. : Радио и связь, 1987. 400 с.
построении системы компьютерного зрения — стабилизацию видеоизображений. Рассмотрены и проанализированы различные методы определения величины смещения кадра [5].
В третьей главе рассмотрены проблемные вопросы разметки изображений и построения обучающих выборок для нейронных сетей. К преимуществам методов решения задач обнаружения объектов на изображениях с использованием искусственных нейронных сетей относится быстрота и высокая продуктивность работы, а также возможность обучения на изображениях, размещенных в открытых архивах. Представлены способы решения одной из основных проблем алгоритмов машинного обучения — необходимости создания для их обучения и работы базы образцов изображений [16] или обучающей выборки с обозначенными объектами интереса. Подобные базы образцов обычно создаются вручную человеком-оператором, что представляет собой весьма трудоемкую задачу, требующую достаточно большой выборки изображений, содержащих объекты интереса, снятые в различных видах и ракурсах. Особенностями задачи детектирования малых объектов является то, что объект интереса занимает, как правило, небольшую часть кадра по сравнению с его общей площадью, при этом общее количество объектов интереса в кадре может быть значительным. Кроме того, интересующие классы, например, авиационная техника или сухопутная военная техника, обычно слабо представлены в доступных базах образцов [2].
В четвертой главе представлены методы оценки качества оптико-электронных систем ДПА, включающие описание методов симуляции сцены (экспозиции), особенности математического моделирования помех и эффектов, а также формализованные принципы оценки качества трекинга. Приведено описание специального программного обеспечения, позволяющего автоматизировать процесс проверки работы систем детектирования и локализации объектов интереса с помощью следующей функциональности: генерирование видеофайла с заданными параметрами движения камеры и целей, величины и типов помех; симуляция искусственного видеосигнала, позволяющая воспроизводить сгенерированный видеофайл; режим логирования; автоматизированный анализ лога и получение статистики по различным критериям «качества» работы [4].
В пятой главе представлено описание программно-аппаратного комплекса тестирования алгоритмов детектирования и локализации объектов в видеопоследовательностях, обеспечивающего возможность оценки соответствия между параметрами входного видео и численными коэффициентами оценки качества сопровождения объекта интереса. Представленный программно-аппаратный комплекс и программа испытаний позволяют проводить испытания алгоритмов как первичной переработки, состоящих в формировании сжатого представления информации, содержащейся в кадре видеосигнала, так и вторичной переработки, осуществляющих мультиплексирование и межкадро-
вую переработку информации, полученной от различных алгоритмов первичной переработки или в результате обработки видеоизображения с различных источников видеосигнала [3, 6].
Полученные в монографии результаты можно структурировать следующим образом:
а) в системно-концептуальном плане в монографии предложен структурно-формализованный подход к анализу научно-технического уровня АОЭС ДПА, определены основные тенденции и направления развития современных методов обработки изображений, построенных на основе классических и нейросетевых подходов;
б) в информационно-аналитическом аспекте разработано информационно-математическое обеспечение информационной эффективности АОЭС ДПА аэрокосмического мониторинга, основанное на уточненных критериях оценки качества в части стабилизации видеоизображений в режиме реального времени и модифицированных методах совмещения кадров;
в) в рамках развития нейросетевых технологий переработки визуальной информации предложено информационно-математическое обеспечение решения целевых задач АОЭС ДПА с применением нейро-сетевых технологий, базирующееся на универсальном методе подготовки обучающих выборок, учитывающем основные принципы построения и подготовки обучающих выборок для нейронных сетей по комплексным сценариям, сбора статистической информации по результатам обучения и переработки новых данных с помощью обученной сети для эффективного обучения сверточных нейросетей в условиях недостаточного количества реальных данных, а также рассмотрена формализация процесса обучения нейросетей;
г) предложен и теоретически обоснован формально-математический аппарат функционального диагностирования АОЭС ДПА, базирующийся на интегрированной структуре решения задачи оценки информационной эффективности АОЭС ДПА в условиях информационного противоборства, с учетом возможных неблагоприятных воздействий агрессивной внешней среды и нестандартных внешних факторов, разнохарактерных помех и многоуровневых угроз, а также оценке возможности работы с различными типами объектов, предназначенными для детектирования, локализации, классификации.
д) описаны методы испытаний АОЭС ДПА, представлен программно-аппаратный комплекс тестирования АОЭС ДПА в режиме реального времени и программа для ЭВМ для его реализации.
В связи с этим, а также учитывая актуальность проблемы обеспечения информационной эффективности АОЭС ДПА, можно констатировать, что авторам Д. А. Ловцову и Д. А. Гаврилову удалось пополнить такое важное направление научных исследований, как обеспечение эффективности переработки визуальной информации, интересным и новым содержанием в части моделирования АОЭС, основываясь на современных
Анализ монографии Д.А.
подходах в области анализа и синтеза оптико-электронных систем как с помощью классических методов детектирования, локализации и классификации визуальной информации, так и с использованием перспективных нейросетевых технологий.
Можно рекомендовать к использованию данный научный труд — монографию Д. А. Ловцова и Д. А. Гав-рилова «Моделирование оптико-электронных систем дистанционно пилотируемых аппаратов» научным, научно-техническим и научно-педагогическим работникам, специалистам в области управления оптико-электронными системами, а также в качестве учебного пособия для изучающих системы управления дистанционно пилотируемых (беспилотных) аппаратов, системы технического зрения и занимающихся вопросами переработки визуальной информации.
Авторам целесообразно продолжить разработку и развитие своего научного проекта, получение новых интересных обобщений и результатов, направленных, в частности, на формализацию оценок уровней целе-
овцова, Д.А. Гаврилова «Моделирование...
вой и технологической эффективности4 переработки визуальной информации, а также оценки точности работы АОЭС и качества информационно-математического обеспечения, для чего можно использовать характеристические кривые, или так называемые ROC-кривые (Receiver Operator Characteristic — характеристика работы классификатора), устанавливающие зависимость между ошибками 1-го и 2-го рода (пропуск цели и ложная тревога) [16].
Представляется актуальным также исследование особенностей построения АОЭС ДПА охранного мониторинга в правоохранительных органах [8—10].
4 Например, с учетом системы обоснованных авторами прагматических показателей, рассмотренных в работах: Ловцов Д. А. Информационные оценки технологической эффективности переработки информации // НТИ. Сер. 2. Информ. процессы и системы. 1997. № 11. С. 22—26; Ловцов Д. А. Информационные показатели эффективности функционирования АСУ сложными динамическими объектами // Автоматика и телемеханика. 1994. № 12. С. 143—150.
Литература
1. Визильтер Ю. В., Желтов С. Ю., Князь В. А., Ходарев А. Н., Моржин А. В. Обработка и анализ цифровых изображений с примерами на LabVIEW IMAQ Vision. М. : ДМК Пресс, 2007. 464 с.
2. Гаврилов Д. А. Нейросетевой алгоритм автоматического обнаружения и сопровождения объекта интереса в видеосигнале // 16-я Национ. конф. по искусств. интеллекту («КИИ-2018») / ФИЦИУ РАН. М. : ФИЦИУ, 2018. С. 188—190.
3. Гаврилов Д. А. Программно-аппаратный комплекс тестирования алгоритмов детектирования и локализации объектов в видеопоследовательностях // Научное приборостроение. 2019. Т. 29. № 1. С. 21—28.
4. Гаврилов Д. А., Ивкин А. В., Щелкунов Н. Н. Система тестирования алгоритмов стабилизации видеоизображений, функционирующих в режиме реального времени // Вестник МГТУ им. Н.Э. Баумана. Сер. «Приборостроение». 2018. № 6. С. 112—126.
5. Гаврилов Д. А., Павлов А. В. Поточная аппаратная реализация алгоритма SURF // Изв. ВУЗов. Электроника. 2018. Т. 23. № 5. С. 502—511.
6. Гаврилов Д. А. Павлов А. В., Щелкунов Д. Н. Аппаратная реализация сжатия динамического диапазона цифровых изображений на ПЛИС Xilinx // Журнал радиоэлектроники. 2018. № 10. С. 77—86.
7. Гонсалес Р., Вудс Р. Цифровая обработка изображений. М. : Техносфера, 2006. 932 с.
8. Канушкин С. В. Управление робототехническими комплексами охранного мониторинга в условиях неопределенности // Правовая информатика. 2019. № 2. С. 40—48.
9. Канушкин С. В. Синергетический подход в управлении группой беспилотных летательных аппаратов системы охранного мониторинга // Правовая информатика. 2018. № 3. С. 25—37.
10. Канушкин С. В. Правовые аспекты реализации функциональных возможностей интеллектуальных роботов в работе правоохранительных органов // Правовая информатика. 2018. № 2. С. 23—38.
11. Ловцов Д. А. Информационная теория эргасистем: Тезаурус. М. : Наука, 2005. 248 с.
12. Ловцов Д. А. Системология правового регулирования информационных отношений в инфосфере : монография. М. : РГУП, 2016. 316 с.
13. Ловцов Д. А., Гаврилов Д. А. Моделирование оптико-электронных систем дистанционно пилотируемых аппаратов : монография. М. : «Технолоджи-3000», 2019. 164 с.
14. Ловцов Д. А. Гаврилов Д. А. Формализация проблемы обеспечения эффективности автоматизированной оптико-электронной системы специального назначения // XXXVIII Всеросс. науч.-техн. конф. «Проблемы эффективности и безопасности функционирования сложных технических и информационных систем» (27—28 июня 2019 г.). В 8-ми ч. Ч. 3 / Филиал ВА им. Петра Великого. Серпухов : ФВА, 2019. С. 100—105.
15. Ловцов Д. А., Гаврилов Д. А. Обоснование эффективной автоматизированной оптико-электронной системы специального назначения // Тр. I Межвед. науч.-прак. конф. «Телекоммуникации и кибербезопасность: специальные системы и технологии» (18 апреля 2019 г.) / ИИФ. Серпухов : МОУ «ИИФ», 2019. С. 122—127.
16. Ловцов Д. А., Князев К. В. Защищённая биометрическая идентификация в системах контроля доступа. II. Качество информационно-математического обеспечения // Информация и космос. 2013. № 2. С. 95—100.
17. Сойфер В. А. Методы компьютерной обработки изображений. М. : Физматлит, 2003. 784 с.
ANALYSIS OF THE MONOGRAPH BY D. LOVTSOV AND D. GAVRILOV "MODELLING OPTOELECTRONIC SYSTEMS FOR REMOTELY PILOTED VEHICLES"
Valerii Dement'ev, Dr.Sc. (Technology), Professor, Academician of the Russian Academy of Rocket and Artillery Sciences and the Russian Academy of Natural Sciences, Advisor to the Director General of OOO (LLC) "AST GOZ", Moscow, Russian Federation. E-mail: [email protected]
Keywords: optoelectronic system, visual information processing, stabilisation, detection, localisation, classification, methods, neural network technologies, efficiency, quality.
Abstract.
Purpose of the paper: a scientific assessment of the current state of development of the theoretical and methodological basis for modelling and building efficient optoelectronic systems for remotely piloted vehicles.
Method used: system analysis of the monograph as a scientific work aimed at solving a topical scientific problem of improving the efficiency of visual information processing.
Results obtained: the content, structure, purpose, topicality, pragmatic advantages, didactic features and approbation of the monograph are studied. An overall evaluation of the monograph as a systemological study of the scientific theoretical foundations, information and mathematical apparatus, relations and structures of used and developed optoelectronic systems for remotely piloted vehicles is given.
The role and place of the monograph in the subject area of optical electronics, aerospace monitoring, informology and legal informatics are shown.
References
1. Vizil'ter lu. V., Zheltov S. Iu., Kniaz' V. A., Khodarev A. N., Morzhin A. V. Obrabotka i analiz tsifrovykh izobrazhenii s primerami na LabVIEW IMAQ Vision, M. : DMK Press, 2007, 464 pp.
2. Gavrilov D. A. Neirosetevoi algoritm avtomaticheskogo obnaruzheniia i soprovozhdeniia ob"ekta interesa v videosignale, 16-ia Natsion. konf. po iskusstv. intellektu ("KII-2018"), FITslU RAN, M. : FITslU, 2018, pp. 188-190.
3. Gavrilov D. A. Programmno-apparatnyi kompleks testirovaniia algoritmov detektirovaniia i lokalizatsii ob"ektov v videoposledovatel'nostiakh, Nauchnoe priborostroenie, 2019, t. 29, No. 1, pp. 21-28.
4. Gavrilov D. A., Ivkin A. V., Shchelkunov N. N. Sistema testirovaniia algoritmov stabilizatsii videoizobrazhenii, funktsionirui-ushchikh v rezhime real'nogo vremeni, Vestnik MGTU im. N.E. Baumana, ser. "Priborostroenie", 2018, No. 6, pp. 112-126.
5. Gavrilov D. A., Pavlov A. V. Potochnaia apparatnaia realizatsiia algoritma SURF, Izv. VUZov. Elektronika, 2018, t. 23, No. 5, pp. 502-511.
6. Gavrilov D. A. Pavlov A. V., Shchelkunov D. N. Apparatnaia realizatsiia szhatiia dinamicheskogo diapazona tsifrovykh izobrazhenii na PLIS Xilinx, Zhurnal radioelektroniki, 2018, No. 10, pp. 77-86.
7. Gonsales R., Vuds R. Tsifrovaia obrabotka izobrazhenii, M. : Tekhnosfera, 2006, 932 pp.
8. Kanushkin S. V. Upravlenie robototekhnicheskimi kompleksami okhrannogo monitoringa v usloviiakh neopredelen-nosti, Pravovaia informatika, 2019, No. 2, pp. 40-48.
9. Kanushkin S. V. Sinergeticheskii podkhod v upravlenii gruppoi bespilotnykh letatel'nykh apparatov sistemy okhrannogo monitoringa, Pravovaia informatika, 2018, No. 3, pp. 25-37.
10. Kanushkin S. V. Pravovye aspekty realizatsii funktsional'nykh vozmozhnostei intellektual'nykh robotov v rabote pravookhranitel'nykh organov, Pravovaia informatika, 2018, No. 2, pp. 23-38.
11. Lovtsov D. A. Informatsionnaia teoriia ergasistem: Tezaurus, M. : Nauka, 2005, 248 pp.
12. Lovtsov D. A. Sistemologiia pravovogo regulirovaniia informatsionnykh otnoshenii v infosfere : monografiia, M. : RGUP, 2016, 316 pp.
13. Lovtsov D. A., Gavrilov D. A. Modelirovanie optiko-elektronnykh sistem distantsionno pilotiruemykh apparatov : monografiia, M. : "Tekhnolodzhi-3000" 2019, 164 pp.
14. Lovtsov D. A. Gavrilov D. A. Formalizatsiia problemy obespecheniia effektivnosti avtomatizirovannoi optiko-elek-tronnoi sistemy spetsial'nogo naznacheniia, XXXVIII Vseross. nauch.-tekhn. konf. "Problemy effektivnosti i bezopas-nosti funktsionirovaniia slozhnykh tekhnicheskikh i informatsionnykh sistem" (27-28 iiunia 2019 g.), v 8-mi ch., ch. 3, Filial VA im. Petra Velikogo, Serpukhov : FVA, 2019, pp. 100-105.
15. Lovtsov D. A., Gavrilov D. A. Obosnovanie effektivnoi avtomatizirovannoi optiko-elektronnoi sistemy spetsial'nogo naznacheniia, Tr. I Mezhved. nauch.-prak. konf. "Telekommunikatsii i kiberbezopasnost': spetsial'nye sistemy i tekh-nologii" (18 aprelia 2019 g.), IIF, Serpukhov : MOU "IIF" 2019, pp. 122-127.
16. Lovtsov D. A., Kniazev K. V. Zashchishchennaia biometricheskaia identifikatsiia v sistemakh kontrolia dostupa. II. Kachestvo informatsionno-matematicheskogo obespecheniia, Informatsiia i kosmos, 2013, No. 2, pp. 95-100.
17. Soifer V. A. Metody komp'iuternoi obrabotki izobrazhenii, M. : Fizmatlit, 2003, 784 pp.
