CC BY
37
ЭФФЕКТИВНАЯ АВТОМАТИЗИРОВАННАЯ ОПТИКО-ЭЛЕКТРОННАЯ СИСТЕМА АЭРОКОСМИЧЕСКОГО МОНИТОРИНГА
Ловцов Д.А., Гаврилов Д.А.*
Ключевые слова: оптико-электронная система, аэрокосмический мониторинг, переработка визуальной информации, стабилизация, детектирование, локализация, классификация, методы, эффективность, точность, информационное соперничество.
Аннотация.
Цель работы: обоснование сложной информационно эффективной автоматизированной оптико-электронной системы аэрокосмического мониторинга, основанное на совокупности теоретико-экспериментальных положений по переработке визуальной информации с использованием технологий и методов искусственного интеллекта.
Метод: комплексный «ИКС»-подход и функционально-логическая декомпозиция сформулированной общей математической задачи переработки информации на иерархическую совокупность основных взаимосвязанных частных подзадач меньшей сложности; определение взаимодействий между ними и обеспечение вариабельности частных решений для получения рационального решения основной задачи; оценка функционального и технического состояния системы при решении данных подзадач, контроль состояния системы, поиск оптимальных маршрутов решения каждой подзадачи.
Результаты: обоснована математическая структура автоматизированной оптико-электронной системы аэрокосмического мониторинга, определено содержание методологических этапов разработки и логическая организация модельно-алгоритмического обеспечения АОЭС аэрокосмического мониторинга и ее функциональных и технических подсистем.
Проведена оценка эффективности разработанной АОЭС аэрокосмического мониторинга для решения задачи дешифрирования объектов специальной сухопутной техники на аэрокосмических снимках.
Р01: 10.21681/1994-1404-2019-2-26-39 Введение
Системы автоматизированной обработки и анализа визуальной информации все более активно применяются в правоохранительной сфере [6]. Одним из основных требований к различным оптико-электронным системам является способность без участия оператора выделять во входном видеопотоке объекты интереса, а также осуществлять слежение за данными объектами. При этом обработка информации, получаемой оптико-электронной системой, должна осуществляться в автоматическом режиме. Таким образом, автоматизированная оптико-электронная система
(АОЭС) приобретает роль «органов зрения», эффективность применения которых определяется, главным образом, качеством алгоритмов обнаружения объектов.
Технически системы компьютерного зрения, к которым можно отнести АОЭС специального назначения (СН), представляют собой программно-аппаратные комплексы, состоящие из устройства получения и фиксации изображения, включающего различные компоненты, и компьютера со специализированным программным обеспечением.
Одной из центральных проблем в области автоматизированной обработки специфических изображений является обеспечение высокой точности решения конкретных поставленных задач, устойчивых к различным оказывающим негативное влияние ме-
* Ловцов Дмитрий Анатольевич, доктор технических наук, профессор, заслуженный деятель науки Российской Федерации, заместитель по научной работе директора Института точной механики и вычислительной техники им. С. А. Лебедева Российской академии наук, заведующий кафедрой информационного права, информатики и математики Российского государственного университета правосудия, Российская Федерация, г. Москва.
E-mail: dal-1206@mail.ru
Гаврилов Дмитрий Александрович, кандидат технических наук, докторант Института точной механики и вычислительной техники им. С. А. Лебедева Российской академии наук, Российская Федерация, г. Москва.
E-mail: gavrilov.da@mipt.ru
Технологические процессы переработки информации
Рецепция Интерпретация Коммуникация
■ Формиро- Регистра- Сжатие, вание ция с Г восстанов-изображе- изображен ление НИИ ИИ ■V .д. Ч / V V V \ „с е Интеллек- „ Обобще- ,. Принятие Контроль туальная ние ' решении обработка С 4 С 1 Передача Хранение
Рис. 1. Классификация технологических процессов переработки визуальной информации
шающим факторам, с четко обозначенным и исследованным диапазоном применимости, а также высокая степень информационной защиты для обеспечения функционирования в условиях агрессивной информационной среды. Отсутствие формализованного описания процедур автоматизированной обработки визуальной информации, недостаток априорных сведений часто вынуждает изучать оптико-электронные системы в процессе их функционирования и находить решения на основе полученных знаний. Поэтому для повышения эффективности решаемых специальных задач необходима разработка совокупности научно-методических положений, описывающих различные состояния оптико-электронных систем, возникающие в ходе их работы, и позволяющих осуществлять эффективное управление процессом обработки фото- и видеоизображений с учетом отраслевых особенностей.
Все шаги по переработке визуальной информации, как правило, представляют собой последовательное удаление из изображения неинформативных компонентов и выделение информативных — для решения поставленных задач. Переработка информации в общем случае включает совокупность информационных процессов рецепции, интерпретации и коммуникации визуальной информации (рис. 1), которые в свою очередь состоят из различных подпроцессов, позволяющих осуществлять формирование, регистрацию, сжатие и восстановление изображений, обобщать полученные в результате интеллектуальной переработки сведения и принимать управляющие решения на их основе, а также передавать и сохранять информацию.
Оптико-электронные системы представляют собой сложные, динамические, социально-технические системы (рис. 2), поэтому построение эффективной АОЭС аэрокосмического мониторинга представляется целесообразным на основе применения известного комплексного «ИКС»-подхода («информационно-ки-бернетически-синергетического»), основанного на интеграции частных методологий: информационной, кибернетической и синергетической в рамках общей методологии системного подхода [7].
Рис. 2. Архитектура традиционной оптико-электронной системы
В этом случае возможно многоуровневое исследование АОЭС. Применение методологии информационного подхода позволяет представить АОЭС в виде целенаправленной информационной системы, методологии кибернетического подхода — в виде системы управления на уровне информационных процессов и алгоритмов функционирования информационной
базы, методологии синергетического подхода — как динамическую самоорганизующуюся систему, взаимодействующую со средой. Системный подход, в свою очередь, включает методы структурно-математического, операционного и ситуационного анализа, позволяющие рассматривать математические и логические описания процессов и результатов их выполнения в масштабе реального времени [8].
Моделирование АОЭС
В качестве концептуально-логической модели АОЭС можно использовать известную инвариантную функциональную структуру [7, 8] (рис. 3), представляемую в виде комплекса функциональных подсистем: измерения (Р1), наблюдения (Р2), идентификации (Р3), принятия решений (Р4), централизованной координации (Р5), информационного обмена (Р6) и информационной защиты (Р7), необходимой при функционировании в условиях информационного соперничества [7, 8, 12] и обеспечивающей необходимую защищенность переработки информации. На объект управления (Р0) в момент времени t поступают различные входные воздействия: функциональные R(t), внешние целевые X(t) и внешние координирующие ХШ, на которые формируются соответствующие отклики Y(t), ГШ.
Рис. 3. Функциональная структура АОЭС
Основными функциональными задачами АОЭС аэрокосмического мониторинга являются: детектирование, локализация и классификация объектов на фото- и видеоданных применительно к различным фоно-це-левым обстановкам (рис. 4). Трудности при решении данных задач возникают, в частности, вследствие потери информации при проецировании трехмерной сцены (экспозиции) на плоскость изображения, наличия «шума» на изображении, изменения экспозиции сцены, сложной формы объектов, изменения формы объекта, частичных или полных перекрытий и загораживаний объектов сцены, сложной траектории движения объекта, выхода объекта за пределы кадра и появления объекта в кадре, относительного движения камеры, требований обработки в реальном времени и др.
Рис. 4. Распределение задач переработки визуальной информации по функциональным подсистемам АОЭС
Выбор метода обработки изображения, полученного техническими средствами, определяется, исходя из характера данного изображения: вида объектов на нём и задач, которые необходимо решить при использовании данного изображения [13]. Логическая иерархия методов обработки изображения включает низкий, средний и высокий уровни (рис. 5). Для каждого этапа существуют методы обработки, позволяющие, в свою очередь, решать указанные поставленные задачи. Большинство этих методов основано на жестких алгоритмах, сложно поддающихся адаптации при изменении внешних условий. В качестве альтернативы классическому подходу возможно применение нейро-сетевых технологий [15], позволяющих повысить качество обработки информации в сложных условиях, когда применение классических методов оказывается недостаточно эффективным.
Разработка научно-методических основ построения сложных информационно эффективных АОЭС аэрокосмического мониторинга и переработки визуальной информации с использованием технологий и методов искусственного интеллекта [5] позволит создать информационно-математическое обеспечение, позволяющее решать функциональные и целевые задачи, а также формально-математический аппарат, применение которого обеспечит требуемое повышение эффективности АОЭС и создаст предпосылки для уменьшения трудоемкости проектирования, разработки и практической реализации систем такого типа.
Рис. 5. Классификация методов переработки изображений
Анализ начальных условий и постановка задачи
Визуальный оптический информационный поток С, содержащий наблюдаемое непрерывное изображение I, поступает в АОЭС, которая характеризуется множеством функциональных параметров К,
Къ у) = с (х' У' г> ,
Я = {г5, В, п, 8, х, Ф, Яг, НЭф, р } ,
где у(Х)— спектральная чувствительность датчика регистрационной системы; (х,у) — пространственные координаты; ? — время; Л — длина волны; ^ — разрешающая способность; В — матрица регистратора; п — размер матрицы; б — чувствительность; х — битность; ф — температура сенсора; Нг — светосила объектива; Нэф — эффективная светосила; в — линейное увеличение.
На первом этапе изображение, характеризующееся множеством параметров Р= {с1,к,р}, где d — динамический диапазон; к — контраст; р — резкость, и множеством параметров искажений р={а„, аА, о5Л}, где аК — шум считывания; о5Л — шум предусиления; о5Л — дробовой шум, проходит процессы предварительной переработки: стабилизации, фильтрации, шумоподавления, субъективного и объективного улучшения качества и др.
На втором этапе происходит анализ сцены (экспозиции), выделение геометрической структуры видимого поля и выбирается метод распознавания
(нейросетевой или классический) или определяется необходимость и возможность использования гибридных методик. С помощью данных методов проводятся измерения характеристик изображения, в том числе анализ цветовой палитры, оценка информативности изображения, выделение качественных свойств и осуществляется определение относительной структуры и семантики видимой сцены, после чего поступившая информация передается непосредственно на переработку и распознавание множества 0Ш (х) объектов интереса ш, обладающих признаками х. При этом на каждом этапе осуществляется верификация и контроль качества распознавания и оценки сцены, т.е. качество Q распознавания и оценки ситуаций:
где — структура АОЭС; М ={ М1 } — множество методов, 1=1, Ь; А= |ау| — множество алгоритмов, ) = 1,/; 2 — модель функционирования АОЭС.
Для осуществления эффективной переработки поступающей визуальной информации необходимо: выполнить стабилизацию поступающего изображения, при этом для стабилизации следует использовать алгоритм преобразования изображения, сохраняющий усточивость при максимальном диапазоне рабочих значений параметров искажений и минимальном времени вычисления совмещения двух кадров; оптимизировать выполнение процессов детектирования, локализации и классификации которые могут выполнятся с помощью нейросетевых или классических методов, а также с по-
Рис. 6. Схема функционально-логической декомпозиции процесса переработки оптического информационного потока
мощью гибридных методик. При этом вычислительная сложность алгоритмов ЬЛ дожна быть минимальной.
Основной целью функционирования многоуровневой АОЭС можно считать обеспечение минимально допустимой неопределенности соответствия множества (0 значений показателей качества переработки множеству (2°} требуемых значений в условиях целевого применения АОЭС (включая показатели оперативности, надежности, устойчивости, живучести) при определенных ограничениях на временные и информационные ресурсы. Таким образом, в качестве количественной меры результативности функционирования АОЭС можно использовать апостериорную информационную энтропию соответствия показателей качества процессов, осуществляемых в АОЭС, требуемым значениям, рассчитанную в результате проведения п = 1, Л/ этапов переработки визуальной информации, с учетом оценок 2*(Сп) вероятностных характеристик Сп, действующих на АОЭС помех, возмущений и
£ <и0) = Ян - £ 1п + Шм £
где НН — начальная энтропия соответствия показателей качества требованиям, определенная по результатам проектирования и стендовых испытаний АОЭС; 1п — количество визуальной информации, полученной на п-м этапе переработки при многократном оценивании путем уменьшения энтропии соответствия за счет приближения условий переработки к требуемым; Н[-] — апостериорная энтропия оценивания показателей качества.
При этом неопределенность соответствия системы должна быть минимизирована, т.е.:
(ЯН-ВД*)) = тах.
Общую математичео<у ю постановку сложной задачи эффективной переработки визуальной информации в АОЭС можно сформулировать следующим образом [9]:
Дано: модель функционирования АОЭС храктеризу-ются кортежем
■2с = ад^АМ = й; У = 17; к = 1 = ТД , (1)
где Я{ — функциональные параметры АОЭС; Р у— параметры входного видео изображения; Ук — параметры искажений; Д — множество объектов распознавания.
Требуется: найти оптимальный вариант решения множества задач переработки информации для функциональных подсистем АОЭС:
К-Шг\у)> = ех^г; (1)
Q{Z) = {Q-,Q^Í, (2)
(3)
I
где у, >0; £ У\ = = ,4 — весовые коэффициенты показателей; (г} — исходное множество допустимых альтернатив; 2 — показатель качества процесса стабилизации; — показатель качества процесса распознавания визуальной информации с помощью нейросетевых технологий переработки изображений; ^дл — показатель качества процесса распознавания визуальной информации с помощью классических ал-
горитмов переработки изображений; Qк — показатель качества процесса классификации.
Анализ и решение задачи
Функционально-логическая декомпозиция процесса переработки оптического информационного потока (рис. 6) позволяет выявить функциональный состав и логическую структуру соответствующей АОЭС.
В общем случае входной информационный поток I, поступающий в АОЭС для анализа и переработки, содержит множество параметров, характеризующих свойства объекта. Данные параметры, как правило, включают в себя формализованные и неформализованные образы объекта.
Формализованные образы объекта представляют собой множество формализованных описаний объекта, отражающих семантические связи между его смысловыми элементами, и множество проверок, реализуемых при решении задачи анализа. Неформализованные образы объекта содержат множество знаний об объекте, которыми система располагает и может пополнять в процессе работы, и множество вопросов, формулируе-
Рис. 7. Отображение частных задач на обобщенной функциональной структуре АОЭС специального назначения
Для выполнения каждой задачи переработки входной визуальной информации используется определенный набор параметров, при этом различные комбинации параметров могут применяться для постановки и решения самых разнообразных задач. Реализация процесса, как правило, проходит через два последовательных этапа. На первом этапе осуществляется наблюдение за состояниями объекта и соответствующим им функци-
онально-техническим состоянием системы. На втором этапе происходит формализация функционально-технического состояния системы, в результате переработки формируется информационная модель решения задачи. Анализ взаимосвязей параметров, используемых для переработки визуальной информации, позволяет обосновать обобщенную функциональную структуру многоуровневой АОЭС специального назначения (рис. 7).
Решение целевой задачи (1)—(4) в АОЭС разнесено во времени и осуществляется в условиях интенсивного информационного соперничества и непрерывно меняющейся обстановки; она является сложной задачей иерархического многоэтапного стохастического программирования комбинаторного типа, высокая размерность и сложность которой исключают возможность ее прямого решения известными методами. Решение представляется возможным на основе её декомпозиции на иерархическую совокупность следующих четырех частных взаимосвязанных задач меньшей сложности и обеспечении вариабельности частных решений для получения оптимального решения общей задачи [7, 10]:
Задача 1. Стабилизация визуального потока в условиях информационного соперничества [1].
Дано: входной поток С видеоизображения I.
Требуется: произвести восстановление кадров с качеством Qc = {УС,Т,ЬА} со следующим набором параметров:
ус(1) е Кс0;
т(/)<т0(/);
где Ус — набор параметров искажений исходного потока; Ус° — набор допустимых значений параметров искажений; т— время вычисления совмещения двух кадров; ЬА — вычислительная сложность алгоритма; N — количество вычислительных операций.
Решение: оптимимизация процесса стабилизации визуального потока в условиях информационного соперничества по отношению к детектированию, локализации и классификации представляется в виде:
</(й*)> = ех1т; (Ян - Я(О')) = тах; (} = Qк}.
Задача 2. Обеспечение эффективного распознавания визуальной информации с помощью нейросетевых технологий переработки изображений [2, 14].
Дано: изображение, содержащее множество D объектов, обладающих признаками х:
= {х] (й)},0 = {¿¿} , £ = 1~п.
Найти: = а^тах Р (^(П)), где
— функция нейросетевого распознавания,
„ (1, еслихе -т—т
= {0, если х £ П,; " Вектор признаков,
^ —пространство признаков.
Рис. 8. Методологическая диаграмма этапов разработки эффективной АОЭС
Решение: оптимизация процессов детектирования и локализации с помощью нейросетевых технологий переработки изображений представляется в виде:
^Л:</(Д*)> = е|т; (Ян - Нт) = тах; Q = Q«}.
Задача 3. Обеспечение эффективного распознавания визуальной информации с помощью классических подходов к переработке изображений
Дано: изображение, содержащее множество В объектов,обладающих признаками х.
Найти:= агётах Р (р(П)), где Р(П) — функция распознавания;
1, если х £ ——- — вектор призна-если х^ ' ^ ) ков; —пространство признаков.
Решение: оптимизация процессов детектирования и локализации с помощью классических подходов к переработке изображений представляется в виде:
(Ян - Нт) = тах; Q = Q«}.
F;
«HS::
Задача 4. Оценка информационной эффективности и методик функционального диагностирования АОЭС — представлена в [16]. Оценка включает разработку программно-аппаратного комплекса тестирования алгоритмов детектирования и локализации объектов в видеопоследовательностях, который обеспечивает возможность оценки соответствия между параметрами входного видео и численными коэффициентами оценки качества сопровождения объекта интереса, предусмотрена возможность модификации видеосигнала для создания уникальных параметров исходного видео, что дает возможность исследовать испытуемые алгоритмы в широком диапазоне искажений и помех для подбора оптимального диапазона их применимости.
Дано: входной поток C видеоизображения I.
Требуется: произвести классификацию объектов во входном видеопотоке C с качеством QK = {V,t,La} со следующим набором пераметров:
7(0 е 7°;
т(0 < АО; la(N) < ь0Ат
где V — набор параметров искажений и помех видеопотока; V — набор допустимых значений параме-
тров искажений и помех видеопотока; т — время классификации; ЬА — вычислительная сложность алгоритма; N — количество вычислительных операций.
Решение: оптимизация классификации визуальной информации по отношению к стабилизации, детектированию и локализации представляется в виде:
Ск:</(Д*)) = е|.г; (Ян - нт) = тах; (} = Q»l, }•
При этом должен обеспечиваться экстремум интегрального показателя эффективности:
Q0(S*) = extrYJYJQnl,vj,
I ]
где Qnlv¡ — частный показатель эффективности от реализации п-го этапа г-й задачи при использовании варианта ее решения.
А также должно выполняться условие:
ЬА = пип^^, гдеЬа1 =
^¡((^(я/) + Р; — вычислительная слож-
ность ал горитма а]; С(ар— затраты на переработку информации алгоритмом а]; — затраты на транспортировку; — объем полученных данных.
Логическая последовательность разработки формально-математического аппарата и совокупности научно-методических положений для построения АОЭС специального назначения в условиях информационного соперничества включает следующие основные этапы (рис. 8):
Этап 1. Системно-аналитический подход. Анализ особенностей процесса функционирования АОЭС, основных задач, методов и средств для их решения, обоснование общетехнических требований к АОЭС.
Этап 2. Кибернетический подход. Декомпозиция целей переработки визуального информационного потока, рассмотрение сути технологических процессов переработки информации, поиск оптимальных решений.
Этап 3. Функциональное диагностирование. Разработка структуры решения задачи оценки информационной эффективности АОЭС, разработка методологии распределенного функционального диагностирования [4, 5, 10].
Этап 4. Формализация решения предварительных задач переработки визуального информационного потока. Обеспечение стабилизации видеоизображений, построение обучающих выборок для нейронных сетей, включая аргументацию и использование синтетических данных, а также обеспечение эффективного обучения сверточных нейронных сетей в условиях недостаточного количества реальных данных.
Этап 5. Разработка информационно-алгоритмического обеспечения решения основных задач АОЭС на основе классических и нейросетевых подходов переработки информации, а также автоматизация переработки изображений [3, 4, 14, 16].
Таким образом, интегрированную информационно-математическую структуру комплексной задачи переработки информации в АОЭС можно представить в виде композиции логически упорядоченных формально-математических структур частных задач, основанных на классических методах переработки визуальной информации, и совокупности методов семантической сегментации и нейросетевого детектирования и классификации.
Анализ результатов эксперимента
Оценка достоверности рассмотренной совокупности теоретических положений по эффективной переработке визуальной информации с использованием технологий и методов искусственного интеллекта проведена на примере экспериментального анализа эффективности соответствующей АОЭС аэрокосмического мониторинга. Оценка эффективности и качества АОЭС аэрокосмического мониторинга выполнена для решения задачи дешифрирования объектов специальной сухопутной техники на аэрокосмических снимках [9]. Образец входного аэрокосмического изображения видимого диапазона длин волн представлен на рис 9.
В данном случае дешифрирование включает решение следующих основных подзадач: во-первых, решение подзадач детектирования и локализации или поиска объектов определенного вида на крупноформатных аэрокосмических снимках и определение их координат; во-вторых, решение подзадачи классификации или определения класса найденных объектов. Решение выделенных подзадач может осуществляться как с помощью классических методов переработки визуальной информации, в частности, с использованием непрерывных морфологических моделей, так и помощью нейросетевых технологий, демонстрирующих высокую эффективность в решении подобных задач.
Изначально осуществляется подготовка обучающей выборки (рис. 10).
Для подготовки обучающей выборки были использованы реальные аэрокосмические изображения, полученные с помощью программ Google Earth Pro и SAS Planet (карты Bing), а также искусственно синтезированные данные. Использование искусственного расширения обучающей выборки с помощью синтезированных изображений объектов интереса было необходимо для решения проблемы получения выборки достаточного объема необходимой для обучения нейросети, обладающей высокой точностью и устойчивостью к условиям съёмки. Получение синтетических данных было организовано с помощью симулятора Unity3D виртуальной среды, предоставляющего множество функциональных возможностей. Для синтеза изображений использовался снимок фона, на который случайным образом накладывалась модель объекта интереса.
В общей сложности был подготовлен датасет, содержащий 500 000 образцов аэрокосмических изображений для следующих пяти типов специальной техники:
Рис.10. Схема подготовки базы образцов и обучения свёрточной нейронной сети решению задачи детектирования
Рис. 11. Реальные и синтезированные объекты сухопутной техники
Bradley — боевая машина пехоты; M1A2 — танк; M113 — бронетранспортер; Stryker — бронетранспортер; M88A1 — бронированная ремонтно-эвакуационная машина (рис. 11).
Для повышения реалистичности синтетических данных в генератор была добавлена опция генерирова-
ния групп объектов, позволяющая формировать ряды одинаково ориентированной специальной техники (рис. 12). Данная возможность позволяет осуществлять отбор достоверно одинаковых объектов и их совместную классификацию для повышения точности работы нейронной сети.
Шт
• v *
sr /
Рис. 12. Группы синтетических данных одинаково ориентированных рядов техники
Решение задач детектирования и локализации позволяет выполнить первичное обнаружение объекта интереса, определить его наличие на исходном изображении. Задача детектирования усложняется разнообразием внешнего вида и ориентации в пространстве объектов детектирования, изменением освещения, присутствием каких-либо индивидуальных особенностей. Решение таких задач может требовать применения комбинированных способов, включающих, например, анализ цветовой инфор-
мации или структуры детектируемых объектов. В зависимости от выбранного алгоритма положение объекта может определяться координатами прямоугольника, окаймляющего объект, контуром этого объекта, координатами характерных для объекта интереса точек.
В качестве базовых метрик для определения показателя качества рассматриваются функции точности p (precision) и полноты r (recall) для первых kобъектов из ответов алгоритма-классификатора:
p(fc) = гйи^ ;r(fc) = ¿SUzi; КО) = 0,p(0) = о,
K^L-l-V ■ V X N
где z = [Z1,Z2, ■■■ZM) — вектор «истинно» правильных ответов ("true positives"); N — число объектов в выборке; M — количество ответов алгоритма.
Функция p характеризует долю объектов, названных классификатором положительными, и при этом действительно являющимися положительными, а
функция r характеризует, какую долю объектов положительного класса из всех объектов положительного класса нашел алгоритм.
Показатель качества детектирования и локализации представляет собой площадь под графиком p/r (precision/recall):
Bradley
М1А2
М113 JMlOfiAl)
йгукег
МВ8А1
D4E 0.13 0.014 0.012 0.003
0.25 0.52 0.16 0.024 0.36
0.12 Р012 0.026 0.04
0.05 0.016 0.014 0.013
0.11 о.га 0.006 оо-з а 0 5а
И
-0.75
Bradley
М1А2
М113 (MlOSAli
5tryker
MfiflAl
iv'
535
1
о.ээ
Н 0.9Б
Я
о
iH
E
И
-0.6
-0.4
L0.0
Рис. 13. Матрица переходных вероятностей (ошибок) для критерия К
Рис. 14. Матрица переходных вероятностей (ошибок) для критерия К2
Рис. 15. Результат работы АОЭС аэрокосмического мониторинга
1 М
к=1
Метрика детектирования и локализации объектов составила 0,8; ошибка определения координат в процентах от линейных размеров объекта не превышает 9%; ошибка определения ориентации объекта — не более 5,7°.
На вход разработанного алгоритма классификации подавались синтетические (70%) и реальные (30%) данные.
В матрице (рис. 13) установленных переходных вероятностей распознавания по вертикали слева откладываются эталонные объекты, а справа — значения, полученные при разметке (самый светлый фон соответствует 100%); по горизонтали внизу — ответ нейросети; в ячейках — значения вероятностей распознавания. Строгий критерий К качества (точности) распознавания с уче-
том переходных вероятностей (см. рис. 13) между эталонными объектами и решениями (ответами) алгоритма классификации определяет, что истинный тип объекта распознавания соответствует первому определенному алгоритмом типу. Видно, что в тестовой выборке есть коллизии между типами техники Bradley и M1A2; M1A2 и M88A1 и др. В среднем показатель точности классификации для критерия К составляет 74%.
Паллиативный критерий К2 (рис. 14) точности распознавания определяет, что истинный тип объекта распознавания присутствует среди трех-четырех первых определенных алгоритмом типов. В среднем показатель точности классификации для критерия К2 составляет 93%.
В результате на входе АОЭС на входном аэрокосмическом изображении обозначается положение объекта интереса, определяемое координатами окаймляющего прямоугольника, и идентификатор вида объекта. Результат работы АОЭС представлен на рис. 15.
Заключение
Научно-методический подход к построению эффективной АОЭС аэрокосмического мониторинга включает декомпозицию процесса переработки информационного визуального потока на иерархическую совокупность частных задач меньшей сложности и обеспечение вариабельности частных решений для получения рационального решения общей целевой задачи.
Результаты эксперимента показали, что полученные численные значения показателей качества дешифрирования соответствуют качеству переработки аэрокосмических изображений данного типа опытным экспертом-оператором.
Рассмотренные предложения по обоснованию эффективной АОЭС аэрокосмического мониторинга представляют теоретико-прикладную значимость при решении задач разработки эффективных автоматизированных оптико-электронных систем специального (межотраслевого и др.) назначения, обеспечивающих переработку разнохарактерной визуальной информации, и позволяют значительно повысить эффективность использования имеющихся методов и средств детектирования, локализации и классификации изображений и, как следствие, улучшить качество распознавания визуальной информации, а также повысить достоверность оценки ситуаций в условиях интенсивного информационного соперничества и непрерывно меняющейся обстановки.
Рецензент: Цимбал Владимир Анатольевич, доктор технических наук, профессор, заслуженный деятель науки Российской Федерации, г. Серпухов, Московской области, Россия. E-mail: tsimbalva@mail.ru
Литература
1. Гаврилов Д. А. Программно-аппаратный комплекс тестирования алгоритмов детектирования и локализации объектов в видеопоследовательностях // Научное приборостроение. 2019. Т. 29. № 1. С. 21—28.
2. Гаврилов Д. А., Ивкин А. В., Щелкунов Н. Н. Система тестирования алгоритмов стабилизации видеоизображений, функционирующих в режиме реального времени // Вестник МГТУ им. Н.Э. Баумана. Сер. «Приборостроение». 2018. № 6. С. 112—126.
3. Гаврилов Д. А., Мелерзанов А. В., Асадов А. Е., Жаров В. П. Вторичная профилактика и контроль терапии мела-номы с использованием телемедицинских технологий и стандартизированной обработки данных // Проблемы стандартизации в здравоохранении. 2018. № 7-8. С. 45—54.
4. Гаврилов Д. А., Павлов А. В., Щелкунов Д. Н. Аппаратная реализация сжатия динамического диапазона цифровых изображений на ПЛИС Xilinx // Журнал радиоэлектроники. 2018. № 10. Электронное издание, URL: http:// jre.cplire.ru/jre/oct18/6/text.pdf .
5. Интеллектуальные системы (исследование и создание) / Пупков К. А., Коньков В. Г. М. : МГТУ им. Н.Э. Баумана, 2003. 348 с.
6. Канушкин С. В. Реализация функциональных возможностей интеллектуальных роботов в работе правоохранительных органов // Правовая информатика. 2018. № 2. С. 23—38.
7. Ловцов Д. А. Информационная теория эргасистем: Тезаурус. М. : Наука, 2005. 248 p.
8. Ловцов Д. А. Системология правового регулирования информационных отношений в инфосфере : монография. М. : РГУП, 2016. 316 с.
9. Ловцов Д. А., Гаврилов Д. А. Моделирование оптико-электронных систем дистанционно пилотируемых аппаратов : монография. М. : Технолоджи-3000, 2019. 164 с.
10. Ловцов Д. А., Лобан А. В. Новая эффективная технология распределенной переработки измерительной информации в АСУ космическими аппаратами // Вестник НПО им. С.А. Лавочкина. 2014. № 4. С. 81—88.
11. Ловцов Д. А., Панюков И. И. Информационная технология автоматизированного планирования определения навигационных параметров объектов ракетной техники // Автоматика и Телемеханика. 1995. № 12. С. 32—46.
12. Ловцов Д. А., Сергеев Н. А. Управление безопасностью эргасистем : монография / Под ред. Д. А. Ловцова. М. : РАУ-Университет, 2001. 224 с.
13. Нестеров А. В. Анализ методов цифровой обработки информации в системах компьютерного зрения и обзор областей применения данных систем // Вестник РГРТУ. 2008. Т. 4. № 26. С. 3—5.
14. Пунь А. Б., Гаврилов Д. А., Щелкунов Н. Н., Фортунатов А. А. Алгоритм адаптивной бинаризации объектов в видеопоследовательности в режиме реального времени // Успехи современной радиоэлектроники. 2018. № 8. С. 40—48.
15. Терехов В. А., Ефимов Д. В., Тюкин И. Ю. Нейросетевые системы управления. Кн. 8 / Общая ред. А. И. Галушкина. М. : ИПРЖР, 2002. 480 с.
16. Gavrilov D. A. et al. Use of Neural Network Based Deep Learning Techniques for the Diagnostics of Skin Diseases, Biomed. Eng. (NY), 2019, V. 52, No. 5, pp. 348-352.
AN EFFICIENT AUTOMATED ELECTRONIC OPTICAL SYSTEM FOR AEROSPACE MONITORING
Dmitrii Lovtsov, Doctor of Science (Technology), Professor, Merited Scientist of the Russian Federation, Deputy Director for Research of Lebedev Institute of Precision Mechanics and Computer Engineering of the Russian Academy of Sciences, Head of the Department of Information Technology Law, Informatics and Mathematics of the Russian State University of Justice, Moscow, Russian Federation. E-mail: dal-1206@mail.ru
Dmitrii Gavrilov, Ph.D. (Technology), doctoral student at the Lebedev Institute of Precision Mechanics and Computer Engineering of the Russian Academy of Sciences, Moscow, Russian Federation. E-mail: gavrilov.da@mipt.ru
Keywords: electronic optical system, aerospace monitoring, visual information processing, stabilisation, detection, localisation, classification, methods, efficiency, accuracy, information rivalry.
Abstract.
Purpose of the work: a justification for a complex information-efficient automated electronic optical system for aerospace monitoring based on a system of theoretical and experimental provisions for visual information processing using artificial intelligence technologies and methods.
Method used: a complex ICS-approach and functional logical decomposition of a formulated general mathematical task of processing information into a hierarchical set of main interconnected partial subtasks of lesser complexity, determining interactions between them and ensuring variability of particular solutions for obtaining a rational solution of the main task, evaluating the functional and technical state of the system when solving these subtasks, monitoring the state of the system, finding optimal solution routes for each subtask.
Results obtained: a justification for the mathematical structure of the automated automated electronic optical system for aerospace monitoring is given, the content of methodological stages of development and the logical organisation of the model and algorithmic support for the automated electronic optical system for aerospace monitoring and its functional and technical subsystems are determined.
An assessment of the efficiency of the developed automated electronic optical aerospace monitoring system for solving the problem of deciphering objects of special land technology equipment on aerospace images is carried out.
References
1. Gavrilov D. A. Programmno-apparatnyi kompleks testirovaniia algoritmov detektirovaniia i lokalizatsii ob"ektov v videoposledovatel'nostiakh, Nauchnoe priborostroenie, 2019, t. 29, No. 1, pp. 21-28.
2. Gavrilov D. A., Ivkin A. V., Shchelkunov N. N. Sistema testirovaniia algoritmov stabilizatsii videoizobrazhenii, funkt-sioniruiushchikh v rezhime real'nogo vremeni, Vestnik MGTU im. N.E. Baumana, ser. "Priborostroenie", 2018, No. 6, pp. 112-126.
3. Gavrilov D. A., Melerzanov A. V., Asadov A. E., Zharov V. P. Vtorichnaia profilaktika i kontrol' terapii melanomy s ispol'zovaniem telemeditsinskikh tekhnologii i standartizirovannoi obrabotki dannykh, Problemy standartizatsii v zdravookhranenii, 2018, No. 7-8, pp. 45-54.
4. Gavrilov D. A., Pavlov A. V., Shchelkunov D. N. Apparatnaia realizatsiia szhatiia dinamicheskogo diapazona tsifrovykh izobrazhenii na PLIS Xilinx, Zhurnal radioelektroniki, 2018, No. 10, elektronnoe izdanie, URL: http://jre.cplire.ru/jre/ oct18/6/text.pdf .
5. Intellektual'nye sistemy (issledovanie i sozdanie), Pupkov K. A., Kon'kov V. G., M. : MGTU im. N.E. Baumana, 2003, 348 pp.
6. 6. Kanushkin S.V. Realizatsiia funktsional'nykh vozmozhnostei intellektual'nykh robotov v rabote pravookhranitel'nykh organov, Pravovaia informatika, 2018, No. 2, pp. 23-38.
7. Lovtsov D. A. Informatsionnaia teoriia ergasistem: Tezaurus, M. : Nauka, 2005, 248 pp.
8. Lovtsov D. A. Sistemologiia pravovogo regulirovaniia informatsionnykh otnoshenii v infosfere : monografiia. M. : RGUP, 2016, 316 pp.
9. Lovtsov D. A., Gavrilov D. A. Modelirovanie optiko-elektronnykh sistem distantsionno pilotiruemykh apparatov : monografiia. M. : Tekhnolodzhi-3000, 2019, 164 pp.
10. Lovtsov D. A., Loban A. V. Novaia effektivnaia tekhnologiia raspredelennoi pererabotki izmeritel'noi informatsii v ASU kosmicheskimi a pparatami, Vestnik NPO im. S.A. Lavochkina, 2014, No. 4, pp. 81-88.
11. Lovtsov D. A., Paniukov I. I. Informatsionnaia tekhnologiia avtomatizirovannogo planirovaniia opredeleniia navigat-sionnykh parametrov ob"ektov raketnoi tekhniki, Avtomatika i Telemekhanika, 1995, No. 12, pp. 32-46.
12. Lovtsov D. A., Sergeev N. A. Upravlenie bezopasnost'iu ergasistem : monografiia, pod red. D. A. Lovtsova, M. : RAU-Universitet, 2001, 224 pp.
13. Nesterov A. V. Analiz metodov tsifrovoi obrabotki informatsii v sistemakh komp'iuternogo zreniia i obzor oblastei primeneniia dannykh sistem, Vestnik RGRTU, 2008, t. 4, No. 26, pp. 3-5.
14. Pun' A. B., Gavrilov D. A., Shchelkunov N. N., Fortunatov A. A. Algoritm adaptivnoi binarizatsii ob"ektov v videoposledovatel'nosti v rezhime real'nogo vremeni, Uspekhi sovremennoi radioelektroniki, 2018, No. 8, pp. 40-48.
15. Terekhov V. A., Efimov D. V., Tiukin I. lu. Neirosetevye sistemy upravleniia. Kn. 8, obshchaia red. A. I. Galushkina, M. : IPRZhR, 2002, 480 pp.
16. Gavrilov D. A. et al. Use of Neural Network Based Deep Learning Techniques for the Diagnostics of Skin Diseases, Biomed. Eng. (NY), 2019, V. 52, No. 5, pp. 348-352.
