CC BY
13УДК 621. 391:629.7.05 DOI:10.31854/1813-324X-2021-7-2-69-78
Развитие теоретических основ синтеза космических адаптивных видеоинформационных систем
А.И. Бобровский1
Государственный научно-исследовательский институт прикладных проблем Санкт-Петербург, 191167, Российская Федерация *Адрес для переписки: albob@mail.ru
Информация о статье
Поступила в редакцию 28.05.2021 Принята к публикации 21.06.2021
Ссылка для цитирования: Бобровский А.И. Развитие теоретических основ синтеза космических адаптивных видеоинформационных систем // Труды учебных заведений связи. 2021. Т. 7. № 2. С. 69-78. DOI:10.31854/1813-324X-2021-7-2-69-78
Аннотация: Рассмотрены основные положения и принципы синтеза адаптивных видеоинформационных систем, предназначенных для регистрации и анализа изображений динамических сцен на этапах дальнего обнаружения искусственных космических объектов, баллистического и управляемого сближения с ними в средней и ближней зоне кооперации. Исходя из принципа доминантной информации, показано, что основой развития методов и алгоритмов обработки видеоинформации в бортовых системах наблюдения является совместная адаптивная обработка видеоинформации в фотоприемных матрицах и в цифровых процессорах с целью максимизации качества информации, выдаваемой потребителю. Это делается за счет подавления фоновой и шумовой информации путем адаптивного гистерезисногоуправления кадровой частотой, разрешением кадра и временем накопления сигнала в фотоприемной матрице, а также использование параметрических нейросетевых обнаружителей-классификаторов и адаптивных кодеров изображений доминантного объекта и фона.
Ключевые слова: синтез, видеоинформационная система, адаптация, доминантная, фоновая и шумовая информация, кадровая частота, разрешение, время накопления, кодирование, параметрическая оптимизация.
Введение
Современные космические видеоинформационные системы (телевизионные камеры и цифровые фотоаппараты), эксплуатирующиеся на борту космических аппаратов (КА) и орбитальных станций, предназначены для регистрации и выдачи изображений наблюдаемых сцен в определенный контур автоматического или автоматизированного управления. Традиционно считается, что требуемое качество сформированных изображений, поступающих в контур управления, определяется целью управления и требованиями, предъявляемыми к показателям качества этого управления. Научной школой НИИ телевидения [1-5] предложено использовать информационный подход к оценке качества функционирования телевизионных (видеоинформационных) систем, опирающийся на принцип доминантной информации [6]. Существо данного принципа может быть кратко определено следующим образом.
Сигнал, принимаемый видеоинформационной системой, в общем случае включает сигналы от целевых объектов (доминантных объектов), сигналы от фоновых объектов и шумовые сигналы. В определенных случаях среди наблюдаемых фоновых объектов можно выделить «фейковые» (ложные) объекты, а остальные отнести к «истинно» фоновым.
Априорно все компоненты входного сигнала равноправны и только разработчик видеоинформационной системы, определивший алгоритмы ее работы, или потребитель формируемых изображений, управляющий оперативно изменяемыми параметрами видеоинформационной системы, решают, какую из компонент следует считать доминантным сигналом, а какие - фоновыми, шумовыми или фейковыми (ложными) сигналами. Заметим, что далее в настоящей работе фейковые объекты и фейковая информация не рассматриваются, поскольку являются предметом других специальных исследований.
Соответственно, сигнал, зарегистрированный фотоприемной матрицей («сырое» изображение/ кадр) несет (содержит) доминантную, фоновую и шумовую информацию.
Качество информации Q, содержащейся в зарегистрированном сигнале, предлагается оценивать через информационный риск Я/ потери части доминантной информации ®/д и сохранения части фоновой 1ф и шумовой /ш информации. Количество доминантной, фоновой и шумовой информации оценивается по Шеннону, а качество информации математически определяется как отношение количества потенциальной доминантной /д информации к указанному информационному риску [4]:
Q= /д /Щ =
'Д
Со^/д + С1(/ф + /ш)'
где со и с1 - весовые коэффициенты, отражающие относительные стоимость потери доминантной информации и стоимость имеющихся (оставшихся) фоновой и шумовой информации в сигнале, выдаваемом фотоприемной матрицей, процессором обработки видеоинформации или видеоинформационной системой в целом.
Важным следствием применения принципа доминантной информации является информационное объяснение причины использования «усечения» спектра сигнала В.А. Котельниковым и К. Шенноном в теории связи - максимизация качества информации [4]. Опираясь на принцип доминантной информации, в работах [7-15] была предложена концепция адаптации космической видеоинформационной системы наблюдения к этапам наблюдения для повышения качества выдаваемой информации, расширения горизонта чувствительности системы и приближения границы своевременной реакции потребителя видеоинформации на события наблюдаемых сцен. Данная концепция сформирована и использована в ходе развития теоретических основ синтеза методов и алгоритмов адаптивной обработки видеоинформации в системах наблюдения динамических сцен в космическом пространстве.
В настоящей работе рассмотрены основные положения и принципы синтеза таких адаптивных видеоинформационных систем (ВИС).
Краткий системный анализ космических ВИС с позиций обеспечения адаптивности к условиям их применения
Важнейшими подсистемами (устройствами) современных космических ВИС являются объектив, фотоприемное устройство (ФПУ), видеопроцессор, устройство сопряжения с внешними абонентами и устройство управления режимами и параметрами ВИС. Каждое из перечисленных устройств в ходе разработки (проектирования, синтеза) ВИС характеризуется набором параметров, которые можно разделить на важнейшие (выбираемые в ходе
структурного и параметрического синтеза) и условно второстепенные (выбираемые в ходе кон-структорско-технологического проектирования). Множество важнейших параметров конкретной ВИС, предназначенной для определенных условий применения, в свою очередь можно разделить на два подмножества: регулируемые и нерегулируемые параметры на этапе эксплуатации.
В адаптивных ВИС регулируемые параметры принимают определенные значения (оптимальные или субоптимальные) в результате работы контуров автоматического управления, реализованных в таких ВИС. Решение об управляющем воздействии на регулируемый параметр принимается системой управления ВИС на основе обработки сигналов, поступающих в общем случае из ФПУ, датчиков состояния устройств, датчиков внешних воздействий и внешних командных интерфейсов ВИС.
Объектив является первым устройством в видеотракте ВИС, определяющим характеристики сигнала (изображения), поступающего в ФПУ и находящегося (с определенными допущениями) в фокальной плоскости объектива. Регулируемыми параметрами объектива, в зависимости от его конструкции, могут быть фокусное расстояние, диафрагма (ширина апертуры, диаметр входного зрачка), компенсация механических вибраций и спектральная полоса пропускания. Управление этими параметрами широко известно и реализовано во многих современных объективах. Традиционной целью управления этими параметрами является максимизация качества изображения для потребителя (фотографа, кинооператора, оператора) по критерию, определяемому потребителем или производителем объектива.
Вторым устройством видеотракта ВИС, определяющим характеристики «сырого» изображения (сигнала), выдаваемого потребителю, является фотоприемная матрица (ФПУ, содержащее управляемые оптоэлектронные элементы). Важнейшими регулируемыми параметрами твердотельного приемника оптического сигнала являются кадровая частота ¥к, число элементов разложения N (число пикселей в кадре, разрешение фотоприемника, определяющее четкость статического изображения), время накопления Тн сигнала кадра (Тн ^ 1/£к). Минимальный размер пиксела ®р относится к важнейшим параметрам ФПУ, влияющим на качество информации в сформированном кадре, и выбирается на этапе синтеза этого устройства для ВИС определенного класса. Реализация автоматического управления параметрами ¥к, N, Тн по результатам обработки формируемых изображений динамических сцен в видеопроцессоре с целью максимизации качества информации, выдаваемой потребителя, существенно развивает свойство (функционал) адаптивности ВИС по сравнению с
системами, в которых реализовано автоматическое управление параметрами объектива.
Видеопроцессор космических ВИС реализует алгоритмы обработки кадров, считанных с ФПУ, для решения задач обнаружения изображений целевых (доминантных) объектов, их классификации, сопровождения и оценивания пространственно-временных координат этих объектов для оперативной передачи этих данных, включая изображение наблюдаемой сцены, потребителю (оператору или в вышестоящую систему управления, для которой адаптивная ВИС является интеллектуальным датчиком видеоинформации). Именно в видеопроцессоре реализуются алгоритмы управления параметрами ФПУ, объектива и параметрами алгоритмов обнаружения-классификации доминантных объектов, оценивания их пространственно-временных координат, а также алгоритма кодирования (сжатия) изображения для передачи его потребителю по каналу с ограниченной пропускной способностью.
Несомненно, что методы и алгоритмы адаптации ВИС к условиям наблюдения космических динамических сцен должны учитывать этапность (сценарий) применения их функционала и другую априорно известную информацию, необходимую для их «ассимптотического» синтеза.
Рассматриваемый класс ВИС ориентирован на решение задач обнаружения доминантного объекта - искусственного космического объекта (ИКО) или КА на больших дальностях, получения оценок пространственно-временных координат для реализации управляемого сближения, передачи изображений наблюдаемой сцены с максимальным качеством информации, используемой потребителем для контроля за сближением и осуществления безаварийной стыковки или корректного обслуживания. Теоретические основы синтеза адаптивных ВИС рассматриваемого класса включают концепцию адаптации и систему принципов, реализуемых в методах и алгоритмах управления параметрами ФПУ и кодера выдаваемых изображений на основе согласованной обработки информации в видеотракте для максимизации качества выдаваемой потребителю информации, также используемые при синтезе модели методы и алгоритмы обработки информации.
Концепция адаптации космической ВИС к этапам наблюдения
Так как все реальные сигналы от наблюдаемых космических объектов характеризуются априорной неопределенностью и нестационарностью, оптимальная обработка информации при наблюдении динамических сцен неизбежно должна быть адаптивной к изменяющимся статистикам. Необходимо достижение в реальном масштабе времени высокого качества выдаваемой потребителю информации, обеспечивающего высокую достовер-
ность обнаружения и точность измерения пространственно-временных координат объектов в широком диапазоне дальностей и видимых скоростей. Теоретические основы адаптации видеоинформационных систем опираются на теории информации, решений, управления, систем [9] и включают следующую концепцию адаптации системы наблюдения к этапам наблюдения.
Рассматриваются два класса адаптации: адаптацию цифровой обработки и кодирования при конкретных фиксированных параметрах фотоприемника и адаптацию накопления информации в фотоприемной матрице. Если адаптация обработки уже сформированного сигнала предназначена для наилучшего согласования системы с каналом связи, то адаптация фотоприемной матрицы предназначена для наилучшего согласования системы с оптическими свойствами наблюдаемых динамических сцен. Методологическая общность адаптации этих двух подсистем ВИС определяется тем, что выбор наилучшей кадровой частоты (времени кадра) является компромиссом, аналогичным компромиссу между длиной (надежностью) кода и скоростью передачи в теории кодирования.
Для расширения горизонта чувствительности системы (актуальной на дальней дистанции) и уменьшения границы своевременной реакции потребителя на события, наблюдаемые на сцене, (что актуально на малой дистанции) необходима адаптация кадровой частоты космической ВИС к этапам наблюдения, характеризующимися различиями в удаленности и видимой скорости доминантного объекта, а также оставшимся временем до запланированной терминальной точки сближения. С позиции теории космического телевидения разные этапы характеризуются различием в статистиках принимаемого сигнала.
В отличие от многих систем автоматического регулирования, контур адаптации кадровой частоты ВИС нецелесообразно описывать с использованием дифференциальных уравнений. Наиболее подходящее математическое описание таких контуров дает теория конечных автоматов, поскольку множество состояний контура конечно (технически эффективно реализуемое множество возможных значений ^к, N. Тн) и переходы между состояниями происходят в дискретном времени. При этом ВИС, хотя и имеет замкнутые контуры управления параметрами накопления информации на основе оценок статистик сигнала, не является замкнутой, имеет не только оптический вход, на который подается многомерный сигнал у, £:, Я), но и на выходе цифровой код в виде электромагнитного сигнала в определенного компьютерного или сетевого интерфейса.
Использование гистерезиса в контуре автоматического управления в реальном времени параметрами ФПУ концептуально связано с двумя концеп-
циями, относящимися к фундаментальной теории проверки гипотез, но акцентирующих внимание не просто на достоверности принятого решения, но и на времени, необходимом для его принятия.
Во-первых, это теория последовательных решений [16, 17], в которой А. Вальд ввел принципиальный отказ от анализа заданного интервала времени, используемого в классической теории (например, [18-21]. Первым важным результатом этой теории явилось использование не одного порога принятия решения, а двух - верхнего ув и нижнего ун. При превышении Zk верхнего порога принимается одна гипотеза, при значении сформированной статистики Zk ниже нижнего порога принимается альтернативная гипотеза, при нахождении этой статистики между порогами принимается решение о необходимости продолжения наблюдений. В течение этого времени наблюдений осуществляется накопление информации о наблюдаемом процессе, реализуемое с помощью фильтра с импульсной характеристикой hk с опорой на интегрирование наблюдений.
Второй родственной концепцией, использующей гистерезис, является задача Колмогорова - Ширяева об обнаружении разладки [17]. В ее классической постановке минимизируется время принятия решения об изменении значения выбранной статистики (например, математического ожидания случайного процесса) при заданной вероятности ложной тревоги. Здесь так же, как в теории последовательных решений, осуществляется накопление информации о наблюдаемом процессе, реализуемое с помощью операций фильтрации с опорой на интегрирование наблюдений. Вместе с концептуальной общностью с задачей о разладке в адаптивной системе перестройки кадровой частоты, благодаря дополнительной опоре на принцип максимизации времени нахождения системы в одном из возможных устойчивых состояний (maxГ, [22]), исключается неизбежная неопределенность, связанная с назначением вероятности ложной тревоги.
Концепция адаптации ВИС имеет как общие черты с адаптивными системами управления, так и свою специфику. К свойствам адаптивных ВИС, общим с другими адаптивными системами, относится ряд широко известных принципов адаптации [23, 24]:
- адаптивное управление рассматривается как управление состоянием ВИС в условиях случайных (коррелированных) входных сигналов с неизвестной функцией распределения;
- основу «механизма» адаптации составляет теория итераций с последовательным использованием измерительных данных, что является логической основой перехода к системам с дискретными состояниями и с гистерезисом;
- адаптивная система относится к классу существенно нелинейных замкнутых систем управления, реализация которых невозможна при использова-
нии линейных методов теории управления, а должна опираться на пороговое обнаружение достаточного изменения анализируемых статистик, в том числе характеризующей относительную динамику сцены.
Наличие гистерезиса означает, что системы адаптации параметров при их перестройке реализуют принцип трихотомии, выполняя в каждый момент дискретного времени, определяемого кадровой частотой, одну из трех возможных операций:
- перейти вверх (увеличить на единицу номер состояния системы, например, увеличить вдвое кадровую частоту);
- остаться в том же состоянии;
- перейти вниз (увеличить на единицу номер состояния системы, например, понизить вдвое кадровую частоту).
Концепция адаптации ВИС включает новую трактовку принципа равенства кадровых статистик дисперсий межэлементной и межкадровой разности, введенной в работах [5, 24]. Этот принцип используется не только на ближней дистанции, но и на дальней. При этом, в силу возможной малости сигнала доминантного объекта - наблюдаемого ИКО, алгоритм адаптации к дистанции до него работает устойчивее при переходе к другому, связанному с ним критерию - поддержанию в заданных границах другой кадровой статистики: смаза фоновых звезд. В результате формируются три вида статистик и три контура управления параметрами фотоприемника.
Главная идея адаптации кадровой частоты и времени накопления: для расширения диапазона рабочих дальностей нужно кривые яркости и динамики «сгладить». Для этого на дальней дистанции, где значения статистики яркости и динамики сцены малы, следует понижать кадровую частоту, а на ближней дистанции, где статистики динамики велики, следует повышать кадровую частоту, что дополняется на средней и ближней дистанции управлением временем накопления внутри кадра.
С повышением кадровой частоты при фиксированном разрешении кадра возрастает вычислительная нагрузка на видеопроцессор, что, в условиях значительных ресурсных ограничений и не превышения требуемого времени выдачи информации потребителю, принимающему решения по управлению сближением, обуславливает целесообразность обмена роста ^к на уменьшение величины N при сохранении достаточного качества выдаваемой информации. Таким образом, производится адаптация разрешения формируемых изображений для сохранения (при определенных условиях -для приближения) границы своевременной реакции потребителя видеоинформации на события наблюдаемой сцены, т. е. для обеспечения результативного управления динамическим объектом (процессом) за счет сохранения скорости выдачи информации с интеллектуального видеосенсора.
Изложенная концепция является отражением новой парадигмы в теории прикладных видеоинформационных систем, пришедшей на смену старой парадигмы пассивного учета уменьшения разрешающей способности при движении наблюдаемого объекта. При этом, если на начальном этапе перехода от старой концепции (Я.А. Рыфтин) к новой концепции, учет динамики сцены осуществлялся лишь при синтезе устройств обработки и кодирования изображений (Н.Н. Красильников, Л.П. Ярославский, И.И. Цуккерман, Д.С. Лебедев, Я. Ричардсон и др.), то новый этап учета параметров наблюдаемой сцены опирается на совместную адаптивную обработку изображений динамических сцен в фотоприемной матрице и цифровом вычислителе в реальном масштабе времени.
Принципы, положенные в основу синтеза космических ВИС, адаптивных к этапам и условиям их применения
Выше были упомянуты только некоторые важнейшие принципы, на которые опирается концепция адаптации ВИС к этапам наблюдения. Вся совокупность принципов, используемых для синтеза адаптивных космических ВИС, следующая.
Принцип оптимальности, включающий статистический итерационный синтез методов адаптации на основе априорной информации, математических моделей, критериев и ограничений для оптимизируемых систем. Под статистическим синтезом понимается математический аппарат теории решений и теории информации; итерационный подход, чередующий методы структурного и параметрического синтеза, является одной из методологических основ адаптации информационных систем. Этот принцип после нахождении параметров системы, обеспечивающих искомый условный оптимум, позволяет обоснованно считать синтез завершенным.
Принцип доминантной информации, который обосновывает цель синтеза по критерию максимума качества информации, определяемого отношением потенциальной доминантной информации к информационному риску, включающему потерянную доминантную информации и остаточные фоновую и шумовую информации. Он дает единую основу параметрического синтеза фоточувствительной и вычислительной подсистем обработки информации.
Принцип итерационного наблюдения и управления, включающий изменение параметров системы на разных этапах наблюдения по определенному правилу перехода к новой итерации. Он позволяет минимизировать совокупность аппаратных и/или временных затрат для достижения экстремальных значений выбранных критериев.
Принцип динамического выравнивания дисперсий ошибок оценивания параметров изображений наблюдаемых сцен (совокупности объектов), являющийся одним из важных следствий принципа оптимальности, и опирающийся на методы вариационного исчисления и динамического программирования, в том числе:
- выравнивание дисперсий приращений сигнала, формируемого фотоприемной матрицей по полю и по времени [5, 7-9, 25];
- выравнивание дисперсий ошибок кодирования источника.
Принцип системного согласования информационных параметров частей системы после ее декомпозиции, обеспечивающий методологическое единство проектирования системы с учетом принципа доминантной информации, в частности единства синтеза трех важнейших узлов - объектива, фотоприемника и устройства компьютерной обработки - а не их попарного согласования.
Принцип использования инерционности и гистерезиса в контуре отрицательной обратной связи, обеспечивающий в совокупности с третьим и седьмым принципами устойчивость системы к малым (шумовым) изменениям управляющих переменных - отсутствие в ней «дребезга» управления (колебательного процесса управления параметрами £к, N. Тн с частотой близкой к кадровой) [7-9, 26].
Принцип максимизации времени нахождения системы в заданной зоне фазового пространства, характеризуемой оптимальными пороговыми (верхними и нижними) относительными значениями управляющих величин, который в совокупности с третьим и шестым принципом обеспечивает устойчивость управления параметрами фотоприемной матрицы.
Основные используемые методы адаптации ВИС
Основными методами адаптации бортовых видеоинформационных систем, в которых теоретические принципы дополняются учетом сложности моделей сигналов, сложности управления носителем бортовой видеоинформационной системы и сложности ее эксплуатации, являются [9]:
- адаптация чувствительности (автоматическое регулирование времени накопления) при фиксированных кадровой частоте и четкости к уровню освещенности [1];
- адаптация порога принятия решения [3] и четкости фотоприемных матриц астрономических систем к интенсивности сигналов звезд и этапам обнаружения-оценивания;
- адаптация областей считывания с фотоприемника [2, 3], и их цифрового кодирования [15] при разделимости сцены на объект и фон, на порядок увеличивающие коэффициент сжатия передаваемого изображения без потери доминантной информации;
- адаптация кадровой частоты и разрядности сигнала к динамике сцен с разными каналами считывания фотоприемника для высоких и низких кадровых частот [5], на порядок расширяющая горизонт чувствительности в системах орбитального обслуживания при селекции объектов по скоростному смазу;
- адаптация кадровой частоты с обменом на четкость матричного фотоприемника к динамике сцены [5, 7-11, 25], на порядок расширяющая диапазон дистанций с минимальной ошибкой оценивания пространственно-временных координат объекта;
- адаптация спектральных (по длине волны принимаемого фотоприемной матрицей излучения) характеристик оптических систем и фотоприёмников к характеристикам излучения и к свойствам атмосферы [5].
Реализованные методы и алгоритмы управления параметрами ВИС для обнаружения и оценки наблюдаемых параметров сигналов кооперируемого КА в широком диапазоне дальностей и динамических свойств наблюдаемой сцены развивают принцип итерационного контроля сближения КА, сформулированный С.П. Королевым в 1962 г.
Предложенная систематизация принципов теории синтеза адаптивных бортовых систем компьютерного зрения, работающих в реальном времени, учитывает влияние твердотельной технологии получения изображений на изменение методов системного анализа и синтеза видеосистем на основе применения принципа доминантной информации.
Дальнейшее развитие методов адаптации видеоинформационных систем должно привести к вливанию этого направления в русло теории распознавания образов и искусственного интеллекта.
Пример параметрической оптимизации сверточной нейроподобной сети
Перспективным направлением построения космических адаптивных ВИС является использование нейросетевых технологий для анализа изображений наблюдаемых сцен. Высокая вычислительная и структурная сложность нейроподобных сетей, эффективно решающих задачи обнаружения-классификации изображений различных объектов, приводит к необходимости поиска решений, обеспечивающих возможность их реализации при жестких ресурсных ограничениях по энергопотреблению, габаритам и массе. В работе [27] выделен класс нейросетевых архитектур типа YOLO [28], который на сегодняшний день является наиболее подходящим кандидатом для реализации на борту. Важнейшими варьируемыми параметрами архитектуры YOLO для заданного множества различаемых классов изображений, которые определяют вычислительную и структурную сложность сети,
являются: число сверточных слоев (L), информационный размер изображения (NxxNyxp, байт), подаваемого на вход сети. Значимыми параметрами архитектуры YOLO, определяющими ресурсоемкость сети, являются параметры нейроподобных элементов сверточных слоев (вид функции активации, разрядность и способ кодирования входных и выходных переменных, весовых коэффициентов, значения которых формируются в процессе обучения), слоев субдискретизации и двух выходных полносвязных слоев, формирующих окончательный результат. На сегодняшний день отсутствуют сведения о проведенных полномасштабных исследованиях, посвященных параметрической оптимизации нейросетевых архитектур типа YOLO. Данный факт, по-видимому, объясняется большой размерностью задачи, неразработанностью методов аналитического решения (даже «ассимптотического») подобных задач и высокой трудоемкостью цикла «обучение сети - оценка качества обучения на множестве тестовых изображений), лежащего в основе действенного, но научно неинтересного, метода перебора (пусть даже «направленного») возможных значений оптимизируемых параметров архитектуры. В работе [29] представлены первичные результаты экспериментальной оценки влияния числа слоев сети типа TinyYOLO ver.2-416 на показатели качества решения задачи обнаружения-классификации-оценивания пространственного положения изображений объектов, имеющих простейшую форму (трек-смаз, «точка»-«круглое пятно»). Сеть данного типа в указанном исследовании использовалась для анализа кадров существенно большего разрешения, чем 416x416 пикселов в соответствии с методом последовательного анализа пересекающихся прямоугольных фрагментов кадра. При этом размер пересечения k фрагментов изображений был согласован с максимальной длиной Is треков (смазов) - изображений «точечных» светящихся объектов, проекция вектора скорости Vf которых на фокальную плоскость ВИС, вместе с временем накопления сигнала Гн и диаметром D неподвижного изображения «точечного» объекта определяла величину смаза (в пикселах):
Гн Doг
Is =]vf— + — [ р р
(Л VfTH + Dp Л lc = max ( I-I ),
v/,7h\j Ар V
где Др - линейный размер пиксела; ]a[ - округление нецелого числа a до ближайшего большего целого.
Экспериментальные исследования с использованием нейронной сети TinyYOLO v2-416 и обучающей выпорки из совокупности наблюдений семи геостационарных КА при широком наборе кадровых частот ВИС (время накопления кадра 0,25-8 с) и яркости фона от глубокой ночи до сумерек [5] показали,
что существует минимально достаточное число слоев сети [12], обеспечивающих максимальное (предельно возможное) качество информации (результата решения задачи обнаружения-классификации), определяемое показателем информационного риска, в котором учитываются не только информационные сигналы, обусловливающие наличие ошибок обнаружения-классификации, но рост задержки в выдаче решения обнаружения-классификации с увеличением числа слоев.
На рисунке 1 приведены графики качества информации (с учетом задержки в выдаче решения), построенные по результатам экспериментальных исследований сетей типа TinyYOLO у2-416 с разным числом слоев и оптимального (несетевого) обнаружителя-классификатора изображений точечных объектов по признаку скоростного смаза, синтезированного для статистик полученного (заданного) набора кадров с наблюдаемыми КА, звездами и шумами.
2
3
4
2
5
1/64 1/32 1/16 1/8 1/4 1/2 1 2
7и, c
Рис. 1. Зависимость качества информации от времени накопления сигнала (кадра) для разного числа слоев нейроподобной сети типа Tiny YOLO v2-416 (графики 2-5) и оптимального обнаружителя классификатора (график 1),
имеющего предельное качество; график 2 - сеть имеет 9 сверточных слоев, график 3 - 8 слоев, график 4 - 7 слоев, график 5 - 6 слоев Fig. 1. The Dependence of the Quality of Information on the Time of Signal Accumulation (Frame) for a Different Number of Layers a Neural Network of the Tiny YOLO v2-416 Type (Graphs 2-5) and an Optimal Classifier Detector (Graph 1), which has the Maximum Quality; Graph 2 - the Network Has 9 Convolutional Layers, Graph 3 - 8 Layers, Graph 4 - 7 Layers, Graph 5 - 6 Layers
Получаемое качество информации имеет выраженный максимум, так как при слишком малом времени кадра мало и отношение сигнал/шум доминантного объекта, и мало расстояние между кластерами объекта и фоновых сигналов; при слишком большом времени кадра качество информации падает из-за слишком больших задержек оценивания координат объекта. Для данного случая оптимальным оказалась число слоев, равное 9. Увеличение числа слоев свыше при TH ^ 1 с не повысит максимального значения качества информации. Уменьшение числа слоев с 9 до 6 и менее существенно снижает качество информации, выдаваемой сетью.
Следует отметить, что рассмотренный случай характеризуется простотой формы обнаруживаемых и классифицируемых изображений объектов, малым числом классов изображений объектов, детектируемых сетью. Именно эти обстоятельства обусловили возможность использования сети с архитектурой YOLO с небольшим числом слоев. Для случаев с существенно большим числом детектируемых классов изображений и большей «вариативностью» изображений одного класса несомненно потребуется использовать сети типа YOLO с существенно большим числом слоев. И поиск оптимального числа слоев для подобных случаев является существенно более трудоемкой задачей.
Использование нейросетевых решений, оптимизированных для заданных типовых условий применения, является одним из магистральных направлений развития космических адаптивных ВИС.
Наличие показанного на рисунке 1 максимума иллюстрирует конструктивные возможности предложенного подхода к синтезу космических ВИС на основе использованных моделей сигналов и фонов в виде квазидетерминированных сигналов с параметрической неопределенностью и модификации информационного риска введением компонента, отражающей задержку получения оцениваемых координат объекта.
Адаптивное кодирование изображений доминантного объекта и фона
Одним из следствий использования сверточных нейроподобных сетей типа YOLO является определение в реальном масштабе времени параметров прямоугольников, в которых находятся обнаруженные и отклассифицированные изображения объектов. Координаты прямоугольников формирует выходной слой сети. Такие прямоугольники являются прямоугольными стробами или возможными зонами интереса (внимания) оператора. Построение алгоритма выделения среди нескольких возможных зон интереса одной или нескольких, содержащих изображения доминантных (целевых) объектов, является достаточно простой задачей, решение которой позволяет «разделить» кадр, передаваемый в контур управления оператора, на компактную область с изображением доминантного объекта и на оставшуюся область, содержащую изображения фона.
Описанная идея легла в основу метода селективного (семантического) сжатия видеокадра: область с доминантным объектом обрабатывается алгоритмом сжатия с минимальными или нулевыми потерями, а оставшаяся область обрабатывается алгоритмом с максимально возможным коэффициентом сжатия и с допустимыми потерями качества восстановленного изображения. Проведенные экспериментальные исследования показали [15], что
8
предложенный метод селективного (семантического) сжатия позволяет на порядок увеличить коэффициент сжатия передаваемого изображения без потери доминантной информации.
Заключение
Из приведенных положений ясно, что развитие теоретических основ синтеза космических видеосистем проведено в направлении осуществления совместной адаптивной обработки изображений динамических сцен в фотоприемной матрице и бортовом вычислителе на основе применения принципа доминантной информации для повышения и последующего сохранения качества информации, используемой в контурах управления КА. При этом (как следствие) достигаются важные прагматические цели: повышение дальности обнаружения и
точности измерения пространственно-временных координат наблюдаемых космических объектов, а также сохранение скорости выдачи информации достаточного качества, используемой потребителем для результативного управления динамическим объектом (процессом).
Стержнем (основной идеей) предлагаемых теоретических положений является переход от концепции обработки информации при наблюдении динамических сцен космическими видеоинформационными системами, традиционно использующими фиксированные параметры разложения изображения, к новой концепции адаптации параметров формирования и обработки изображений к динамическим свойствам наблюдаемой сцены.
Список используемых источников
1. Хромов Л.И., Лебедев Н. В., Цыцулин А.К., Куликов А.Н. Твердотельное телевидение. М.: Радио и связь, 1986. 184 с.
2. Хромов Л.И., Цыцулин А.К., Куликов А.Н. Видеоинформатика. М.: Радио и связь, 1991. 192 с.
3. Березин В.В., Умбиталиев А.А., Фахмин Ш.С., Цыцулин А.К., Шипилов Н.Н. Твердотельная революция в телевидении: телевизионные системы на основе приборов с зарядовой связью, систем на кристалле и видеосистем на кристалле. М.: Радио и связь, 2006. 312 с.
4. Цыцулин А.К., Адамов Д.Ю., Манцветов А.А., Зубакин И.А. Твердотельные телекамеры: накопление качества информации. СПб.: СПбГЭТУ «ЛЭТИ», 2014. 272 с.
5. Умбиталиев А.А., Цыцулин А.К., Левко Г.В., Пятков В.В., Кузичкин А.В., Дворников С.В. и др. Теория и практика космического телевидения. СПб: АО «НИИ телевидения», 2017. 368 с.
6. Хромов Л.И., Цыцулин А.К. Основания космической видеоинформатики // Вопросы радиоэлектроники. Серия: Техника телевидения. 2011. №. 1. С. 6-31.
7. Бобровский А.И. Адаптация прикладной телевизионной системы к динамике сюжета // Цифровая обработка сигналов. 2018. № 3. С. 3-9.
8. Бобровский А.И. Обработка видеоинформации в адаптивной системе контроля сближения космических аппаратов // Информация и космос. 2018. № 4. С. 149-153.
9. Бобровский А.И. Теоретические основы синтеза космических адаптивных видеоинформационных систем // Вопросы радиоэлектроники. Серия: Техника телевидения. 2019. № 4. С. 42-46.
10. Цыцулин А.К., Фахми Ш.С., Адамов Д.Ю., Бобровский А.И., Зубакин И.А., Черногубов А.В. Принцип доминантной информации - концептуальная основа проектирования видеоинформационных систем // Датчики и системы. 2018. № 11. С. 3-9.
11. Цыцулин А.К., Бобровский А.И., Морозов А.В. Синтез космической системы наблюдения при широком диапазоне изменения дальности до объекта // Вопросы радиоэлектроники. Серия: Техника телевидения. 2020. № 2. С. 19-37.
12. Цыцулин А.К., Павлов В.А., Бобровский А.И., Морозов А.В., Рогачев В.А. Помехоустойчивость классификации объектов по признаку скоростного смаза // Вопросы радиоэлектроники. Серия: Техника телевидения. 2020. № 3. С. 53-67.
13. Цыцулин А.К., Павлов В.А., Бобровский А.И., Морозов А.В. Информационные оценки в задачах обнаружения-оценивания-передачи сигнала в космическом телевидении // Вопросы радиоэлектроники. Серия: Техника телевидения. 2019. № 3. С. 61-74.
14. Цыцулин А.К., Девяткин А.В., Бобровский А.И., Морозов А.В., Горшанов Д.Л., Павлов В.А. Адаптация кадровой частоты к этапам наблюдения в системе контроля сближения космических аппаратов // Вопросы радиоэлектроники. Серия: Техника телевидения. 2019. № 1. С. 31-38.
15. Цыцулин А.К., Павлов В.А., Бобровский А.И., Морозов А.В., Зубакин И.А. Адаптивное кодирование изображений, разделимых на доминантный объект и фон // Вопросы радиоэлектроники. Серия: Техника телевидения. 2019. № 3. С. 75-85.
16. Вальд А. Последовательный анализ. Пер. с англ. М.: Физматгиз, 1960. 328 с.
17. Ширяев А.Н. Статистический последовательный анализ. М.: Наука, 1976. 272 с.
18. Вудворд Ф.М. Теория вероятностей и теория информации с приложением к радиолокации. Пер. с англ. М.: Сов. радио, 1955. 128 с.
19. Фрэнкс Л. Теория сигналов. Пер. с англ. М.: Мир, 1974. 344 с.
20. Ван Трис Г. Теория обнаружения, оценивания и модуляции. В 4-х томах. Пер. с англ. М.: Радио и связь, 1972-1977.
21. Хелстром К. Статистическая теория обнаружения сигналов. Пер. с англ. М.: Изд-во иностр. лит., 1963. 432 с.
22. Шамис А.Л. Вектор эволюции. Жизнь, эволюция, мышление с точки зрения программиста. М.: Книжный дом «ЛИБРОКОМ», 2013. 200 с.
23. Беллман Р. Процессы регулирования с адаптацией. Пер. с англ. М.: Наука, 1964. 359 с.
24. Васильев К.К., Крашенинников В.Р. Статистический анализ последовательностей изображений. М.: Радиотехника, 2017. 248 с.
25. Умбиталиев А.А., Пятков В.В., Цыцулин А.К., Левко Г.В., Манцветов А.А., Рычажников А.Е. и др. Статистический анализ и синтез прикладных телевизионных систем // Вопросы радиоэлектроники. Серия: Техника телевидения. 2015. № 6. С. 4-14.
26. Красносельский М.А., Покровский А.В. Системы с гистерезисом. М.: Наука, 1983. 271 с.
27. Бобровский А.И., Морозов А.В., Чепелев А.Г., Павлов В.А., Галанов В.В. Выбор архитектуры нейронной сети для обнаружения и классификации изображений космических объектов // Вопросы радиоэлектроники. Серия: Техника телевидения. 2020. № 1. С. 64-73.
28. Redmon J., Farhadi A. YOLO9000: Better, Faster, Stronger // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR, Honolulu, USA, 21-26 July 2017). IEEE, 2017. PP. 7263-7271. D01:10.1109/CVPR.2017.690
29. Цыцулин А.К., Бобровский А.И., Морозов А.В., Павлов В.А., Галеева М.А. Применение свёрточных нейронных сетей для автоматической селекции малоразмерных искусственных космических объектов на оптических изображениях звёздного неба // Оптический журнал. 2019. Т. 86. № 10. С. 30-38. D0I:10.17586/1023-5086-2019-86-10-30-38
* * *
Theoretical Foundations Development of Space Adaptive Video Information Systems Synthesis
A. Bobrovskiy1
JState Research Institute of Applied Problems St. Petersburg, 191167, Russian Federation
Article info
D0I:10.31854/1813-324X-2021-7-2-69-78 Received 28 th May 2021 Accepted 21st June 2021
For citation: Bobrovskiy A. Theoretical Foundations Development of Space Adaptive Video Information Systems Synthesis. Proc. of Telecom. Universities. 2021;7(2):69-78. (in Russ.) D0I:10.31854/1813-324X-2021-7-2-69-78
Abstract: The main provisions and principles of the synthesis of adaptive video information systems designed for recording and analyzing images of dynamic scenes at the stages of long-range detection of artificial space objects, ballistic and controlled approach to them in the middle and near zone of cooperation are considered. Based on the principle of dominant information, it is shown that the basis for the development of methods and algorithms for processing video information in on-board surveillance systems is the joint adaptive processing of video information in photodetector matrices and in digital processors in order to maximize the quality of information issued to the consumer by suppressing background and noise information by adaptive hysteresis control of the frame frequency, frame resolution and signal accumulation time in the photodetector matrix, as well as the use of parametric neural network detectors-classifiers.
Keywords: synthesis, video information system, adaptation, dominant, background and noise information, frame rate, resolution, accumulation time, encoding, parametric optimization.
References
1. Chromov L.I., Lebedev N.V., Tsytsulin A.K., Kulikov A.N. Solid State Television. Мoscow: Radio i Svyaz Publ.; 1986. 184 p. (in Russ.)
2. Chromov L.I., Tsytsulin A.K., Kulikov A.N. Video Informatics. Мoscow: Radio i Svyaz Publ.; 1991. 192 p. (in Russ.)
3. Berezin V.V., Umbitaliev A.A., Fakhmin Sh.S., Tsytsulin A.K., Shipilov N.N. The Solid State Revolution in Television: CCD, System-on-Chip and Video-on-Chip Television Systems. Мoscow: Radio i Svyaz Publ.; 2006. 312 p. (in Russ.)
4. Tsytsulin A.K., Adamov D.Yu., Mantsvetov A.A., Zubakin I.A. Solid State Cameras: Accumulating Information Quality. St. Petersburg: Saint Petersburg Electrotechnical University "LETI" Publ.; 2014. 272 p. (in Russ.)
5. Umbitaliev A.A., Tsytsulin A.K., Levko G.V., Pyatkov V.V., Kuzichkin A.V., Dvornikov S.V., et al. Theory and Practice of Space Television. St. Petersburg: JSC Television Research Institute Publ.; 2017. 368 p. (in Russ.)
6. Hromov L.I., Tsytsulin A.K. Space Videoinformation Basis. Voprosy radioelektroniki. Seriya: Tekhnika televideniya. 2011;1:6-31. (in Russ.)
7. Bobrovskij A.I. Adaptation of the Applied Television System to the Dynamics of the Plot. Digital Signal Processing. 2018;3:3-9. (in Russ.)
8. Bobrovskij A.I. Processing of Video Information in the Adaptive Control System for the Approach of Spacecraft. Information and Space. 2018;4:149-153. (in Russ.)
9. Bobrovskij A.I. Heoretical Bases of Synthesis of Space Adaptive Video Information Systems. Voprosy radioelektroniki. Seriya Tekhnika televideniya. 2019;4:42-46. (in Russ.)
10. Tsytsulin A.K., Fahmi SH.S., Adamov D.Yu., Bobrovskij A.I., Zubakin I.A., Chernogubov A.V. Principle of Dominant Information - a Conceptual Basis for Designing Videoinformation Systems. Datchiki & Systemi (Sensors & Systems). 2018;11:3-9. (in Russ.)
11. Tsytsulin A.K., Bobrovskij A.I., Morozov A.V. Synthesis of a Space Videoinformation System with a Wide Range of Changes in the Distance to the Object. Voprosy radioelektroniki. Seriya: Tekhnika televideniya. 2020;2:19-37. (in Russ.)
12. Tsytsulin A.K., Pavlov V.A., Bobrovskij A.I., Morozov A.V., Rogachev V.A. Objects Classification by the Speed-Smearing Feature Noise Resistance. Voprosy radioelektroniki. Seriya: Tekhnika televideniya. 2020;3:53-67. (in Russ.)
13. Tsytsulin A.K., Pavlov V.A., Bobrovskij A.I., Morozov A.V. Information Evaluations of Signal Detection-Estimation-Transfer Task in Space Television Systems. Voprosy radioelektroniki. Seriya: Tekhnika televideniya. 2019;3:61-74. (in Russ.)
14. Tsytsulin A.K., Devyatkin A.V., Bobrovskij A.I., Morozov A.V., Gorshanov D.L., Pavlov V.A. Adaption of Frame Rates for Observation Phases in the Control System of a Spacecraft. Voprosy radioelektroniki. Seriya: Tekhnika televideniya. 2019;1:31-38. (in Russ.)
15. Tsytsulin A.K., Pavlov V.A., Bobrovskij A.I., Morozov A.V., Zubakin I.A. Adaptive Coding of Images Divided into Dominant Object and Background. Voprosy radioelektroniki. Seriya: Tekhnika televideniya. 2019;3:75-85. (in Russ.)
16. Wald A. Sequential Analisis. Translate from English. Moscow: Fizmatgiz Publ.; 1960. 328 p. (in Russ.)
17. Shiryaev A.N. Statistical Sequential Analysis. Moscow: Nauka Publ.; 1976. 272 p. (in Russ.)
18. Vudvord F.M. Probability Theory and Information Theory with an Application to Radar. Translate from English. Moscow: Sov. Radio Publ.; 1955. 128 p. (in Russ.)
19. Franks L.E. Signal Theory. Translate from English. Moscow: Mir Publ.; 1974. 344 p. (in Russ.)
20. Van Trees L. Detection, Estimation and Modulation Theory. In 4 vol. Translate from English. Moscow: Radio i Svyaz Publ.; 1972-1977. (in Russ.)
21. Helstrom C.W. Statistical Theory of Signal Detection. Oxford: Pergamon Press; 1960.
22. Shamis A.L. Evolution Vector. Life, Evolution, Thinking from the Point of View of a Programmer. Moscow: LIBROKOM Publ.; 2013. 200 p. (in Russ.)
23. Bellman R. Adaptive Control Processes: a Guided Tour. Moscow: Nauka Publ.; 1964. 359 p. (in Russ.)
24. Vasil'ev K.K., Krasheninnikov V.R. Statistical Analysis of Image Sequences. Moscow: Radiotekhnika Publ.; 2017. 248 p. (in Russ.)
25. Umbitaliev A.A., Pyatkov V.V., Tsytsulin A.K., Levko G.V., Mantsvetov A.A., Rychazhnikov A.E. Statistical Analysis and Synthesis of Applied Television Systems. Voprosy radioelektroniki. Seriya: Tekhnika televideniya. 2015;6:4-14. (in Russ.)
26. Krasnosel'skij M. A., Pokrovskij A.V. Systems with Hysteresis. Moscow: Nauka Publ.; 1983. 271 p. (in Russ.)
27. Bobrovskij A.I., Morozov A.V., Chepelev A.G., Pavlov V.A., Galanov V.V. Selection of Architecture of Neural Network for Space Objects Images' Detection and Classification. Voprosy radioelektroniki. Seriya: Tekhnika televideniya. 2020;1:3-13. (in Russ.)
28. Redmon J., Farhadi A. YOLO9000: Better, Faster, Stronger. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, CVPR, 21-26 July 2017, Honolulu, USA. IEEE; 2017. p.7263-7271. DOI:10.1109/CVPR.2017.690
29. Tsytsulin A.K., Bobrovskij A.I., Morozov A.V., Pavlov V.A., Galeeva M.A. Using Convolutional Neural Networks to Automatically Select Small Artificial Space Objects on Optical Images of a Starry Sky. Journal of Optical Technology. 2019;86(10):627. DOI:10.17586/1023-5086-2019-86-10-30-38
БОБРОВСКИЙ Алексей Иванович
Сведения об авторе:
кандидат технических наук, старший научный сотрудник, начальник научно-исследовательского центра Государственного научно-исследовательского института прикладных проблем, albob@mail.ru © https://orcid.org/0000-0002-4344-9305
