CC BY
60
ГРНТИ 28.23.15 УДК 004.932
ОБЪЕДИНЕНИЕ ИЗОБРАЖЕНИЙ БЛИЖНЕГО ИНФРАКРАСНОГО И ВИДИМОГО ДИАПАЗОНА, ПОЛУЧЕННЫХ С КАМЕР Ы1..1А_
Семенищев Евгений Александрович
к.т.н., доц., ДГТУ, г. Ростов-на-Дону, Толстова Ирина Владимировна
Аспирант 4 курса напр. «Электроника, радиоэлектроника и системы связи», ИСОиП (филиал) ДГТУ, г. Шахты
АННОТАЦИЯ
Рассматривается проблема получения границ объектов на изображениях ближнего инфракрасного диапазона. Человеку сложно соотнести информацию ИК-изображений с наблюдаемыми объектами. Актуальной является задача объединения информации со всех камер для выделения устойчивых признаков объектов, расположенных в кадре.
Предложенный алгоритм реализует пошаговую обработку данных, включающую предварительную обработку, суперразрешение, поиск границ объектов и базовых точек в различных оптических диапазонах, поиск соответствий между ними, перенос границ объектов из изображений стационарной системы в изображения системы мобильного мониторинга.
В качестве тестовых данных используется видеосъемка с разработанного БПЛА. В качестве оптической системы используется группа фиксированных оптических камер (видимый спектр) и данные в ближней инфракрасной области спектра. Камеры, используемые в нашем БПЛА, имеют низкое оптическое разрешение (800 х 600 - ближний инфракрасный спектр, 1600 х 1200 - видимый диапазон).
ABSTRACT
The publication deals with the problem of obtaining the boundaries of objects in images of the near-infrared range. It is difficult for a person to correlate information the IR images with the observed objects. Actual is the task of combining information from all cameras to highlight the stable signs of objects located in the frame.
The proposed algorithm implements step-by-step data processing including preprocessing, superresolution, searching for object boundaries and base points in different optical ranges, searching for correspondences between them, transferring object boundaries from stationary system images to mobile monitoring system images.
The test data we used video shooting from developed UAV. A group of fixed optical cameras (visible spectrum) and data in the near-infrared spectrum are used as the optical system. The cameras used in our UAV have a low optical resolution (800x600 near-infrared spectrum, 1600x1200 visible range).
Ключевые слова: БПЛА, ИК-диапазон, изображение, слияние изображений; обнаружение границ, предобработка.
Keywords: UAV; IR range; image; image fusion; edge detection; prerocessing.
Применение БПЛА стало всеобъемлющим. Переход к новым технологиям производства чипов на кристаллах, новым высокопроизводительным вычислительным модулям, а также использованию малошумных и прецизионных радиокомпонентов позволяет повысить энергоэффективность систем в целом при сохранении высокой
производительности [1]. Использование новых систем накопления энергии позволяет увеличить плотность накопления заряда на единицу объема и минимизировать весовые характеристики. Все эти нововведения позволят на данном этапе человеческого развития создавать новые автоматизированные системы мониторинга и принимать решения по анализу видеоданных, полученных от автоматической системы для иАС. В настоящее время очень легко реализовать небольшие БПЛА, позволяющие анализировать ситуацию на площади более 5 км2. Современное применение БПЛА помимо бытовой сферы стало широко использоваться в качестве вспомогательных систем, таких как: анализ побережья при поиске акул в океанах;
энергетические компании, контролирующие целостность линий электропередачи; защита скота и окружающей среды при поиске потерянных и редких животных; военная сфера и системы безопасности, при проведении контроля доступа к объектам; спасатели, поиск пожаров в лестной местности; поиск и устранение аварийных ситуаций, гибели людей и несчастных случаев и т. д., в сложных условиях (горы, лес, ущелья и т. д.); энергоаудит, контроль зданий и промышленных объектов и др.
Современный БПЛА можно разделить на два типа, это самолеты и вертолеты. У каждого есть свои преимущества и недостатки. Авиационные транспортные средства типа иАС более энергоэффективны, но не меняют быстро направления (не позволяют отслеживать объект) и не допускают движения на малых высотах. Самолеты не требуют больших энергетических затрат, поскольку воздушный поток под крылом позволяет удерживать устройство, что позволяет снизить нагрузку. Вертолеты позволяют вам парить над объектом и делать медленные движения у
поверхности земли, однако, имеют недостаток, заключающийся в необходимости увеличения затрат энергии для поддержания высоты. Проведение ситуационной видеоаналитики или выполнение операции отслеживания объекта может быть выполнено с использованием коптера. В статье предлагается использовать гексакоптер, схема которого показана на рисунке 1.
В качестве системы мониторинга используются комбинированные устройства для
сбора данных с камер, позволяющие фиксировать кадр в ближнем инфракрасном и видимом диапазонах. Данные, полученные в ближнем инфракрасном спектре в дневное время, являются неинформативными. Объекты становятся неразличимыми в обычном видимом диапазоне ночью или в сумерках [2]. Актуальной является задача объединения информации со всех камер для выделения устойчивых признаков объектов, расположенных в кадре.
Рисунок 1. Модель и схема разработанного БПЛА типа гексакоптер
Использование БПЛА может снизить затраты и повысить эффективность систем принятия решений. Использование систем машинного зрения, позволяет расширить спектр задач, а также автоматизировать системы управления БПЛА.
1. Полученные проблемы при разработке БПЛА, которые влияют на фиксацию видео данных
Технические возможности коптера зависят от количества винтов, их увеличение позволяет повысить маневренность, грузоподъемность, устойчивость к воздействию ветра и т. д. Наличие камер позволяет осуществлять автоматическое маневрирование, поиск объектов, принятие решения об обнаружении и обходе препятствий, мониторинг ближней зоны и положения в пространстве. Использование различных камер позволяет обнаруживать объекты в различных условиях съемки, так использование данных инфракрасного спектра позволяет обнаруживать людей и животных в условиях их закрытия лесом, туманом или в сумерках. Использование нескольких диапазонов позволяет повысить точность и вероятность обнаружения объектов живой или неживой природы [3].
Структура БПЛА, показанная на рисунке 1, содержит следующие основные компоненты: шесть бесщеточных электродвигателей T-Motor U5 KV400; видеокарта NVIDIA Jetson TX2; разработанный контроллер полета;
телеметрический блок; система приема и передачи данных, кевларовые винты длиной 10. Полученный беспилотник позволяет летать с полезной нагрузкой до 0,5 кг., высота подъема - до 30 метров, время нахождения аппарата в воздухе более 20 минут, устройство позволяет использовать его в условиях ветровой нагрузки и высокой влажности.
К качеству изучаемых данных относятся видеозаписи, полученные с разработанного беспилотного летательного аппарата. В качестве
оптической системы используется группа фиксированных оптических камер (видимого спектра) и инфракрасной камеры в ближнем инфракрасном спектре. Камеры, используемые в нашем БПЛА, имеют низкое оптическое разрешение (800 х 600 - ближний инфракрасный спектр, 1600 х 1200 - видимый диапазон).
2. Алгоритм слияния данных, полученных мультисенсорной системой
Разработанный гексакоптер использует стабилизированную систему для наблюдения за пространством и объектами. В качестве системы видеонаблюдения используется комбинированный блок, включающий данные, полученные в ближней инфракрасной и видимой областях. Полученное изображение на борту БПЛА имеет ряд недостатков, среди которых можно выделить основные, связанные с дрожанием камеры и низким пространственным разрешением чувствительных матриц. Наряду с этим использование БПЛА производится в неидеальных условиях, что связано с появлением пыли, влаги и отражений на объективе. Видеосистема фиксируется (камеры расположены на одной поверхности) вращение осуществляется путем изменения направления подвеса. Фиксированное относительное положение камер позволяет создать единую систему позиционирования и матрицу предварительных преобразований данных. Наряду с возможностью организации предварительного расположения изображений существует проблема, связанная с различиями в результирующих кадрах. Разрешение используемой камеры составляет 800 х 600 для ближнего инфракрасного спектра, 1600 х 1200 видимого диапазона. Использование этих камер требует изменения разрешений путем применения алгоритмов суперразрешения. Алгоритм объединения данных, в том числе изменения размеров изображения, представлен на рисунке 2.
Рисунок 2. Алгоритм объединения изображений с различными пространственными разрешениями
Алгоритм, представленный на рисунке 2, реализован следующим образом:
1. Загрузка пары изображений, снятых в ИК и видимом диапазоне. В работе изображение, полученное в ближнем ИК или видимом диапазоне, выбирается как базовое изображение в зависимости от качества изображения. Чаще всего видимый диапазон будет использоваться в качестве базового слоя. Выбор обоснован тем, что фиксация тестовых данных производится в дневное время. В случае сумеречного или ночного движения в качестве базового слоя необходимо использовать данные, полученные в инфракрасном диапазоне.
2. Определение границ объектов, расположенных в кадре. На этом этапе необходимо исключить возможность увеличения размера границ при изменении размера изображения. Поиск границ может выполняться с использованием детекторов границ и углов на изображениях, которые наиболее часто используются на практике (детекторы Робертса, Собеля, Прюитта, Лапласа, Кирша, Кенни, Харриса, LOG-детектор, DOG-детектор). В данной работе используется детектор с функцией ядра, которая минимизирует вычислительные затраты, поскольку алгоритм должен быть реализован на борту беспилотного летательного аппарата. В качестве такого детектора
в работе будет использоваться детектор Прюитта, который достаточно эффективен при наличии шумовой составляющей и при размытии, как показано в статье [4]. В случае отсутствия границ объектов на изображении этот канал считается дефектным и данные с него не учитываются
3. Изменение размерности блока.
3.1 Увеличение разрешения изображения путем копирования блоков. Для увеличения разрешения применяется алгоритм блочного копирования. Выбор данного подхода связан с тем, что разрешение матриц камер отличается ровно в два раза, что позволяет упростить систему первичного анализа данных, реализованную на
борту беспилотного летательного аппарата. Операция копирования блока реализована следующим образом:
3.1.1 Проверка условия принадлежности пикселя к границе объектов. Если расширяющийся пиксель принадлежит границе объектов, которые были определены на шаге 2, то анализ направления движения границы выполняется путем анализа с ближайшим соседом (рисунок 3):
- копирование пикселя в направлении следующих граничных элементов (рис.3);
- копирование блоков усредненных значений из соседних пикселей (рис. 3).
Рисунок 3. Изменение разрешения изображений, снятых в различных диапазонах
3.1.2. В случае стационарного блока. Копируются все значения пикселей в соседние вновь сформированные блоки.
3.2 Снижение разрешения путем усреднения блоков. Операции по уменьшению разрешения противоположны этапу 3.1. Снижается разрешение путем разбиения изображение на блоки 4 х 4 и усреднения значений внутри блоков.
4. Сглаживание и удаление размытия изображения. Эта операция основана на использовании многокритериальной целевой функции [5]. Для обработки двумерных цифровых сигналов (изображений) в этой статье предлагается
метод,
основанный
на
одновременной
минимизации L2-нормы LLS — s )2
' j
результатов измерений £ ■ ■ оценок £■ ■ и
последовательности квадратов разностей первого порядка оценок строк — £ 1)2 и
' У
столбцов ^ ■- £ )2. Целевая функция
' ]
многокритериального метода имеет вид [8]:
s0,n , S0,1, S1,1, S1, n ,■■■, sm,0, Sm,11v, Sm, n )_ LH LH (si, j Si, j ) +
i=0 j=0
+xl L kj - s-1, j )2+v± L kj - su-1 )2 i=1 j=0 i=0 j=1
(1)
где X- фиксированы положительные коэффициенты.
Удаление размытия основано на применении алгоритма поиска эквидистантной кривой, представленного в работе [6]. Данный алгоритм поэтапно уменьшает границы внутри замкнутой области, что позволяет определить ядро размытия.
5. Преобразование изображения. Базовый канал используется в видимом диапазоне в условиях фиксации кадра в дневное время. Инфракрасный диапазон берется за основу в случае фиксации кадров в сумерках (закат / рассвет) или
ночью. Чтобы выполнить операцию преобразования изображений с использованием проективных преобразований, выполняется поиск контрольных точек. В работе используются перекрывающиеся изображения, и поэтому поиск контрольных точек для преобразования будет осуществляться в каждом из четырех квадрантов изображения. В качестве алгоритма сопоставления используется алгоритм SURF, исследование которого было представлено в работе [7].
6. Окончательное слияние данных путем усреднения значений пикселей в каждой точке изображения.
3. Тестовые данные и пример слияния изображений, полученных мультисенсорной системой
Для объединения данных, полученных с БПЛА, были использованы две пары кадров, записанные с высоты 50 метров. В качестве БПЛА использовался гексакоптер. Изображения получены в дневное время. Размер изображения
составлял 800 х 600 в ближнем инфракрасном диапазоне и 1600 х 1200 в видимом диапазоне. В качестве базового изображения были выбраны видимый диапазон для первой пары и ближний ИК-диапазон для второй пары. Изображение видимого диапазона представлено в виде цветного изображения с каналами RGB. Коэффициент смешивания при объединении изображений составляет 50%. Данные были объединены с использованием алгоритма, предложенного в главе 2.
Рисунок 4. Пример использования ИК-изображений для аудита зданий
Анализ результатов, представленных на рисунке 4, показывает, что в результате применения алгоритма, предложенного в главе 2, стало возможным выполнение операции слияния кадров, полученных в ближнем инфракрасном и видимом диапазонах. К недостаткам можно отнести невозможность избавиться от размытия границ объектов, расположенных в кадре. Данная проблема возникла в результате использования различных оптических систем, вторым возможным фактором, приводящим к размытию, является неточность получения границ объектов, и в результате возникает ошибка при определении точек, используемых для объединения. Другим недостатком является потеря цвета, получаемого в видимом диапазоне, но избавление от этой проблемы путем изменения пропорции смешивания пропорционально уменьшению влияния спектра ближнего ИК-диапазона приводит к потере границ объектов, фиксированных в этом диапазоне, которая станет критической, когда кадры снимаются в течение переходного периода между днем и ночью (в сумерках / на закате).
Выводы
В результате этой работы был разработан алгоритм слияния с изображениями RGB и данными ближнего инфракрасного диапазона. Предложенный алгоритм реализует пошаговую обработку данных, включающую предварительную обработку, суперразрешение, поиск границ объектов и базовых точек в различных оптических диапазонах, поиск соответствий между ними, перенос границ объектов из изображений стационарной системы в изображения системы мобильного мониторинга. Тестирование алгоритма проводилось на данных, полученных с БПЛА. Разрешение изображения составляло 800 х 600 для ближнего инфракрасного диапазона и 1600 х 1200 для видимого диапазона.
Список литературы
1. Otis, B. P., Chee, Y. H., Lu, R., Pletcher, N. M., et al. An ultra-low power MEMS-based two-channel transceiver for wireless sensor networks. In 2004 Symposium on VLSI Circuits. Digest of Technical Papers IEEE Cat. No. 04CH37525, 2004, 2023.
2. Walther, M., et al. 256* 256 focal plane array midwavelength infrared camera based on InAs/GaSb short-period superlattices. Journal of electronic materials V.34.6, 2005, 722-725.
3. Wang, Y., Camargo, A., Fevig, R., Martel, F., et al. Image mosaicking from uncooled thermal IR video captured by a small UAV. In 2008 IEEE Southwest Symposium on Image Analysis and Interpretation. 2008, 161-164. IEEE.
4. Semenishchev, E. A., Marchuk, V. I., Fedosov, V. P., Stradanchenko, S. G., et al. Investigation of methods to search for the boundaries on the image and their use on lung hardware of methods finding saliency map. In Mobile Multimedia/Image
Processing, Security, and Applications, V.9497, 2015, 94970T.
5. Semenishchev, E., Marchuk, V., Shrafel, I., Dubovskov, V., et al. Image denoising using a combined criterion. Mobile Multimedia/ Image Processing, Security, and Applications 2016, Vol. 9869, 2016, p. 98690E.
6. Semenishchev, S., Shraifel, I., Viacheslav, V., Ekaterina, E. Computation of equidistant curve for the image with blurred contours. Electronic Imaging, 6. 2016, 90-96.
7. Rublee, E., Rabaud, V., Konolige, K., & Bradski, G. R. ORB: An efficient alternative to SIFT or SURF. 2011. ICCV, V.11, 2.
ПОВЫШЕНИЕ КАЧЕСТВА УПРАВЛЕНИЯ В КРИЗИСНОЙ СИТУАЦИИ В СОЦИАЛЬНО_ЭКОНОМИЧЕСКОЙ СИСТЕМЕ*_
DOI: 10.31618/ESU.2413-9335.2019.4.68.453 Черешкин Дмитрий Семенович.
Доктор технических наук, профессор Федерального исследовательского центра «Информатика и управление» РАН
IMPROVING THE QUALITY OF GOVERNANCE IN A CRISIS IN THE SOCIO-ECONOMIC
SYSTEM
Chereshkin Dmitry.
Doctor of Engineering, Professor, the Federal Research Center "Informatics and Management" of the Russian Academy of Sciences
АННОТАЦИЯ.
Предлагаются определения основных понятий объекта исследования и основных процессов получения значений базовых показателей и, в особенности в условиях кризисной ситуации в СЭС принимаемых решений на основе оценки риска последствий.
ANNOTATION
It is proposed to define the basic concepts of the object of the study and the basic processes of obtaining the values of the baseline indicators, and especially in the crisis situation in the SES, based on the assessment of Risks consequences.
Ключевые слова. Социально экономическая система, кризисная ситуация, определение понятий, оценка рисков принимаемых решений.
Keywords. Socially economic system, crisis situation, definition of concepts, risk assessment of decisions.
Текущий этап развития современного общества характерен тенденцией усложнения процессов управления, производства и социального взаимодействия всех элементов его структуры и требует все более сложных как в понимании, так и при реализации решений, способных удерживать систему в состоянии устойчивости и эффективной деятельности.
Наибольшие сложности свойственны подобным решениям, принимаемым на высшем уровне иерархии управления - на уровне необходимости решения задач
общегосударственного управления. В этом случае решения должны рассматриваться как стратегические, поскольку эти решения, принимаемые как бы в интересах одной сферы деятельности оказывают существенные и не всегда положительное воздействие на деятельность других систем. Появление класса стратегических
решений и, соответственно, задач, для разрешения которых необходимы такие решения, является первым фактором повышения сложности функционирования и управления деятельностью любой сферы деятельности.
Вторым фактором причиной усложнения «жизни общества» является воздействие на эту жизнь возникающих общемировых и региональных кризисов. Кризисы отражают реакцию окружающей среды на результаты функционирования сферы деятельности и, путем формирования этой средой возмущающих воздействий, стремятся изменить структуру, цели, технологии и результаты деятельности сферы.
Третий фактор - уникальность создаваемых кризисами ситуаций как в деятельности исследуемой сферы, так и в жизнь всего человечества. Это обстоятельство не позволяет использовать накопленный опыт для разрешения
