CC BY
15ТЕХНИЧЕСКИЕ НАУКИ
РЕАЛИЗАЦИЯ АЛГОРИТМА КОРРЕКЦИИ НЕОДНОРОДНОСТИ МАТРИЧНЫХ ЭЛЕМЕНТОВ В МАТРИЦЕ ТЕПЛОВЫХ ИЗОБРАЖЕНИЙ НА ОСНОВЕ MPSOC
Нгуен Нгок Хынг
Аспирант Ву Хоа Тиен к.т.н, Доцент Нгуен Ви Тхуан к.т.н До Ван Фан к.т.н
Технический Университет им. Ле-Куй-Дона.
Вьетнам
IMPLEMENTING NON-UNIFORMITY CORRECTION ALGORITHM FOR INFRARED FOCAL
PLANE ARRAY BASED ON MPSOC.
АННОТАЦИЯ
Неидентичная реакция матричных элементов в матрице тепловых изображений цифрово-оптическо камеры при идентичном входном воздействии существенно влияет на качество полученных изоброжений. Алгоритм коррекции неоднородности матричных элементов в масштабе реального времени оказывается актуально необходимым. С целью реализации данного алгоритма одновременно с другими алгоритмами обработки изображений, работа предлагает вариант реализации алгоритма для получения качественных изображений. Вариант реализации основан на известной технологии MPSoC, сочетающей вычислительно встроенную технологию с FPGA технологией. Технология MPSoC позволяет одновременно осуществовать ряд вычислительных задач с высокой скоростью вычисления, что обеспечивает требование о реальном времени и эффективности обработки изображений в технических системах.
ABSTRACT
Non-Uniformity Responding of Infrared Focal Plane Array significantly effects on image quality. Non-Uniformity Correction algorithm executed in an embedded system with real time requiring is necessary. In order to implement this algorithm work with other image processing, this paper concentrates on method to actualize multiple executings based on MPSoC technology. This is a combination between embedded system and FPGA. Therefore, it has ability of processing simultaneously actions on hardware that compiled by software. Experimental result of NUC algorithm presents real time and accuracy performances.
Ключевые слова: неоднородность матричных элементов; матрица тепловых изображений; технология MPSoC; технология FPGA.
Key words: Infrared Focal Plane Array, Non-uniformity Correction, MPSoC.
Постановка задачи В ностоящее время цифрово-тепловые камеры находят все более широкое применение в технических системах различной социальной области, они служат наблюдение объектов в ночном или слабоосвещенном условии. Составно основными элементами цифрово-тепловой камеры являются матрица тепло-чувствительных элементов, оптическая система (ОС) и электронная плата (ЭП) предварительной обработки изображений. Матрицы тепло-чувствительных элементов (Infrared Focal Plane Array - IFPA) в настоящее время производимы по разным технологиям. Распространенной из них являются малогабаритная матрица (Microbolometer IFPA) без системы охлаждения. Однако такая матрица имеет ряд существенных недостатков, связанных с нестабильной реакцией каждой пиксели матрицы при одном и том же освещении через ОС и с плаванием однородности матричных элементов (МЭ) под действием температуры среды. Эти недостатки приводят к появлению, так называемых,
«мертвых пикселей» и в дальнейщем к ухудшению качества изображений. Нестабильность реакции МЭ под стабильным входным воздействием называется неоднородностью.
Ставится задача изучения, которая решает вопрос фиксирования и коррекции неоднородности каждого МЭ программно-алгоритным способом при работе цифрово-тепловой камеры.
Изучая многочисленные мировые работы, связанные с данным вопросом в последнее время, отметим, что алгоритм NUC (Non-uniformity Correction) может быть реализован по двум направлениям:
Первое - предлагается использовать эталонно -абсолютный черный ящик (ЭАЧЯ) для калибрации однородности МЭ [1,2]. Преимуществами такого способа являются простотой алгоритма коррекции неоднородности каждой пиксели, повышение точности и скорости обработки изображений, чем самым удовлетворяет требованию обработки изображений в реальном времени. Однако, недостатки первого способа заключаются в
необходимости наличия калибратора (ЭАЧЯ) перед каждой подготовкой камеры к работе и в неустранимом плавании однородности МЭ при изменении температуре среды.
Второе - оно основано на статистике полученных изображениях, т.е. осуществляется математическая статистика характерных изменений однородности МЭ в изображениях и с помощью алгоритмов Neural Network или GA корректируется их неоднородность прямо при работе камеры (онлайн коррекция). Однако, существенной недостаткой второго способа является невыполнение требования обработки изображений в реальном времени из-за достаточно большого времени вычисления в этих алгоритмах. Кроме того, онлайн коррекции неоднородности МЭ не отстраняет явление остаточности и ухудшения контрастности изображения при остановке объекта наблюдения в автоматических следящих системах [7]. Причины возникновения перечисленных недостаков алгоритмов NUC в основном состоят в отсутствии эталонных изображений. Вместо их, используются различные цифровые фильтры в определении желающей однородности для любой пиксели на основе вычисления средней однородности соседних пикселей.
Научная практика доказывает, что многие ученые мира тратят достаточно большое время на устранение этих недостатков, но вопрос еще не решается польностью. Одни результаты изучения улучшают качества изображения, но усложняют алгоритмов обработки, что не удовлетворяет требованию о реальном времени. Другие результаты достигают и качества и реального времени, но автоматически расширяют материальную часть технической системы, что неприемлено для систем, ограниченных по габаритам. В таком случае рекомендуется применение первого способа.
По некоторым изучениям, чтобы решать вопрос о реальном времени и ограничении габаритов технической системы, коррекция неоднородности МЭ осуществляется одновременно программным и аппаратным путем на основе FPGA технологии [1,7]. Необходимо отметит, что FPGA технология тоже имеет некоторые недостатки, касающиеся к ограничению аппаратных ресурсов. Например, ограничение объема внутренной памяти при достаточно большой программе обработки изображений.
С целью устранения недостатков FPGA технологии, данная работа рекомендует применять MPSoC технологию, которая сочетает вычислительно-встроенную технологию с FPGA технологией. Такая технология имеет ряд
достоинств, как гибридность перехода из программной работы к аппаратной и обратно, так и высокая скорость вычисления с малой внутренной памяти. Видимо, что MPSoC технология отвечает почти все требования вопроса обработки изображений в реальном времени, даже и требование о малогабаритности технической системы.
Исходя из вышего анализа, в данной работе поставлена задача изучения возможности реализации алгоритма коррекции неоднородности МЭ матрицы тепловых изображений на основе применения MPSoC технологии в технических системах с ограничением габаритов, работающих в реальном времени.
Решение задачи
1. Алгоритм коррекции неоднородности МЭ
Скорректированная однородность пикселей (МЭ) в матрице тепловых изображений ^РА) описывается линейным выражением [2]:
у(^С = + ьр (1)
Где: - реакция пиксели с координатами ( I']) матрицы в момент к, соответствующая
(ч)
входному воздейству х .
Целью алгоритма КЫиС является нахождение
( ' )
текущего а усиления и компенсированной доли ь( ' ) в каждой пиксели, чтобы корректировать их реакцию наилучшим образом. Это нахождение выражается следующей формулой
х(шСк = Сат(1Лу(1'п + (2)
При этом, коэффициенты ват^' = 1/а(1'^ и 0[[5е1(1'^ = -Ь(1'^/а(1'^ фиксированно
определены при онлайн коррекции или с помощью ЭАЧЯ.
Довольно простый и эффективный метод определения коэффициентов ( в а т(1'^, 0[[Бе1(1'-')) предпочитают использование не менее двух опорных точек, сгенерированных ЭАЧЯом, чтобы получить соответствующую выходную реакцию. После того, применяют алгоритм линейной регресии, чтобы найти коффициенты ( ва т(^),0//зеС(^)).
Алгоритм NUC проходит 3 шага:
1й шаг: для каждой пиксели матрицы теплового изображения в двух эталоно-опорных температурах (Т1, Т2) осуществляется взятие весовых пробов реакции и их усреднение, как показано на рис. 1.
Рис.1. Определение усреднённого веса реакции МЭ
2й шаг: осуществляется регулирование веса для усредненной весовой характеристики в 1-ом шаге.
каждой пиксели с соответствующим Отрегулированный вес пиксели имеет линейный
коэффициентом усиления определенным характер, как показан на рис.2.
алгоритмом линейной регресии с помощью
Рис.2. Регулирование веса реакции МЭ коэффициентом усиления.
3й шаг: осуществляется регулирование веса по Компенсационная характеристика имеет вид, компенсирующей доли ОДЪе^, определенной с показанный на рис.3. помощью алгоритма линейной регресии.
Рис. 3. Регулирование веса реакции МЭ компенсационной долей.
После трех шагов регулирования все пиксели матрицы тепловых изображений будут иметь сравнительно идентичную реакцию перед одной и той же входным воздействием. Первый шаг должен быть выполнен перед подготовкой тепловой камеры к работе, с помощью ЭВМ. Второй и третий шаги будут осуществлены в процессе работы камеры с помощью специального вычислителя, работающего на основе МР8оС технологии.
2. Реализация алгоритма коррекци неоднородности пиксели по MPSoC
Для того, чтобы обеспечить требования о реальном времени при обработке и адаптивности тепловых изображений с разными видео стандартами, технология МР8оС одновременно выполняет: распределение потоков данных по разным алгоритмам приема и обработки изображений; вычисление по алгоритмам. Структурная схема реализации технологии МР8оС приведена на рис.4.
MPSOC
Quad Core Cortex-A53 Dual Core Cortex-R5 (Processor System)
Рис.4
В блоке «Video Input», данные разных видеостандартов преобразуются в нужный формат перед тем, как они будут переданы в блоке «VDMA» (Video Direct Memory Access) и сохранены в операционной памяти «DDR». Последующая обработка может быть осуществлена в микропроцессорах «PS» (Processor System) или ускорена в аппаратном блоке «PL» (Programable Logic).
Коэффициенты (Gain(l'i\ Offsetбудут записаны в памяти FLASH и копированы в «DDR» при осуществлении алгоритма NUC. Результаты обработки передаются последовательно в блоки
«VDMA», «Video Input» и «Display».
Алгоритм NUC, реалированный по технологии MPSoC и выражению (2), описывается следующими програмнымми кодами:
//Чтение (Gain(l'i\ Offset^), записать в Flash и копировать в RAM.
//Паралельно вычислить на аппаратной основе ПЛИТа (FPGA)
#pragma HLS PIPELINE #pragma HLS LOOP TRIPCOUNT min=1 max=409600
For i = 0 to Height-1 For j = 0 to Width-1
Pixel_Temp[i * Height + j] = Gain[i * Height + j]*Pixel_In[i * Height + j] Pixel_NUC[i * Height + j] = Pixel_Temp[i * Height + j]+Offset[i * Height + j]
Выполнение алгоритма NUC для всех пикселей матрицы тепловых изображений должно быть повторно циклическим (Width*Height). Например, если размер матрицы составляет 640х480 пикселей, то нужно 307.200 повторных циклов вычисления. Если все вычисления осуществляются одновременно, то требуется довольно большой ресурс блока «PL», что не выполнимо в одной интеральной схеме (IC). Поэтому в данной работе прелагает применять алгоритм PIPELINE с рациональным распределением блока «PL» по вычисленным функциям.
Структурная схема рещения алгоритма NUC приведена на рис.5, по которой все повторные циклы вычисления деляются на N параллельные циклы. В каждом параллельном цикле, вычисление NUC осуществляется по PIPELINE алгоритму (рис.6). Для обеспечения возможности параллельного доступа, данные пикселей и их коэффициенты Gainj Offset(ij скопируются с памяти «DDR» в независимую операционную память «блок RAM». Отсюда микропроцессоры
выполняют необходимые логические операции одновременно.
Рис.5. Структурная схема реализации алгоритма NUC на основе MPSoC
Read Data MULT ADD Write Data
Read Data MULT ADD Write Data
Read Data MULT ADD Write Data
Read Data MULT ADD Write Data
Рис. 6. Логика алгоритма вычисления PIPELINE
Достоинством предлагаемого метода обработки является достаточно высокая скорость вычисления при экономии материальных ресурсов системы. Недостаток метода заключается в затруднении реализации сложных математических алгоритмов с объемным входным потоком данных.
Несмотря на этот недостаток, для алгоритма МиС, предлагаемого использовать в данной работе, сформированный комбинированный метод полностью отвечает вопрос реализации. Число N рекомендуется выбирать экспериментально с учетом аппаратных ресурсов технической системы и требуемой скорости решения задач.
На следующем примере, выбрано оптимальное число N=16, с помощью которого алгоритм NUC полностью осуществляется параллельно на основании FPGA и MPSoC технологии. Скорость обработки изображений существенно увеличается, обеспечивая требование о реальное время и ограничении габаритов устройства. 3. Эксперименты и результаты В эксперименте были использованы: матрица тепловых изображений PICO640-GEN2 фирмы ULIS (France); плата MPSoC UltraScale+ ZU4EV-1E фирмы XILINX в цели вычисления алгоритма NUC. Характеристики и параметры этих устройств приведены в таблице 1 и 2.
Таблица 1
Параметры матрицы тепловых
Наименование Значение Наименование Значение
Разрешение 640x480 Размер пиксели 17дт x 17дт
Полоса пропускания LWIR(8-14)^m Частота съемки 60Hz (1 output)
NEDT(30Hz,F/1,300K) < 50mK Операц. температура - 40oC - +85 oC
Таблица 2
Технические параметры модули MPSoC. _
Наименование Значение Наименование Значение
Module UltraScale+ ZU4EV-1E Processsor Quad-Core ARM Cortex-A53
RAM 2GB DDR4 SDRAM Dual-core ARM Cortex-R5
e.MMC 8GByte Graphics Processor Mali-400 MP2
FLASH 128 MByte Logic Cells 192K+
Block RAM 128(blocks) ; 4.5Mb DSP Slices 728
Flip-Flops 175K+ LUTs 87K+
Тепло-чувствительная матрица Р1С0640- данные на выходе пикселей, находящихся в окне
вБМ2 установлена перед ЭАЧЯом, имеющим размером (50х50) приведены на рис.7. Заметим, что
шаговое изменение температуры на 1 градус в реакции пикселей от одной и той же теплового
диапазоне от 30 до 55 градусов. Полученные воздействия оказываются разными.
Рис. 7. Реакции пикселей матрицы P1CO640-GEN2 от тепловых воздействий
После получения данных о реакции пикселей регресии для одной пиксели. Далее вычисляются от эталонно-входного воздействия осуществляется коэффициенты усиления и компенсации алгоритм линейной регресии для каждой пиксели, (ватпо (2), чтобы корректировать
чтобы найти коэффициенты усиления а^ и компесационные доли Ь^ по выражению (1). На рис.8 показан результат вычисления линейной
неоднородность пикселей в тепло-чувствительной матрице.
91й
ню 1 оо 1№ 170
1 LiÜ
IM
1*0
Весовая реакция пиксели * MtaiRLuiring Regne HJC» |
л ■■ *
.j^F + Эталснно-еходная температура (град.)
13Ü
ЗО
35
JO
Л5
50
Рис.8. Результаты вычисления линейной регресии для одной пиксели
Результаты обработки изображения, алгоритма коррекции неоднородности по MPSoC сравнимые в случаях отсутствия и наличия технологии показаны на рис 9.
а) Изображения без коррекции
б) Изображения с коррекцией
100 120 140
180 200 220 240 260
в) Гистограмма изображения без коррекции г) Гистограмма изображения с коррекцией
Рис.9. Результаты коррекции неоднородности пикселей
Анализируя результатов коррекции, заметим:
- Изображение, скорректированное по алгоритму NUC на основе MPSoC технологии, имеет граздо лучшее качество по сравнению с изображением без коррекции (рис.9а,б).
- Сравнение гистограмм (рис.9в,г) показывает, что изображение после коррекции имеет существенно высокую контрастность относительно котрастности изображения без коррекции. Это связано с тем, что пиксели изображения после коррекции занимают полностью цифровой
диапазон от 0 до 255, а в изображении без коррекции пиксели занимают только от 50 до 180.
Таблица 3 показывает аппаратные ресурсы, занимаемые алгоритмом NUC, который реалирован на основе MPSoC UltraScale+ ZU4EV-1E. Время вычисления алгоритма NUC в «PL» блоке уменьшается в 13 раз по сравнению с вычислением в встроенном микропроцессоре ARM Cortex-A53. Время вычисления в «PL» блоке составляет 2,67мсек, а время программного вычисления в MPSoC составляет 34,35мсек.
Таблица 3.
Аппаратные ресурсы, занимаемые алгоритмом NUC на UltraScale+ ZU4EV-1E основе
Resource Used Total % Utilization
DSP 12 728 1.65
В RAM 32 128 25
LUT 17386 87840 19.79
FF 23289 175680 13.26
Видно, что алгоритм NUC занимает незначительную материальную часть MPSoC (максимально 25% по табл.3). Основную оперативную память для обработки изображения сыграет DDRAM большим объемом. Эта память позволяет предельно уменьшать объем Block RAM в FPGA части.
Проводя сравнение с работами [1,5,7] по ресурным и временным затратам при осуществлении алгоритма NUC на основе чистой FPGA, пришли к выводу, что предлагаемый метод коррекции неоднородности пикселей матрицы тепловых изображений в данной работе имеет ряд
отличительных достоинств, как показано в таблице 4.
Заключение
В заключении можно отметить некоторое отличительное положение в данной работе.
Первое: работа предлагает решать задачу коррекции неоднородности каждой пиксели (МЭ) матрицы тепловых изображений по NUC алгоритму на аппаратной основе MPSoC вместо FPGA. Теоретические и практические результаты показывают ряд преимуществ новой разработки по сравнению с предшествующими. Эффективности предлагаемой разработки заключаются в заметном увеличении быстродействия процесса обработки и качества изображений, и в рациональном использовании ресурсов технической системы при ограничении её габаритов.
Второе: успешное решение NUC алгоритма на основе MPSoC в данной работе позволяет аналогично применять такую разработку в решении ряд других специальных технических задач, как задача компенсации влияния температуры окружающей среды на работу тепловой камеры, так и задача автоматического регулирования усиления во видео приемном тракте.
Литература
1. Kong, L., et al. IRFPA real-time nonuniformity correction using the FPGA technology.
Таблица 4.
in Sixth International Conference on Material Science and Material Properties for Infrared Optoelectronics. 2003. International Society for Optics and Photonics.
2. Zhou, H., et al., Solution for the nonuniformity correction of infrared focal plane arrays. Applied Optics, 2005. 44(15): p. 2928-2932.
3. Fan, F., et al., A scene based nonuniformity correction algorithm for line scanning infrared image. Optical Review, 2014. 21(6): p. 778-786.
4. Lv, B., et al., Statistical scene-based non-uniformity correction method with interframe registration. Sensors, 2019. 19(24): p. 5395.
5. Redlich, R., G. Carvajal, and M. Figueroa. An fpga-based real-time nonuniformity correction system for infrared focal plane arrays. in ASAP 2011-22nd IEEE International Conference on Application-specific Systems, Architectures and Processors. 2011. IEEE.
6. Redlich, R., et al., Embedded nonuniformity correction in infrared focal plane arrays using the Constant Range algorithm. Infrared Physics & Technology, 2015. 69: p. 164-173.
7. Rong, S., et al., An improved non-uniformity correction algorithm and its hardware implementation on FPGA. Infrared Physics & Technology, 2017. 85: p. 410-420.
Сравнение результатов решения алгоритма NUC.
Авторы в работе Использованная технология Разрещение IRFPA Frame rate
Kong Lingbin [1] FPGA 320x240 ~б0 fps
Rodolfo Redlich [5] FPGA 720x480 ~30 fps
Rong Shenghui [7] FPGA 256x256 ~180 fps
Мы MPSoC 640x480 ~370 fps
ЭФФЕКТИВНАЯ ОРГАНИЗАЦИЯ ПРОИЗВОДСТВА НА ПРЕДПРИЯТИИ ПО ПРОИЗВОДСТВУ КОНДИТЕРСКИХ ИЗДЕЛИЙ
Ахмедова Эсмира Нариман гызы
доктор философии по математике Абдулазизова Нурлана Хаким гызы
магистрант Западно-Каспийский Университет, Баку, Азербайджан
EFFECTIVE ORGANIZATION OF PRODUCTION AT THE CONFECTIONERY
PRODUCTION ENTERPRISE
Akhmedova Esmira Nariman qizi
Doctor of Philosophy in Mathematics Abdulazizova Nurlana Hakim qizi
Master student Western Caspian University, Baku, Azerbaijan
АННОТАЦИЯ
Рассматривается задача эффективной организации производства на предприятии по производству кондитерских изделий. Построена экономико-математическая модель задачи и применен симплекс-метод к решению задачи. Определены оптимальный план, доход и максимальные расходы сырья.
