CC BY
3
ЭЛЕКТРОНИКА, ИЗМЕРИТЕЛЬНАЯ ТЕХНИКА _И РАДИОТЕХНИКА_
ELECTRONICS, MEASURING EQUIPMENT AND RADIO ENGINEERING
УДК 681.78: 004.032.26
doi: 10.21685/2072-3059-2023-4-8
Оценка эффективности идентификации цели интеллектуальным тепловизионным прибором на основе предварительно обученной сверточной нейронной сети
К. Хелвех1, А. А. Кобозев2, А. В. Никоноров3
1,2Пензенский филиал военной академии материально-технического обеспечения имени генерала армии А. В. Хрулева, Пенза, Россия 3Пензенский государственный университет, Пенза, Россия
2kobo81@yandex.ru, 3Nikonorovv62@mail.ru
Аннотация. Актуальность и цели. Стремительное развитие технологии последних лет значительно расширило номенклатуру предлагаемой элементной базы теплови-зионных приборов и позволило применять различные автоматизированные системы идентификации целей, в том числе и на основе сверточных нейронных сетей. Существующие методики оценки дальности действия тепловизионных приборов основаны на критерии Джонсона, используемого для оценки системы «цель - тепловизионный прибор - оператор». Вопрос применения их к системам «цель - тепловизионный прибор - система распознавания» в настоящее время не решен. В условиях повышения доли задач, решаемых интеллектуальными системами технического зрения на основе сверточных нейронных сетей, важной проблемой остается обоснование к ним рациональных требований с использованием критериев, учитывающих особенности восприятия изображений нейронными сетями. Целью работы является определение критериев, позволяющих достоверно оценивать способность идентифицировать цель интеллектуальным тепловизионным прибором на основе сверточных нейронных сетей. Материалы и методы. На основе наиболее эффективных моделей сверточных нейронных сетей, предварительно обученных на достаточном количестве тепловизи-онных изображений семи типов целей, статистическими методами проанализированы такие параметры изображения цели, как SNR, PSNR и SCR. На основе полученной статистической базы проанализированы коэффициенты корреляции вероятности распознавания от параметров изображения для целей, находящихся на различной дальности и имеющих различную площадь относительно всего изображения. Результаты. Получены уравнения регрессии, позволяющие на основе геометрических параметров цели £ц и пикового отношения сигнала к шуму изображения PSNR определять вероятностью 50 и 100 % идентификации цели сверточной нейронной сетью. Уточнена методика оценки 50 и 100 % дальности идентификации цели интеллектуальным
© Хелвех К., Кобозев А. А., Никоноров А. В., 2023. Контент доступен по лицензии Creative Commons Attribution 4.0 License / This work is licensed under a Creative Commons Attribution 4.0 License.
тепловизионным прибором на основе предварительно обученной сверточной нейронной сети. Выводы. Полученные зависимости позволяют на основе так называемых «геометрических параметров», а именно фокусного расстояния объектива, размера пикселя матрицы приемника излучения, а также размеров цели, достаточно точно рассчитывать значения минимальной дальности идентификации целей с вероятностью 50 и 100 %, ошибка не превышает 14 %, а также определять минимально необходимое отношение PSNR-изображения, при котором нейронная сеть способна обеспечивать стабильность при идентификации целей.
Ключевые слова: тепловизионные приборы, дальность идентификации, фокусное расстояние, размер пикселя фотоприемного устройства, сверточная нейронная сеть, качество изображения
Для цитирования: Хелвех К., Кобозев А. А., Никоноров А. В. Оценка эффективности идентификации цели интеллектуальным тепловизионным прибором на основе предварительно обученной сверточной нейронной сети // Известия высших учебных заведений. Поволжский регион. Технические науки. 2023. № 4. С. 84-93. doi: 10.21685/2072-3059-2023-4-8
Evaluation of the target identification effectiveness by an intelligent thermal imaging device based on a pre-trained convolutional neural network
K. Helveh1, A.A. Kobozev2, A.V. Nikonorov3
1,2Penza branch of Military Academy of Logistics named after Army General A.V. Khrulev, Penza, Russia 3Penza State University, Penza, Russia 2kobo81 @yandex.ru, 3Nikonorovv62@mail.ru
Abstract. Background. The rapid development of technology in recent years has significantly expanded the range of the proposed element base of thermal imaging devices and allowed the use of various automated target identification systems, including those based on convolutional neural networks. The existing methods for assessing the range of thermal imaging devices are based on the Johnson criterion used to evaluate the "target - thermal imaging device - operator" system; the issue of their application to the "target - thermal imaging device - recognition system" systems is currently unresolved. In the conditions of increasing the share of tasks performed by intelligent vision systems based on convolutional neural networks, an important task remains to substantiate rational requirements for them, using criteria that take into account the peculiarities of image perception by neural networks. The purpose of the study is to determine criteria that allow to reliably assess the ability to identify a target with an intelligent thermal imaging device based on convolution-al neural networks. Materials and methods. Based on the most effective models of convolutional neural networks, previously trained on a sufficient number of thermal imaging images of seven types of targets, such parameters of the image containing the target images as SNR, PSNR and SCR were analyzed by statistical methods. On the basis of the obtained statistical base, the correlation coefficients of the recognition probability from the image parameters for targets located at different ranges and having different areas relative to the entire image are analyzed. Results. Regression equations are obtained that allow, based on the geometric parameters of the target - Sц and the peak signal-to-noise ratio of the image -PSNR, to determine the probability of 50% and 100% identification of the target by a convolutional neural network. The methodology for estimating 50% and 100% of the target identification range by an intelligent thermal imaging device based on a pre-trained convo-lutional neural network has been refined. Conclusions. The obtained dependencies make it possible, based on the so-called "geometric parameters", namely the focal length of the
lens, the pixel size of the radiation receiver matrix, as well as the size of the target, to accurately calculate the values of the minimum target identification range with a probability of 50% and 100%, the error does not exceed 14%, and also to determine the minimum required PSNR ratio of the image, in which the neural network is able to provide stability when identifying targets.
Keywords: thermal imaging devices, identification range, focal length, pixel size of the photodetector, convolutional neural network, image quality
For citation: Helveh K., Kobozev A.A., Nikonorov A.V. Evaluation of the target identification effectiveness by an intelligent thermal imaging device based on a pre-trained convo-lutional neural network. Izvestiya vysshikh uchebnykh zavedeniy. Povolzhskiy region. Tekhnicheskie nauki = University proceedings. Volga region. Engineering sciences. 2023;(4):84-93. (In Russ.). doi: 10.21685/2072-3059-2023-4-8
Одним из направлений повышения эффективности тепловизионных приборов (ТВП) является применение автоматизированных систем идентификации объектов (целей) на основе нейронных сетей различной архитектуры, имеющих ошибки идентификации от 3 до 5 %. Отношение дальности обнаружения к дальности идентификации в системах с применением нейронных сетей может быть выше, чем у систем без их применения примерно на 30 %. Так же как и для человека, при обнаружении и идентификации изображений нейронными сетями существенное значение будут иметь равномерность фона и наличие шумов [1, 2]. В работах [1, 2] были проведены исследования по оценке отношения сигнал/шум (SNR) в зависимости от дальности и теплового контраста цели и влияния контраста изображения и отношения SNR на вероятность распознавания цели нейронной сетью. Кроме отношения SNR и контраста изображения на вероятность идентификации цели как человеком, так и нейронной сетью, по нашему мнению, могут оказывать влияние такие параметры, как:
- пиковое отношение сигнал/шум (PSNR), которое представляет собой выражение для соотношения между максимально возможным значением (мощностью) сигнала и мощностью искажающего шума, влияющего на качество его представления;
- обобщенная характеристика неравномерности изображения (отношение сигнал/неравномерность - SCR), учитывающая влияние неравномерности фона и расположение цели на возможность ее обнаружения [3]:
SNR = 10 log
i=1Z,=11 (i, j)2
zМ z N=1((i(i, j) - *(i, j))2
(1)
PSNR = 10 • log10 f-255 I, (2)
10 ^ MSE 1
1 M N
MSE =—ZZ [I(i' j) - K(i' j)]2 ' (3)
t=1 f=1
ImaxIt -meanIb\ SCR = ]--t-^, (4)
clutter
( , N V/2
clutter =
N,
- z
С г=1
G
(5)
/
где I - сигнал (яркость пикселя по i-й строке и j-му столбцу) изображения, содержащий шум; K - яркость пикселя исходного изображения; MSE - сред-неквадратическая ошибка яркости по всему изображению; oi - стандартное отклонение сигнала (яркости пикселя) n-й ячейки; М, N - размер изображения в пикселях по высоте и ширине соответственно; Nq - количество смежных ячеек на изображении, ячейка определена как квадрат со стороной, равной двум критическим размерам цели.
В результате проведения вычислительных экспериментов по распознаванию изображений были подобраны параметры обучения (табл. 1), при которых точность обучения была наилучшей. Средняя точность обнаружения вырастает до своего уровня максимум в течение первых нескольких часов, все остальное время прирост точности может составить максимум 5-10 %. Скорость повышения точности изменяется с количеством просчитанных итераций. Скорость расчета итераций напрямую зависит от аппаратной части. Для проведения эксперимента была использована видеокарта GeForce GTX 980 4 GB. Результаты распознавания сверточными нейронными сетями с различной архитектурой объектов тестовой выборки представлены на рис. 1.
Таблица 1
Параметры сети, используемые при обучении
Сеть Размер входного изображения Время обучения (мин) Размер сети (МБ) Max Epochs Minibatch Initial Learn Rate Тип функции активации
alex 227x227 320 206,8 100 5 0,0001 sgdm
google 224x224 550 21,8 90 10 0,0001 sgdm
Vgg-19 224x224 1070 155,2 110 10 0,0001 sgdm
Resnet-101 224x224 850 507,5 100 10 0,001 sgdm
100
!_|
80 60 40 20 0
9П148 1РЛ239 КамАЗ-4326 УАЗ-452 УРАЛ-4320 НОНА-СБК БМ-21 ■ AlexNet ■ google I Resret-101 Vgg
Рис. 1. Результаты распознавания сверточными нейронными сетями с различной архитектурой объектов тестовой выборки (не входящей в обучающую базу данных)
Результаты, полученные при создании и обучении нейронных сетей с различной архитектурой, показывают, что все они имеют достаточно высокую вероятность распознавания объектов - в пределах от 89,9 до 94,8 %.
Наиболее высокие результаты получены с использованием нейронных сетей на базе архитектур Resnet-101 и Google net, которые показали вероятность распознавания в среднем выше на 4 % по отношению к нейронным сетям на базе архитектур Alex net и VGG-19. В дальнейшем при проведении исследований использовалась архитектура сети на основе Google net. Для отбора наиболее значимых факторов были проведены исследования влияния SNR, PSNR и SCR на вероятность распознавания изображения нейронной сетью.
Пример значения величины 50 % и более вероятности распознавания цели нейронной сетью в зависимости от таких параметров, как площадь цели, величина пикового отношения сигнала к шуму PSNR, стандартного отношения сигнала к шуму SNR, а также неравномерности изображения SCR, представлен в табл. 2. Значения коэффициентов корреляции вероятности распознавания цели сверточной нейронной сетью от значений PSNR, SNR и SCR для целей с различной площадью представлены в табл.3.
Таблица 2
Пример части статистических данных по анализу вероятности идентификации цели УРАЛ 4320 от различных параметров изображения
Площадь цели, % от всего изображения Высота, пк Ширина, пк PSNR SNR SCR Вероятность распознавания, %
26 100 200 19,25 10,08 6,85 100
100 200 12,68 3,51 6,85 99,59
100 200 12,09 2,92 6,85 97,48
100 200 11,64 2,47 6,85 71
100 200 11,39 2,23 6,85 59,16
100 200 11,18 2,17 6,85 52,57
7,5 54 108 27,97 18,8 11,84 99,95
54 108 13,99 4,82 11,84 95,7
54 108 12,61 3,44 11,84 85,27
54 108 11,64 2,47 11,84 66,12
54 108 11,51 2,33 11,84 50,02
1 20 37 36,91 27,74 12,06 95
20 37 19,96 10,8 12,06 92,51
20 37 19,96 10,8 12,06 80
20 37 18,29 9,24 12,06 50
Таблица 3
Значение коэффициентов корреляции вероятности распознавания от параметров изображения для различных площадей цели
Параметр Площадь цели, % от всего изоб ражения
26 14 7,5 3,5 1 0,5
PSNR 0,59 0,63 0,63 0,61 0,66 0,58
SNR 0,44 0,55 0,60 0,53 0,66 0,54
SCR 0,04 -0,02 -0,05 0,07 -0,07 0,04
Анализ полученных результатов показывает, что коэффициент корреляции неравномерности изображения SCR не является статистически значимым (при уровне значимости 0,05). Коэффициенты корреляции пикового отношения сигнала к шуму PSNR и стандартного отношения сигнала к шуму SNR имеют примерно одинаковые значения, но корреляция PSNR выше на 5-34 % (в зависимости от площади цели) величины корреляции SNR. Кроме того, параметр PSNR имеет меньший в 1,4-2,7 раза коэффициент вариации, чем параметр PSNR. Построение уравнения регрессии производилось в соответствии с общепринятыми методиками [4]. Оценка параметров выбранной модели проводилась с использованием специализированного программного обеспечения CurveExpert, которое имеет большое количество моделей регрессионного анализа. Пример зависимости (рис. 2) величины PSNR от площади изображения для 100 % вероятности распознавания целей, у которой наилучшие значения R2:
- для P = 50 % и более, R2 = 96 %:
PSNR50CV0) =
1
3,1 -10-2 +11,3 10-3 • 1и(5ц%)
- для P > 100 %, R2 = 97 %:
PSNR100CV0) =
2,6 • 10-2 + 7,3 • 10-3 • 1и(5ц%)
(6)
(7)
Пространственное разрешение ТВП оценивается пороговым значением пространственной частоты штриховой эквивалентной миры, при которой наступает порог идентификации цели [5]. При этом принимается, что вероятности разрешения эквивалентной миры и идентификации цели одинаковы.
Площадь цели в процентах о г площади : Рис. 2. Зависимость величины PSNR от S цели для P > 100 %
Штриховая мира для тепловизионных приборов изготавливается путем создания отверстий (полос) высокой точности в металлических листах раз-
1
личной формы. Если эту миру поместить перед излучателем (абсолютно черным телом), то тепловизор может видеть все полосы отдельно друг от друга или полосы могут сливаться. В первом случае считается, что мира разрешима, т.е. цель идентифицирована, а во втором - неразрешима, т.е. цель не идентифицирована.
Вследствие этого пороговый уровень идентификации цели в ТПВ-приборе определяется значением пространственной частоты эквивалентной миры при условии равенства разности радиационных температур «цель-фон» и соседних полупериодов миры. Пространственная частота / имеет смысл как величина, обратная размеру объекта, и связана с дальностью I:
V • [' • Л™
Ця) =——, (8)
N
где Ц - дальность распознавания (дистанция до объекта), м; V - пространственная частота 1 пикселя, 1/мм; /' - фокусное расстояние; Лкр - критический размер объекта; N - количество активных элементов (пикселей), шт.
Для описания условий восприятия информации нейронными сетями для 50 и 100 % вероятности идентификации цели в зависимости от размеров цели и уровня шума предлагаются зависимости (7) и (8). Тогда дальность идентификации цели может быть найдена по зависимости
¿(V.) = v-f
ц--100%, (9)
а ■ b ■ £ц„/0
где £Ц - площадь цели, м2; £Ц% - площадь цели, % от всего поля зрения
прибора; а и b - количество пикселей матрицы по горизонтали и вертикали; V - пространственная частота 1 пк, 1/мм.
Для оценки возможности повышения дальности идентификации целей ТВП за счет применения сверточных нейронных сетей и проверки работоспособности полученных уравнений регрессии было проведено экспериментальное исследование автономной системы идентификации на основе ТВП Flir E40 длинноволновой части инфракрасного диапазона и алгоритма распознавания на базе сверточной нейронной сети. Для изображений вычислялось отношение площади цели относительно площади всего изображения 5ц% и по
найденному значению для 50 и 100 % вероятности идентификации по зависимостям (6) и (7) определялось минимально необходимое значение отношения сигнала к шуму PSNRрасч в распознаваемом изображении, которое затем сравнивалось с реальным значением PSNRэкс распознаваемого изображения.
Анализ результатов (рис. 3 и 4) показывает, что дальность 50 % вероятности идентификации целей нейронной сетью (CNN) больше дальности идентификации по критерию Джонсона (человеком) на 30-50 % в зависимости от типа цели: для цели КАМАЗ - на 50 % относительно дальности по критерию Джонсона, БМ-21 на 30 %, НОНА-СВК на 40 %, УРАЛ на 50 %, МТЛБ на 30 %, УАЗ на 40 %, 9П148 на 30 %. В среднем по всем типам целей сверточная нейронная сеть показывает большую на 38,57 % дальность идентификации, относительно дальности идентификации по критерию Джонсона.
Рис. 3. Дальности 50 % (а) вероятности идентификации целей по критерию Джонсона и нейронной сетью (CNN)
Рис. 4. Дальности 100 % вероятности идентификации целей по критерию Джонсона и нейронной сетью (CNN)
Дальность 100 % идентификации целей нейронной сетью значительно больше дальности идентификации по критерию Джонсона (человеком), для некоторых целей (например, КАМАЗ) - в 3,1 раза, для других типов целей -от 2,2 до 2,9 раза: для БМ-21 дальность 100 % идентификации нейронной сетью больше в 2,3 раза дальности 100 % по критерию Джонсона; для НОНА-
СВК и УРАЛ - в 2,7 раза; МТЛБ - в 2,3 раза; УАЗ - в 2,9 раза и для 9П148 -в 2,2 раза. Площадь цели не всегда оказывает существенное влияние на увеличение дальности идентификации цели нейронной сетью. Так, наибольшие площади цели 25,28; 23,7; 23,58 м2 имеют цели КАМАЗ, БМ-21 и НОНА-СВК соответственно, а меньшие (более чем в 2 раза) площади 10,6 и 11,4 м2 УАЗ и 9П148. Однако разница в увеличении дальности в среднем отличается всего лишь в 1,06 раза. Расчетные значения дальности идентификации цели нейронной сетью отличаются от экспериментальных не боле чем на 14 % (для цели УРАЛ), наименьший разброс в 9 % у цели НОНА-СВК, среднее по всем целям 11,57 %, причем во всех случаях расчетная дальность меньше экспериментальной.
Пиковое отношение сигнал/шум PSNR для изображений, на которых нейронная сеть идентифицировала цели с вероятностью 50 %, составляла от 39,55 до 41,24 dB, а для 100 % вероятности от 42,53 до 44,34 dB. В среднем PSNR для 50 % вероятности составил 40,41 dB, а для 100 % вероятности 43,45 dB.
Расчетные значения минимального необходимого значения PSNR для 50 % вероятности идентификации цели отличались от значения PSNR для реальных изображений в среднем на 4 %, а для вероятности идентификации на 5 %. Причем во всех случаях расчетные значения отношения PSNR были меньше реальных.
Заключение
Таким образом, полученные зависимости позволяют на основе так называемых «геометрических параметров», а именно фокусного расстояния объектива, размера пикселя матрицы приемника излучения, а также размеров цели, достаточно точно рассчитывать значения минимальной дальности идентификации целей с вероятностью 50 и 100 %, ошибка не превышает 14 %, а также определять минимально необходимое отношение PSNR-изоб-ражения, при которых нейронная сеть способна обеспечивать стабильность при идентификации целей. Недостатком полученных зависимостей является отсутствие так называемых «энергетических параметров» тепловизионной системы: АГпор - разность температур, эквивалентная шуму и минимально разрешаемая разница температур МРРТ - АГраз, которые позволяют более точно подбирать параметры приемников излучения при проектировании и оценке эффективности тепловизионных систем.
Список литературы
1. Ашуров Д. А., Исламов В. К. Неохлаждаемые тепловизионные приборы для обнаружения малоразмерных воздушных целей // Молодой ученый. 2017. № 46 (180). С. 40-44.
2. Чивонго В. Е. С. Влияние контраста и шума на распознавание изображений нейронной сетью YOLOv3 // Молодой ученый. 2021. № 23 (365). С. 117-120.
3. Malleswari P. Naga, Renuka B., Sriram Ch. H. S., Jyothirmai A., Srinivas Ch. EMD-DWT Based ECG Denoising Technique using Soft Thresholding // International Journal of Recent Technology and Engineering (IJRTE). 2020. Vol. 8, № 6. Р. 4891-4892.
4. Шанченко Н. И. Лекции по эконометрике : учеб. пособие. Ульяновск : УлГТУ, 2008. 139 с.
5. Студитский А. С. Исследование и разработка многофункционального оптико-электронного средства наблюдения и разведки : дис. ... канд. техн. наук. М., 2013. 112 с.
References
1. Ashurov D.A., Islamov V.K. Uncooled thermal imaging devices for detecting small airborne targets. Molodoy uchenyy = Young scientist. 2017;(46):40-44. (In Russ.)
2. Chivongo V.E.S. The effect of contrast and noise on image recognition by a neural network YOLOv3. Molodoy uchenyy = Young scientist. 2021;(23):117-120. (In Russ.)
3. Malleswari P. Naga, Renuka B., Sriram Ch.H.S., Jyothirmai A., Srinivas Ch. EMD-DWT Based ECG Denoising Technique using Soft Thresholding. International Journal of Recent Technology and Engineering (IJRTE). 2020;8(6):4891-4892.
4. Shanchenko N.I. Lektsii po ekonometrike: ucheb. posobie = Lectures on econometrics: textbook. Ulyanovsk: UlGTU, 2008:139. (In Russ.)
5. Studitskiy A.S. Research and development of multifunctional optical-electronic surveillance and reconnaissance equipment. PhD dissertation. Moscow, 2013:112. (In Russ.)
Информация об авторах / Information about the authors
Камел Хелвех
адъюнкт, Пензенский филиал военной академии материально-технического обеспечения имени генерала армии А. В. Хрулева (Россия, г. Пенза-5, военный городок)
Kamel Khelvekh
Postgraduate student, Penza branch of Military Academy of Logistics named after Army General A.V. Khrulev (Voyenniy gorodok, Penza-5, Russia)
Алексей Альбертович Кобозев кандидат технических наук, доцент, заместитель начальника кафедры военных приборов, Пензенский филиал военной академии материально-технического обеспечения имени генерала армии А. В. Хрулева (Россия, г. Пенза-5, военный городок)
E-mail: kobo81@yandex.ru
Aleksey A. Kobozev Candidate of engineering sciences, associate professor, deputy head of the sub-department of military optic devices, Penza branch of Military Academy of Logistics named after Army General A.V. Khrulev (Voyenniy gorodok, Penza-5, Russia)
Андрей Вячеславович Никоноров преподаватель кафедры № 3, Военный учебный центр, Пензенский государственный университет (Россия, г. Пенза, ул. Красная, 40)
E-mail: Nikonorovv62@mail.ru
Andrey V. Nikonorov
Lecturer of the sub-department No.3,
Military Training Center,
Penza State University
(40 Krasnaya street, Penza, Russia)
Авторы заявляют об отсутствии конфликта интересов / The authors declare no conflicts of interests.
Поступила в редакцию / Received 22.05.2023
Поступила после рецензирования и доработки / Revised 25.08.2023 Принята к публикации / Accepted 10.10.2023
