CC BY
109
ЭЛЕКТРОНИКА, ИЗМЕРИТЕЛЬНАЯ ТЕХНИКА И РАДИОТЕХНИКА
УДК 623.681.9
Б01 10.21685/2072-3059-2016-3-9
С. Е. Ашанин, В. Н. Федотов, А. В. Федотов
АЛГОРИТМИЗАЦИЯ ОБРАБОТКИ ТЕПЛОВИЗИОННОГО ИЗОБРАЖЕНИЯ МОБИЛЬНОГО ОБЪЕКТА В СИСТЕМЕ СЛЕЖЕНИЯ
Аннотация.
Актуальность и цели. С целью обеспечения высокой эффективности применения современных оптико-электронных приборов важное значение придают автоматизации на основе средств микроэлектроники и вычислительной техники, а также широкого использования лазеров и применения перспективной элементной базы. В настоящее время проблема комплексирования тепло-визионного информационного и лазерного измерительного каналов носит достаточно разрозненный характер. Поэтому предложенный общий алгоритм выполнения операций при обработке изображений является актуальным.
Материалы и методы. Для определения величины оптического потока использован метод дифференциального анализа, позволяющий связывать временные и пространственные рассогласования между различными кадрами. Также использован метод поиска наилучшего согласования блоков, который в сочетании с прогнозированием траектории движения позволяет существенно повысить скорость обработки путем исключения из анализа блоков, в которых появление объекта маловероятно. Данные методы обеспечивают оптимизацию размеров блоков при проведении оценки габаритов и скорости движения объекта.
Результаты. В настоящее время разработаны алгоритмы и программы для всех этапов обработки тепловизионного изображения. Тестирование алгоритмов производилось на специально сформированных изображениях, моделирующих различные ситуации, а также на реальных объектах военной техники.
Выводы. В работе представлен алгоритм обработки тепловизионного изображения, позволяющий рассчитывать скорость движения объекта при различных ракурсах его движения. Оценены погрешности определения скорости для различных ракурсов движения. За счет усреднения яркости тепловизионного изображения до максимальной увеличена эффективность фильтрации. Смоделированы и предложены алгоритмы спектральной селекции. Приведены результаты обработки тепловизионных изображений на объектах штатной военной техники.
Ключевые слова: алгоритм, оптико-электронный прибор, объект, система координат, тепловизионный модуль, селекция, фильтрация.
S. E. Ashanin, V. N. Fedotov, A. V. Fedotov
ALGORITHMIZATION OF MOBILE OBJECT'S THERMAL IMAGE PROCESSING IN A TRACKING SYSTEM
Abstract.
Background. In order to ensure high efficiency of modern optical-electronic de-vicesit it is necessary to attach great attention to automation on the basis of microelectronic and computer engineering means, as well as to broad laser usage and application of prospective integrated circuits. At the present time the problem of interconnecting thermal image informational and laser measuring channels is quite scattered. Therefore, the suggested general algorithm of operations during image processing is a topical one.
Materials and methods. To determine the optical flow value the authors used the method of differential analysis allowing to connect time and dimensional mismatches between various frames. The researchers also used the method of best matching of frame sections, which, together with movement trajectory forecasting, significantly increases the rate of processing by means of excluding the sections where an object is unlikely to appear from the analysis. The given methods ensure optimization of section sizes when estimating object's dimensions and movement velocity.
Results. Currently there have been developed algorithms and programs for all stages of thermal image processing. Testing of the algorithms was conducted on specially designed images simulating various situations, as well as on real military hardware.
Conclusions. The article presents the algorithm of thermal image processing, allowing to calculate object's movement velocity at various angles of its movement. The work evaluates velocity determination errors for various movement angles. The efficiency of filtering is improved due to averaging of thermal image brightness to the maximum. The article describes the designed and suggested algorithms of spectral selection, and displays the results of thermal image processing of standard military hardware.
Key words: algorithm, optical-electronic instrument, object, coordinate system, thermal imaging module, selection, filtering.
Оптико-электронные приборы специального назначения применяются в современных технических системах для обеспечения эффективности их функционирования. Создание и совершенствование оптико-электронных приборов идет по пути автоматизации на основе средств микроэлектроники и вычислительной техники, широкого использования лазеров, применения перспективной элементной базы [1].
Широкое применение оптико-электронные приборы (ОЭП) находят в системах управления комплексов ракетно-артиллерийского вооружения (РАВ). Решение задач ОЭП комплексов РАВ при ведении тактических действий осуществляется в сложных условиях. Как правило, ОЭП выполняют задачи в приземном слое атмосферы, который подвержен значительным динамическим, флуктуационным изменениям. Тактическая обстановка характеризуется тем, что функционируют ОЭП в условиях огневого и оптико-электронного противодействия днем и ночью, в априорно неопределенной фоно-целевой обстановке мутных сред приземного слоя атмосферы.
Поэтому для обеспечения всесуточности, всепогодности решения задач по управлению комплексов РАВ в ОЭП производят комплексирование различных оптических каналов. Имеющиеся в настоящее время публикации по проблеме комплексирования тепловизионного информационного и лазерного измерительного канала носят достаточно разрозненный характер, особенно в части обеспечения помехоустойчивости и точности позицирования мобильного объекта [2].
При комплексировании необходимо учитывать следующие факторы:
- поиск, обнаружение объекта осуществляется на сложном радиацион-но неоднородном фоне;
- перемещение объекта осуществляется при разных ракурсах, что усложняет расчет скорости и направления его продольной оси;
- первичная обработка и преобразование инфракрасного излучения (ИК) производится тепловыми приемниками, которые характеризуются значительными шумами;
- оптическая система, формирующая тепловизионное изображение, характеризуется увеличением пространственной разрешающей способности;
- используются разные спектральные диапазоны функционирования тепловизионного и лазерного измерительного каналов, так как в оптических квантовых генераторах лазерного канала применяется активное вещество, обеспечивающее высокую надежность получения излучения на длинах волн 1,06 и 1,54 мкм.
Состав тепловизионного канала системы слежения комплекса РАВ показан на структурной схеме (рис. 1).
Оптическая система тепловизионного канала системы слежения выполняется из ИК-прозрачного материала (германий, кремний). ИК-объектив обеспечивает формирование пространства изображений удаленных объектов фоно-целевой обстановки в задней фокальной плоскости. Для преобразования изображения в электрический сигнал без предварительного охлаждения в фокальной плоскости объектива устанавливается болометрическая матрица.
Предварительно усиленный сигнал с выхода матрицы преобразуется в цифровой сигнал с помощью аналогового цифрового преобразователя (АЦП) и после первичной обработки поступает в центральный процессор. Результаты обработки отображаются на экране видеоконтрольного устройства или поступают в исполнительную систему. Вид поля зрения тепловизи-онного канала в пространстве объектов показан на рис. 2.
Процесс функционирования тепловизионного канала можно разделить на три этапа: получение изображения, первичная обработка и вторичная обработка сигналов.
Для формализации получения изображения выберем систему координат (СК). Пусть изображение объекта в тепловизионном канале формируется в связанной СК ОХХУ (рис. 3). Ось ОУ совпадает с оптической осью теплови-зионного канала и направлена в сторону положительного распространения оптического излучения. С фокальной плоскостью объектива свяжем плоскую систему координат болометрической матрицы ОмХХ, расположенную на расстоянии f от ОХ2У [3].
ч: ъ 3
п гъ гъ а
10 и
I
О -1 гъ <9 О' =3
ПК объектив
Устройство регулировки фокусного расстояния
¥
О
Привод управления ДИафраГМОЙ
Контролер считывания сигналя
Схема считывания сигнала
Контролер объектива
Блок питания
Аналогово-цнфровон преобразователь
Процессор цифровой обработки
Процессор фильтрации изображения
Контролер интерфейса
ОЗУ ПГОУ
1
Цифро-аналоговый преобразователь
Центральный процессор
Локальная память д.та хранения баз данных
Локальная память д.та хранения баз данных
Контролер интерфейса
Выходы исполнительной
системы
Входы шлейфов
Первичная обработка сигнала
Вторичная обработка сигнала
Рис. 1. Схема тепловизионного канала системы слежения
§
00 о; О
£ §
•с гъ
а:
сг ><
0 00 ГЪ О. ГЪ
1 С
с<
о
оо §
N
о *
с с< ъ
гъ 00 с о а:
Тепловизионное изображение танка
Рис. 2. Вид поля зрения тепловизионного канала в пространстве объектов
N> о 06 A У OH г У M г
/ / "tri Ут
Рис. 3. Система координат тепловизионного канала
Пространство объектов представляется множеством точек Хд, Уо, zg объекта наблюдения, расположенного на удаленном расстоянии Ьу >>/.
Допустим, оптическая система свободна от аберраций, т.е. в фокальной плоскости получаем плоское изображение объекта наблюдения с сопряженными точек Хт , гт при ут = / .
Путем преобразований получим выражения, определяющие связь между координатами в пространствах объектов и изображений:
= Хт+>рП. уо = ^; „ = ЯУрП., (1)
/ Ут - / /
тогда удаленное расстояние вычислится по формуле
Ьу =л1 Х2 + У2 + . (2)
Для измерения расстояния в комплексированном приборе можно использовать два способа:
- импульсный, с применением лазерного измерительного канала;
- базовый, с применением измерительного треугольника.
Первичная обработка изображения может проводиться по следующему алгоритму.
1. Техническая и электронная коррекция изображения.
Техническая коррекция осуществляется устройствами регулировки фокусного расстояния и управления диаграммой, электронная коррекция осуществляется по яркости и путем замещения нерабочих пикселей. В качестве критерия оптимальности выбирается значение диапазона средней яркости объекта, который выделяется оператором.
2. Подавление фона и помех путем спектральной и электронной фильтрации изображения.
Для подавления фона тепловизионного изображения применялись фильтры: абсолютного и нормированного уровней яркости, шума тепловизи-онного изображения.
Формализация фильтра абсолютного уровня яркости осуществлялась по условию, что абсолютное значение уровня яркости отличается меньше чем на Де единиц в модели RGB, тогда пиксель на тепловизионном изображении показывался черным (рис. 4).
Рис. 4. Подавление фона по критерию абсолютного уровня яркости
Если
ro (^ У )- rf (x У )< Д е
b0 (x, y)- bf (x, y )<Д е , тогда сс (x, У ) = 1, иначе сс (x, y ) = 0, go (^ У )-gf (^ У ) < Де
где r0 (x, У), g0 (x, У), b0 (x, У) - уровень яркости пикселя объекта в модели RGB; rf (x,У), gf (x,У), bf (x,У) - уровень яркость пикселя фона в модели RGB.
Листинг программы:. procedurediferent{найти различия}; var
i,j:integer;
begin
ch:=25;
for i:=0 to wi do for j:=0 to he do begin if
(abs(r[i,j]-r2[i,j])<ch)and (abs(b[i,j]-b2[i,j])<ch)and
(abs(g[i,j]-g2[i,j])<ch) then cc[i,j]:=255 else cc[i,j]:=0;
end;
end;
3. Обнаружение мобильных объектов.
Заметное движение характеризуется полем векторов смещений или полем оптического потока:
V =
(v V f =f ^^f
\x' y> t dt' dt J •
(3)
Для определения оптического потока можно использовать метод разности кадра. При этом допускается одинаковое смещение сопряженных пикселей кадров.
4. Обнаружение объекта наблюдения.
С применением скользящего окна проводится гистограммный анализ теп-ловизионного изображения выделенных объектов с целью их классификации.
5. Позицирование объекта наблюдения.
Проводится с целью определения его места нахождения. Для этого:
- определяются координаты центра тяжести объекта в матричной СК.
- определяется дальность до объекта по формуле
y = f (A + am) fA
У0 ----:
(4)
где А - объект калибровки; ат - размер изображения на болометрической матрице.
6. Определение скорости объекта в связанной СК.
При фронтальном перемещении объекта скорость определяется по координатам центра изображения объекта в связанной СК; при фронтальном -по масштабу размеров изображения. При перемещении под углом применяется комбинированный способ.
Линейные скорости рассчитываются по формулам:
= h (о - f)
У V-
f
Axp
V = (Уо - f) У a
Aap ~At~
(5)
V = (0 - f) У2 U
Abp At
V = h(Уо - f)
f
Azp At
(6)
где А Хр , А Zp - приращение координат центра изображения объекта на болометрической матрице, пикс; Н - шаг болометрической матрицы; / - удаление фокуса ИК-объектива; А ар , А Ьр - приращение к размерам изображения объекта на болометрической матрице, пкс.
Скорость при этом можно определить по формуле
V =
h (q - f)
f
Axp At
h(jq - f)
f
Azp At
2 + ( - f )2
apbp
Aap Г Abp 1
p p
At At
. (7)
Пример спектральной фильтрации объектов военной техники по яркости. Нормирование уровня яркости проводилось по разным формализованным описаниям фильтра (рис. 5).
Рис 5. Вычитание фона с учетом нормированного уровня яркости
Было проведено 520 испытаний, в результате получено оптимальное формализованное описание фильтра в следующем виде:
если
ro (^У ) co (x,У )
rf (x,У) cf (x,У)
bo (x,У) co (x, У)
bf (^У) cf (x,У)
go(x,У) co (x, У )
<A,
иначе
cc (x, y ) = 0,
< Ac
ё/ (х,у) с/ (х,у)
где с0 (х,у), с/ (х,у) - средняя яркость объекта и фона соответственно.
Пиксели не фильтруем при условии
r0 (х,y)<а, b0 (х,y) < а, go (. y )<а.
Листинг программы: procedurecolorr{второй фильтр}; var
i,j:integer; begin
ch:=0.038;ch2:=35; for i:=0 to wi do for j:=0 to he do begin if (cc[i,j]=0) then begin if ((r[i,j]<ch2) or (r2[i,j]<ch2)) and (b2[i,j]>ch2) and (g[i,j]>ch2) and (g2[i,j]>ch2) if ((abs(g[i,j]/g2[i,j])-abs(c[i, j]/c2[ ((abs(b[i,j]/b2[i,j])-abs(c[i,j]/c2[i,j]))<ch) else cc[i,j]:=0;
if ((g[i,j]<ch2) or (g2[i,j]<ch2)) and (b2[i,j]>ch2) and (r[i,j]>ch2) and (r2[i,j]>ch2) if ((abs(r[i,j]/r2[i,j])-abs(c[i,j]/c2[ ((abs(b[i,j]/b2[i,j])-abs(c[i,j]/c2[i,j]))<ch) else cc[i,j]:=0;
if ((b[i,j]<ch2) or (b2[i,j]<ch2)) and (r2[i,j]>ch2) and (g[i,j]>ch2) and (g2[i,j]>ch2) if ((abs(g[i,j]/g2[i,j])-abs(c[i,j]/c2[ ((abs(r[i,j]/r2[i,j])-abs(c[i,j]/c2[i,j]))<ch) else cc[i,j]:=0;
if (r[i,j]>ch2) and (r2[i,j]>ch2) and (b2[i,j]>ch2) and (g[i,j]>ch2) and (g2[i,j]>ch2) if ((abs(g[i,j]/g2[i,j])-abs(c[i, j]/c2[ ((abs(b[i,j]/b2[i,j])-abs(c[i,j]/c2[i,j]))<ch) ((abs(r[i,j]/r2[i,j])-abs(c[i,j]/c2[i,j]))<ch) else cc[i,j]:=0; end;end;
(b[i,j]>ch2) and then
i,j]))<ch) and then cc[i,j]:=255
(b[i,j]>ch2) and then
i,j]))<ch) and then cc[i,j]:=255
(r[i,j]>ch2) and then
i,j]))<ch) and then cc[i,j]:=255
(b[i,j]>ch2) and then
i,j]))<ch) and and
then cc[i,j]:=255
Шум в плоскости изображения отфильтровывался по пороговому значению однородности Дs при условии, что Scc < Дs, где Scc - площадь светлых (серых) пятен в пикселях. Листинг программы: procedure rep(i,j:integer); begin
if (k<320) then begin inc(k); if j<>he then if cc[i,j+1]=0 then begin
rec[k,0]:=i;rec[k,1]:=j+1;cc[i,j+1]:=255; rep(i,j+1); end; if (i<>wi) and (k<320) then if cc[i+1,j]=0 then begin rec[k,0]:=i+1;rec[k,1]:=j;cc[i+1,j]:=255; rep(i+1,j); end; if (j<>0) and (k<320) then if cc[i,j-1]=0 then begin rec[k,0]:=i;rec[k,1]:=j-1;cc[i,j-1]:=255; rep(i,j-1); end; if (i<>0) and (k<320) then if cc[i-1,j]=0 then begin rec[k,0]:=i-1;rec[k,1]:=j;cc[i-1,j]:=255; rep(i-1,j); end;
end; end;
procedure rep2(i,j:integer); begin
if (k<320) then begin inc(k); if j<>he then if cc[i,j+1]=255 then begin rec[k,0]:=i;rec[k,1]:=j+1;cc[i,j+1]:=0; rep2(i,j+1); end; if (i<>wi) and (k<320) then if cc[i+1,j]=255 then begin rec[k,0]:=i+1;rec[k,1]:=j;cc[i+1,j]:=0; rep2(i+1,j); end; if (j<>0) and (k<320) then if cc[i,j-1]=255 then begin rec[k,0]:=i;rec[k,1]:=j-1;cc[i,j-1]:=0; rep2(i,j-1); end; if (i<>0) and (k<320) then if cc[i-1,j]=255 then begin rec[k,0]:=i-1;rec[k,1]:=j;cc[i-1,j]:=0; rep2(i-1,j); end; end;end;
procedure recurs{фильтр шума}; var
i,j,h:integer; begin
for i:=0 to wi do
for j:=0 to he do
ccc[i,j]:=0;
for i:=0 to wi do
for j:=0 to he do begin
if (cc[i,j]=0) and (ccc[i,j]<>2) then begin k:=0;
cc[i,j]:=255; rec[0,0]:=i; rec[0,1]:=j; rep(i,j);
if k=320 then for h:=0 to 320 do begin cc[rec[h,0],rec[h,1]]:=0; ccc[rec[h,0],rec[h,1]]:=2; end; end; if (cc[i,j]=255) and (ccc[i,j]<>1) then begin k:=0;
cc[i,j]:=0; rec[0,0]:=i; rec[0,1]:=j; rep2(i,j);
if k=320 then for h:=0 to 320 do begin cc[rec[h,0], rec[h,1]]:=255; ccc[rec[h,0],rec[h,1]]:=1; end;end;end; end;
Изображение объекта без фона и гистограммы яркости модели RGB объекта показаны на рис. 6.
Примеры спектральной селекции изображений объектов различной яркости с помощью предложенных алгоритмов приведены на рис. 7.
Разработаны алгоритмы формирования и первичной обработки тепло-визионного изображения. Верификация алгоритмов проводилась с применением тепловизионных изображений макетов военной техники. Предложенные алгоритмы предназначены для расчета скорости перемещения объекта с учетом ракурса движения в тепловизинных системах слежения.
Рис. 6. Гистограммы яркости модели КОБ объекта
Рис. 7. Примеры цифровой обработки тепловизионных изображений: а - изображение на однородном фоне; б - изображение на неоднородном яркостном фоне
Список литературы
1. Тарасов, В. В. Двух- и многодиапазонные оптико-электронные системы с матричными приемниками излучения / В. В. Тарасов, Ю. Г. Якушенков. - М. : Логос, 2007. - 192 с.
2. Ашанин, С. Е. Основы гистограммного метода для автоматизации классификаций типовых объектов / С. Е. Ашанин // Пути повышения эффективности применения ракетно-артиллерийских комплексов, методов их эксплуатации и ремонта : материалы XXXVI межвуз. науч.-техн. конф. / Пенз. филиал ВУНЦ СВ «ОВА ВС РФ». - Пенза, 2011. - С. 97-99.
3. Ашанин, С. Е. Энергетический расчет тепловизионной системы слежения противотанковых ракетных комплексов / С. Е. Ашанин // Наука и технологии : сб. материалов участников ХХХ1 Рос. шк. по проблемам науки и технологии / Рос. акад. наук. Межрегион. совет по науке и технологиям. - Миасс, 2011. - С. 155.
References
1. Tarasov V. V., Yakushenkov Yu. G. Dvukh- i mnogodiapazonnye optiko-elektronnye sistemy s matrichnymi priemnikami izlucheniya [Two- and multirange optical-electronic systems with matrix radiation receivers]. Moscow: Logos, 2007, 192 p.
2. Ashanin S. E. Puti povysheniya effektivnosti primeneniya raketno-artilleriyskikh kom-pleksov, metodov ikh ekspluatatsii i remonta: materialy XXXVI mezhvuz. nauch.-tekhn. konf. [Ways of efficiency improvement of rocket-artillery systems application, operation and maintenance: proceedings of XXXVI Interuniversity scientific and technical conference]. Penz. filial VUNTs SV «OVA VS RF». Penza, 2011, pp. 97-99.
3. Ashanin S. E. Nauka i tekhnologii: sb. materialov uchastnikov XXXI Ros. shk. po prob-lemam nauki i tekhnologii [Science and technology: proceedings of XXXI Russian school on scientific and technological problems]. Ros. akad. nauk. Mezhregion. sovet po nauke i tekhnologiyam. Miass, 2011, p. 155.
Ашанин Сергей Евгеньевич соискатель, Пензенский филиал Военной академии материально-технического обеспечения (Россия, г. Пенза, ул. Лермонтова, 37)
E-mail: [email protected]
Федотов Владимир Николаевич
кандидат технических наук, доцент, кафедра артиллерийских приборов, Пензенский филиал Военной академии материально-технического обеспечения (Россия, г. Пенза, ул. Лермонтова, 37)
E-mail: [email protected]
Федотов Алексей Владимирович
кандидат технических наук, кафедра артиллерийских приборов, Пензенский филиал Военной академии материально-технического обеспечения (Россия, г. Пенза, ул. Лермонтова, 37)
E-mail: [email protected]
Ashanin Sergey Evgen'evich Applicant, Penza branch of Military Academy of Material Support (37 Lermontova street, Penza, Russia)
Fedotov Vladimir Nikolaevich Candidate of engineering sciences, associate professor, sub-department of artillery devices, Penza branch of Military Academy of Material Support (37 Lermontova street, Penza, Russia)
Fedotov Aleksey Vladimirovich Candidate of engineering sciences, sub-department of artillery devices, Penza branch of Military Academy of Material Support (37 Lermontova street, Penza, Russia)
УДК 623.681.9 Ашанин, С. Е.
Алгоритмизация обработки тепловизионного изображения мобильного объекта в системе слежения / С. Е. Ашанин, В. Н. Федотов, А. В. Федотов // Известия высших учебных заведений. Поволжский регион. Технические науки. - 2016. - № 3 (39). - С. 93-104. Б01 10.21685/2072-30592016-3-9
