CC BY
20Научный вестник НГТУ. - 2013. - № 3(52)
ОБРАБОТКА ИНФОРМАЦИИ
УДК 681.2.084
Модули электронной обработки изображений в тепловизионных системах
*
второго и третьего поколений
А.Н. ГАЛЯНТИЧ, И.С. ГИБИН, К.М. ЕРМОШИН, В.В. ЗОЛОТЦЕВ, Н.М. МАЛЕЕВ,
Д.С. ШЕЛКОВОЙ
Рассмотрены модули электронной обработки изображений в тепловизионных системах второго и третьего поколений. Приведены результаты создания таких модулей в тепловизорах на основе линейки фоточувствительных ИК элементов, линеек с временной задержкой и накоплением (ВЗН), матричных фотоприемников. Тепловизоры второго поколения строятся на субматрицах с суммированием сигналов не менее чем по двум элементам и одномерной разверткой получаемого изображения. Тепловизоры третьего поколения основаны на применении матричных ИК фотоприемников и не содержат сканирующих узлов.
Ключевые слова: тепловидение, тепловизор, временная задержка и накопление - ВЗН, фотоприемная ИК-матрица, фотоприемная ИК-линейка, модуль электронной обработки (МЭО), цифровая обработка тепловизионных изображений.
ВВЕДЕНИЕ
В тепловизорах второго поколения развертка поля обзора может осуществляться параллельным, последовательным и комбинированным способами [1, 2]. При параллельном сканировании линейка фоточувствительных элементов располагается перпендикулярно направлению сканирования. За время, равное или меньшее времени перемещения изображения на размер фоточувствительного элемента (время, приходящееся на один элемент разложения), производится опрос всех п элементов, входящих в линейку. При этом скорость сканирования изображения по поверхности фоточувствительного элемента в п раз меньше соответствующей скорости сканирования одноэлементным приемником. Вследствие этого полоса частот последующего электронного тракта обработки сигнала может быть уменьшена в n раз, а шум в первом приближении в n12 раз, и отношение сигнал/шум возрастает в n12 раз.
При последовательном сканировании в режиме временной задержки и накопления (ВЗН) линейка чувствительных элементов располагается параллельно линии сканирования и каждая точка изображения последовательно попадает на все элементы линейки. При суммировании сигналов со всех элементов линейки и обеспечении необходимой задержки сигналов с соседних элементов суммарный сигнал в п раз больше сигнала отдельного элемента. Суммарный шум также повышается, но поскольку шум отдельных элементов не коррелирован, то он увеличивается лишь в n12 раз.
В системах третьего поколения узел, осуществляющий перемещение изображения по поверхности многоэлементного приемника излучения, отсутствует («смотрящие» системы). В этих системах число элементов в фотоприемнике настолько велико, что он перекрывает все поле обзора. Каждому направлению в пределах поля обзора соответствует однозначно один из элементов приемника излучения. Отсутствие оптико-механического узла сканирования изображения упрощает приемную систему, уменьшает массу и габариты, повышает надежность, снижает потребляемую мощность источников электропитания.
* Статья получена 4 июня 2013 г.
При работе с двумерной матрицей фоточувствительных элементов, состоящей из N столбцов и М рядов, съем сигнала осуществляется комбинированным способом: последовательно с элементов одного ряда и параллельно с элементов столбца. Очевидно, что в этом слу-
1/2
чае отношение сигнал/шум увеличивается также в п раз, где п = NM .
Системы третьего поколения имеют преимущество перед сканирующими системами и по пороговой чувствительности, так как в них осуществляется накопление информации в приемнике излучения за время, близкое к времени длительности кадра. В сканирующих системах накопление информации идет лишь за время, приходящееся на один элемент разложения (или несколько при синфазном суммировании сигнала). Поскольку длительность кадра во много раз больше времени, приходящегося на один элемент разложения, выигрыш в чувствительности может быть очень значительным.
Основной проблемой, которая должна быть решена при реализации возможностей неска-нирующих систем, является выравнивание чувствительностей отдельных элементов в матрице [3, 4, 5]. Эта же проблема существует и для систем второго поколения, однако для систем третьего поколения она усугубляется увеличением числа элементов в матрице и наличием в несканирующих системах однозначного соответствия между каким-либо направлением в поле обзора и заданным элементом в матрице. В сканирующих системах такое однозначное соответствие отсутствует, вследствие чего возможно обеспечить усреднение сигнала по нескольким элементам в матрице и тем самым уменьшить роль неравномерности чувствительности отдельных элементов. В несканирующих системах борьба с так называемым «геометрическим» шумом, вызванным неравномерностью чувствительности отдельных элементов матрицы и малой величиной радиационных контрастов в ИК-области спектра (т. е. большой величиной постоянной составляющей сигнала в этой области спектра), осуществляется двумя путями. Во-первых, используются многоэлементные матрицы, обладающие высокой однородностью чувствительности по отдельным элементам; во-вторых, применяется обработка сигнала во внешнем микропроцессорном устройстве, обладающем высокой производительностью.
Выбор того или иного типа приемной системы зависит от конкретных задач, возлагаемых на тепловизионное устройство.
1. ГЕОМЕТРИЧЕСКИЙ ШУМ
Для анализа источника геометрического шума рассмотрим процесс получения сигналов с МФП. На фотоприемный элемент попадает поток излучения
Фп = (Фц •% + Фф + Фвн), (!)
где Фп - падающий поток излучения; Фц • % - поток пришедший от цели с учетом поглощения атмосферой; Фф - фоновое излучение атмосферы; Фвн - излучение от внутренних элементов тепловизионного прибора (ТВП). Сигнал на выходе фотоприемного элемента (ФПЭ)
Uфнэ = Фп • Su + Щ , (2)
где Бп - вольтовая чувствительность, Uт - напряжение на выходе, обусловленное действием темнового тока.
Как видно из приведенных формул, есть, как минимум, три составляющие 8Н, Uf , Фвн, которые обусловливают неодинаковый отклик на один и тот же входной сигнал различными фотоприемными элементами МФП. Составляющая от фона атмосферы носит равномерный характер и проявляется в виде постоянной подставки к сигналу от объекта, которая легко компенсируется изменением яркости выходного сигнала.
Неодинаковый отклик на один и тот же входной сигнал различными фотоприемными элементами и является тем самым геометрическим шумом, который проявляется в выходном
изображении в виде модуляции яркости в вертикальном направлении для линейчатых фотоприемных устройств или в виде мозаики для матричных фотоприемников. Однако влияние различных факторов на стабильность и величину отклика неодинаково.
Наиболее стабильной характеристикой является вольтовая чувствительность. Она связана в основном с геометрией фотоприемного элемента, составом фоточувствительного слоя, чистотой поверхности и некоторыми другими физическими факторами, которые мало изменяются в течение периода эксплуатации. Типичный разброс чувствительности от элемента к элементу в зависимости от диапазона длин волн и материала фотоприемного слоя колеблется от единиц до величины 20 - 30 %.
Следующей составляющей геометрического шума является фоновое излучение от внутренних элементов ТВП. Действие фонового излучения проявляется в виде пятен на изображении. Во многом величина геометрического шума от фонового излучения может быть сведена к минимуму путем оптимизации конструкции оптической схемы прибора, посредством которой удается значительно снизить блики, отражения от внутренних поверхностей и т. д.
И наконец наиболее существенной и наименее прогнозируемой составляющей геометрического шума является темновой ток с темновым током ит .
Для получения качественного изображения в ИК-диапазоне в отличие от приемников видимого диапазона необходима предварительная обработка сигнала с целью устранения геометрического шума, возникающего вследствие неравномерности чувствительности и значительного разброса величин темновых токов отдельных фотоприемных элементов. Любой алгоритм коррекции геометрического шума будет работать только в том случае, если в нем будет предусмотрен механизм исключения влияния всех факторов, на его величину. Наиболее полно этому отвечает метод, при котором осуществляется калибровка прибора путем размещения в плоскости объекта эталонного источника излучения в виде АЧТ. В этом случае обработка изображения сводится к преобразованию входных данных в соответствии с таблицей полученной при калибровке.
Преимущества этого метода состоят:
- в возможности точного измерения температуры объекта с учетом знания коэффициента поглощения;
- в простоте реализации устройства обработки.
К числу недостатков данного метода можно отнести:
1) практическую невозможность в большинстве случаев расположить эталонный источник вблизи наблюдаемого объекта;
2) необходимость периодической коррекции калибровочной таблицы в зависимости от изменения внешних условий или температуры фотоприемника;
3) значительные объемы ЗУ
Для обработки сигнала достаточно снять значения отклика всего в нескольких точках, а в остальных он рассчитывается исходя из линейной зависимости. После устранения геометрического шума тепловизионное изображение по своим характеристикам не отличается от изображения видимого диапазона и дальнейшая его обработка ведется алгоритмами и методами, зависящими от решаемых задач.
2. МОДУЛИ ЭЛЕКТРОННОЙ ОБРАБОТКИ (МЭО) СИГНАЛОВ ИК-МАТРИЦ
Модули электронной обработки сигналов ИК-матриц в общем случае должны осуществлять:
- генерацию требуемых управляющих сигналов МФПУ;
- прием потока информации от МФПУ и его «оцифровку»;
- обработку потока данных по некоему алгоритму (набору алгоритмов), направленному на повышение информативности сигнала, улучшение его шумовых характеристик и т. п.;
- выдачу потока обработанных (результирующих) данных на исполнительные, анализирующие и/или визуализирующие устройства.
МФПУ и блок синхронизации
АЦП АЦП 1 2
АЦП АЦП
3 4
V
V,
Контроллер ввода
СУБМОДУЛЬ ВИОЛА
Первичная обработка
СУБМОДУЛЬ ОТОБРАЖЕНИЯ
\zA>
Вторичная обработка
1С
с*
Контроллер TV
в
CPU ADSP
2185
« «
ЗУ Кадра
G
60MHz
«
ЗУ Кадра 1
ЗУ Кадра 2
V
ЦАП 1
ЦАП 2
ЗУ Марки и С.Симв-в
Арбитр ТПВК TV монитор CLK 60 АЗСЦ
Рис. 1. Структурная схема МЭО
3. СОСТАВ И ПРИНЦИП РАБОТЫ МЭО
Структурная схема МЭО приведена на рис. 1. В структуре МЭО предусмотрены два канала обработки поступающей информации: конвейерный аппаратный вычислитель, работающий по жесткому конвейерному алгоритму в темпе поступления входных данных; и цифровой сигнальный процессор программных вычислений, обеспечивающий самостоятельную обработку данных по произвольным алгоритмам вне темпа входного потока, а также производящий вспомогательные калибровочные вычисления для узлов конвейерной обработки и осуществляющий контроль и управление режимами работы МЭО.
Модуль электронной обработки состоит из двух субмодулей: ввода и вывода.
4. ОСНОВНЫЕ ЗАДАЧИ МЭО
При создании тепловизионных систем модуль электронной обработки сигналов МФПУ должен решать следующие ключевые задачи.
1. Высокоразрешающее и скоростное аналого-цифровое преобразование (АЦП) информационных сигналов (не менее 12 двоичных разрядов с частотой выборки 10 Гц).
2. Исполнение жесткого аппаратного алгоритма обработки потока данных в темпе их поступления (временное накопление, суммирование, умножение и т. п., с темпом ~50 нс на каждую операцию).
3. Прием, оперативное и долговременное хранение больших массивов данных в ОЗУ и ППЗУ (с временем доступа 20-30 нс для ОЗУ).
4. Программная обработка данных по различным гибким алгоритмам, направленным на повышение качества итогового изображения (вычислительные мощности процессорного устройства не менее 10 шестнадцатиразрядных операций в секунду).
5. Скоростное цифро-аналоговое преобразование ЦАП) данных со средним разрешением для формирования сигнала видеоконтрольного устройства (8-10 бит 2 -10 Гц).
МЭО должен иметь минимальные массогабаритные характеристики, способным работать в расширенном диапазоне температур и иметь стойкость к внешним воздействиям.
5. ФУНКЦИИ МЭО
МЭО второго поколения предназначены для работы в качестве унифицированного модуля межвидового применения в тепловизионных системах на базе субматричных фотоприемных устройств. Модуль формирует сигналы, задающие режим работы МФПУ, воспринимает его выходные информационные сигналы, осуществляет их обработку в целях повышения качества итогового изображения и преобразует в вид, удобный для восприятия оператором на экране телевизионного монитора, осуществляя при этом следующие функции:
- обеспечение взаимной синхронизации работы МФПУ, узла сканирования и процесса электронной обработки информации;
- приём и АЦП информационных выходных сигналов МФПУ;
- табличную коррекцию дефектных элементов МФПУ;
- цифровую обработку сигналов МФПУ в соответствии с режимом ВЗН и законом сканирования;
- запоминание и хранение в цифровом виде введённого кадра;
- цифровую аппаратную коррекцию геометрических шумов МФПУ в темпе поступления входных данных;
- электронное масштабирование итогового изображения с кратностью (2x2), (при необходимости);
- обеспечение автоматической регулировки яркости и контраста, в том числе в условиях сложной целефоновой обстановки;
- преобразование итогового кадра данных в позитив/негатив (при необходимости);
- поворот кадра изображения на угол 180° (при необходимости);
- формирование выходных телевизионных сигналов в соответствии с ГОСТ 7845-92 для отображения итоговой информации на экране телевизионного монитора;
- замешивание в итоговое изображение сигналов служебной информации и сигналов прицельной марки;
- выверку тепловизионного комплекса, в состав которого входит МЭО, путем изменения положения прицельной марки в вертикальном и горизонтальном направлениях относительно полученного изображения;
- цифровую программную обработку сигналов МФПУ в заданном окне по произвольному алгоритму без привязки к темпу поступления входных данных;
- выполнения команды «Стоп кадр», при этом сигнал поступающий на АЗСЦ не «замораживается»;
- обмен командами и данными с арбитром тепловизионного комплекса;
- тестирование собственной работоспособности при включении.
Для обеспечения работы МФПУ и синхронизации узла сканирования МЭО вырабатывает постоянное напряжение смещения и системную тактовую частоту 60 МГц.
МЭО способен обмениваться программами и данными с внешними устройствами по последовательному синхронному каналу. В модуле входного буфера расположены узлы, производящие прием входного потока цифровых данных, обеспечивающие табличную адресную коррекцию дефектов МФП и формирующие поток данных для последующих узлов, стоящих в конвейерной цепочке аппаратной обработки. В модуле входного буфера находится также контроллер конвейерной магистрали, по которой проходит однонаправленный поток цифровых данных в процессе обработки.
Модуль цифровой обработки вмещает в себя сумматор и умножитель с сопутствующими элементами, осуществляющими дальнейшую конвейерную обработку потока данных по жесткому алгоритму в темпе их поступления из магистрали. В модуле телевизионного буфера расположены узлы, формирующие выходной кадровый массив для отображения. В модуле телевизионного буфера находится также ЦАП, формирующий сигнал для телевизионного монитора.
6. РЕЗУЛЬТАТЫ РАЗРАБОТОК МЭО
Ниже будут рассмотрены вопросы разработки и создания МЭО, выполненные ФГУП «Сибирский НИИ оптических систем» в период с середины 1990-х годов по настоящее время.
В данном устройстве реализована конвейерная структура с сигнальным процессором в качестве основного и единственного вычислительного элемента. Неизменной аппаратной частью, связанной с процессом обработки потока цифровых данных в устройстве, является модуль цифрового сигнального процессора, а часть аппаратуры, непосредственно сопрягаемая с матрицей, может быть легко заменена модулями АЦП, спроектированными под конкретный вид ФПУ. Таким образом, прибор хорошо адаптируется под любой тип матрицы из существующего спектра. Программы работы цифрового сигнального процессора также являются сменными и адаптируются под конкретные вид матрицы и алгоритм обработки информации. Устройство может быть применено для создания цифровых устройств обработки изображений, цифровых матричных тепловизоров, стендов для исследования матричных и субматричных ФПУ со скоростью обработки до 25 ТВ-кадров с матрицами формата до 768x576 или субматрицами размера 4x288.
В состав такого устройства обработки сигналов смотрящих матриц входят следующие модули и блоки:
1) модуль процессора, выполняющий функции управления работой всего устройства и обработкой потока цифровых данных по основному алгоритму У = (Х - А)*В;
2) модуль АЦП, который осуществляет формирование всех управляющих сигналов для МФПУ, генерирует сигналы синхронизации работы МФПУ и всего прибора в целом, преобразует аналоговые выходные информационные сигналы матрицы в цифровой 14 разрядный код и передает его и сигналы синхронизации в модуль входного буфера;
3) модуль входного буфера, осуществляющий приём потока цифровых данных и сигналов синхронизации из модуля АЦП, цифровую табличную коррекцию кодов дефектных элементов МФПУ, формирование и хранение массива фототоков в буферном ЗУ и выдачу его содержимого на системную магистраль для дальнейшей обработки;
4) модуль телевизионного буфера, предназначенный для хранения и отображения на экране ТВ-монитора массива информации, принятой из магистрали системного модуля;
5) панель управления, предназначенная для выбора режимов работы устройства, смены вида отображаемой информации и т. п.
В серии этих устройств реализована конвейерная структура с жесткой аппаратной реализацией основного алгоритма вспомогательным каналом управления и вычислений с процес-
сорным элементом. В структуре устройства имеются два параллельных канала обработки: конвейерный аппаратный вычислитель, работающий по жесткому алгоритму в темпе поступления входных данных; и процессорный модуль программных вычислений, обеспечивающий обработку данных по произвольным алгоритмам вне темпа входного потока и производящий вспомогательные вычисления для конвейерной обработки. Устройство может быть применено для создания цифровых устройств обработки изображений, цифровых тепловизоров, стендов для исследования субматричных ФПУ со скоростью обработки до 25 ТВ-кадров в секунду с линейками ВЗН 2x256; 4x288 и т. п.
В структуру устройства входят следующие функциональные модули и узлы.
1. Модуль АЦП информационных сигналов фотоматриц по двум параллельным каналам и формирование последовательного потока четырнадцати разрядных цифровых данных.
2. Модуль управления содержит процессор АDSР2185 с сопутствующими элементами, который осуществляет управление работой всего устройства в целом, обеспечивает связь с управляющим компьютером и реагирует на органы управления, он же производит вспомогательные вычисления для процесса конвейерной обработки или программную обработку данных по гибким алгоритмам без привязки к телевизионному темпу. Модуль управления имеет связь со всеми модулями устройства по магистрали обмена.
Таким образом, небольшой по величине полезный сигнал выделяется от высокой фоновой помехи и выравниваются фоточувствительности всех элементов матрицы; к процессу основной обработки потока добавляется ряд дополнительных и обеспечивающих основной процесс вычислений, а также процесс управления системой.
Обработанный по данному алгоритму сигнал далее преобразуется в стандартный телевизионный сигнал для визуализации его на экране ТВ-монитора.
7. КРАТКИЕ ТЕХНИЧЕСКИЕ ХАРАКТЕРИСТИКИ РАССМАТРИВАЕМЫХ МЭО
Параметр
Максимальный формат обрабатываемого кадра Число генерируемых или принимаемых внешних управляющих дискретных сигналов для МФПУ Минимальный период опроса элементов МФПУ (нс)
Количество принимаемых информационных аналоговых сигналов Разрядность АЦП Период опроса кадров (мс) Разрядность телевизионного ЦАП (отображение по ГОСТ 7845-92)
Устройство «Керн» Устройство МЭО
разрядн. разрядн.
1024x1024 768x576
12 12
100 100
8 4
14 14
20 40
8 8
ЗАКЛЮЧЕНИЕ
Разработан ряд модулей обработки изображений, на основе которых создан ряд модулей электронной обработки изображений действующие образцы тепловизионной техники. В данной работе упоминается два типа устройств, хотя их разработано и изготовлено существенно больше по номенклатуре и количеству, и применены они там, где габариты или специфика выполнения информационной задачи значительно превышает возможности описанных устройств. Тем не менее в основе первичной обработки сигналов МФПУ ИК-диапазона лежат рассмотренные здесь алгоритмы и процедуры.
СПИСОК ЛИТЕРАТУРЫ
[1] Мирошников М.М. Теоретические основы оптико-электронных приборов / М.М. Мирошников. - М.: Машиностроение, 1983.
[2] Иванов В.П. Моделирование и оценка современных тепловизионных приборов / В.П. Иванов, В.И. Курт, В.А. Овсянников, В.Л. Филиппов. - Изд-во НПО «Государственный институт прикладной оптики», 2006.
[3] Кремис И.И. Разработка и исследование принципов построения унифицированного модуля обработки сигналов многоэлементного фотоприемного устройства ИК-диапазона: дис. ... канд. техн. наук / И.И. Кремис. - Новосибирский филиал института физики полупроводников СО РАН, 2011.
[4] Рогальский А. Инфракрасные детекторы / А. Рогальский. - Новосибирск: Наука, 2003. - С. 636
[5] Борзов С.М. Принципы построения автоматизированных систем восприятия и анализа последовательности тепловизионных изображений / С.М. Борзов, О.И. Потатуркин, А.Л. Резник, А.В. Яковлев // Изв. вузов. Приборостроение. - 2004. - № 9. - С. 46-50.
[6] Грачев Р.В. Калибровка параметров тепловизионной матрицы для двухточечной коррекции в блоке электронной обработки на базе микроконтроллера МС-24 / Р.В. Грачев // Вопросы радиоэлектроники. - Сер. ЭВТ. - 2008. -Вып. 3. - С. 148-156.
[7] Болтарь К.О. Определение дефектных элементов матричных тепловизионных приемников в процедуре двухточечной коррекции / К.О. Болтарь, Р.В. Грачев, В.В. Полунеев // Прикладная физика. - 2009. - № 1. - С. 81-85.
[8] Болтарь К.О. Тепловизор на основе «смотрящей» матрицы из Cd02Hg08Te формата 128x128 / К.О. Болтарь, Л.А. Бовина, Л.Д. Сагинов и др. // Прикладная физика. - 1999. - № 2. - С. 51-54.
Галянтич Алексей Николаевич, начальник отдела ОАО «Уральский оптико-механический завод», филиал «Урал-СибНИИОС». E-mail: ag_nsk@mail.ru.
Гибин Игорь Сергеевич, главный научный сотрудник ИАиЭ СО РАН, доктор технических наук. Тел. (8-383) 333-25-74. E-mail: gibin@ iae,nsk.su.
Ермошин Константин Михайлович, ведущий инженер, ОАО «Уральский оптико-механический завод», филиал «Урал-СибНИИОС». Тел. (8-383) 225-68-40. E-mail: uralnii@mail.ru.
Золотцев Владимир Васильевич, директор филиала «Урал-СибНИИОС» ОАО «Уральский оптико-механический завод», филиал «Урал-СибНИИОС. Тел. (8-383) 225-87-46. E-mail: z_w_w@ mail.ru.
Малеев Николай Михайлович, начальник отдела ОАО «Уральский оптико-механический завод», филиал «Урал-СибНИИОС». Тел. (8-383) 225-68-40. E-mail: uralnii@mail.ru.
Шелковой Денис Сергеевич, кандидат технических наук, ведущий инженер. ОАО «Уральский оптико-механический завод», филиал «Урал-СибНИИОС». Тел. (8-383) 225-68-40. E-mail: uralnii@mail.ru.
A.N. Galjantich, I.S. Gibin, K.M. Ermoshin, V.V. Zolotcev, N.M. Maleev, D.S. Shelkovoi
Eltctronic digital processing in the thermovision systems of the second and third generations
Problems of digital processing of images in tht second and third generations of thermovision systems are developed in this article. This article also demonstrated the results of creating models of electronic processing of signals and images in thermovisions on the basis of the line of photosensitive infrared elements, lines with temporary delay and accumulation, matrix photoreceivers. The 2nd generation thermovisions built on the sub array with the summation of signals for at least two elements and one-dimensional scan of the image. The 3rd generation thermovisions based on the use of matrix infrared photodetectors and not contain scanning components.
Key words: thermal imaging, thermovision, time delay and accumulation - TDA, photodetector infrared matrix, photodetector infrared line, electronic processing unit (EPU), digital processing of thermal images.
