CC BY
154
Pavlova Valeria Anatolyevna, candidate of technical science, Deputy Director of research, pavlova@nppame. ru, Russia, Saint Petersburg, JSC "Research and Production Enterprise "Air and Marine Electronics",
Kaplinskiy Gleb Eduardovich, junior researcher at RIC RSSP, glebqq@gmail. com, Russia, Saint Petersburg, JSC "Research and Production Enterprise "Air and Marine Electronics",
Krjukov Sergey Nikolaevich, candidate of technical science, leading researcher, SKrjukov@,mail. ru, Russia, Saint Petersburg, JSC "Research and Production Enterprise "Air and Marine Electronics"
УДК 004.932.2
МЕТОДЫ ИНФОРМАЦИОННОГО СОВМЕЩЕНИЯ ИЗОБРАЖЕНИЙ В МНОГОКАНАЛЬНЫХ ОПТИКО-ЭЛЕКТРОННЫХ СИСТЕМАХ
В.Н. Фролов, В. А. Тупиков, В. А. Павлова, В. А. Александров
Приведен обзор шести различных способов совмещения изображений, полученных в различных спектральных диапазонах на примере использования исходных изображений в телевизионном и тепловизионном каналах. Выполнена количественная и качественная оценка полученных результатов, дана сравнительная оценка исследуемых методов по быстродействию.
Ключевые слова: информационное совмещение изображений, комплексирова-ние изображений, многоканальные оптико-электронные системы.
Введение. Развитие оптико-электронной аппаратуры (ОЭА) в системах технического зрения привело к созданию комплексированных многоканальных систем, в которых используются каналы получения информации, основанные на различных физических принципах и работающие в различных спектральных диапазонах (визуальный, лазерный, радиолокационный, дневной телевизионный (ТВ), низкоуровневый ТВ, тепловизион-ный (ТПВ) и др.).
Основной предпосылкой комплексирования ОЭА является различное воздействие факторов естественного и искусственного происхождения на различные каналы получения информации, в силу чего каждый из упомянутых каналов, взятый в отдельности, не в состоянии удовлетворять технические требования к работе аппаратуры в любых условиях.
Целью комплексирования является извлечение максимума информации путем обработки и сопоставления данных, получаемых по различным каналам комплексированной системы. При этом эффективность системы по выбранному показателю (дальность действия, вероятность опознавания, точность сопровождения и т.п.) оказывается выше эффективности каждого из отдельных каналов.
Средством комплексирования является конструктивное объединение составляющих каналов, совместная обработка и анализ получаемых по этим каналам данных, сведение этих данных в единый информационный поток с целью улучшения функциональных характеристик системы.
Достаточно часто комплексированные системы ОЭА состоят из двух каналов - ТВ и ТПВ. Наличие этих каналов позволяет решать большинство задач, стоящих перед системами технического зрения практически в любых погодных условиях, в любое время суток и в любое время года. В комплексированных системах реализуются, как правило, совмещение оптических осей различных каналов и совместная обработка их информации, предъявление совмещенной информации на общем дисплее в виде единого изображения.
Исследуемые методы совмещения. В технической литературе описаны десятки методов совмещения ТВ- и ТПВ-изображений. По своим задачам их можно разделить на два класса: геометрическое совмещение и информационное совмещение. В рамках данной статьи рассмотрены шесть методов информационного совмещения ТВ- и ТПВ-изображений, так как именно эти два диапазона наиболее часто используются в комплексированных системах. В пределах данной работы считаем, что в качестве входных ТВ- и ТПВ-изображений используются полутоновые изображения (256 градаций яркости), полученные одномоментно с единого ракурса, без сдвига друг относительно друга и имеющие одинаковый масштаб.
В качестве тестовых изображений для исследований были выбраны изображения, приведенные на рис.1.
Рис. 1. Тестовые ТВ-изображение (а) и ТПВ-изображение (б)
96
Выбор данного набора рассматриваемых методов совмещения обусловлен тем, что они достаточно просты и допускают возможность распараллеливания в случае невозможности реализации в режиме реального времени.
Авторами были программно реализованы для сравнения следующие методы информационного совмещения изображений:
1. Метод суммирования яркостей пикселей, при котором яркость каждого пикселя совмещенного изображения вычисляется как полусумма яркостей пикселей двух разнодиапазонных изображений по формуле
(/2,
Iсов Ш\ = (!тв Ш\ + !тпв [[
где 1сов [1 \[/ \ - яркость пикселя совмещенного изображения; I
тв
- яркость пикселя телевизионного изображения; 1тпв [/][/ \ - яркость пикселя тепловизионного изображения.
2. Метод "шахматной доски" [1], при котором считывают пиксели первого и второго изображений и последовательно записывают в результирующее изображение значения этих пикселей. Причем на нечетных строках записывают последовательно пиксели первого и второго изображений, а на четных строках - последовательно пиксели второго и первого изображений.
ТВп ТВ12 тв13 ТВ14
ТВ21 тб22 ТВ23 ТВ24
ТВз! ТВ32 ТВ33 ТВз4
ТВ41 ТВ42 ТВ43 ТВ44
... ...
ТПЕЦ ТПЕ12 ТПВ13 ТПВ14
ТПВ21 ТПВ22 ТПВ23 ТПВ24
ТПВ31 тпв32 ТПВ33 ТПВ34
ТПВ41 ТПВ42 ТПВ43 ТПВ44
ТВц ТПВ12 № ТПВ14
ТПВ21 ТВ22 ТПВ23 ТВ24
ТВ31 ТПВ32 ТВ33 ТПВ34
ТПВ41 тв42 ТПВ43 ТВ44
Рис. 2. Схема совмещения изображений по методу 2
97
3. Метод [2], при котором первоначально попеременно записываются строки в память результирующего изображения. Порядок записи сводится к чередованию строк изображения. Например, нечетным строкам соответствуют пиксели инфракрасного изображения, а четным - телевизионного изображения. После этого производится междустрочная интерполяция, в результате которой каждый пиксель полученного изображения будет представлять собой сумму половины яркости своего пикселя и четверти яркости соседних пикселей на строку выше и строку ниже. Высота результирующего изображения равна сумме высот исходных изображений.
4. Метод [3], при котором первоначально определяется наиболее информативный канал, допустим, ТВ-канал. Тогда для ТПВ-канала вычисляется средняя яркость по формуле
N М
X X1 тпв И/ ]
- _ I_1/=1
1 тпв _ NM ' где N и М - размеры изображения по высоте и ширине.
Затем вычисляют среднее значение абсолютных разностей между яркостями пикселей ТПВ-изображения и средним значением яркостей по формуле
N М _
X X11 тпв \}1и] — 1 тпв I I _1/_1
I
Атпв NM
Значение яркости совмещенного изображения вычисляется по формуле
1сов И\/] _ 1тв \|]\/}+ 11тпв]\/] -1тпв 1 -1Атпв.
5. Метод [4], при котором также первоначально выделяется наиболее информативный канал, например ТВ-канал. Затем по методу наименьших квадратов определяются оценки линейной регрессии а и Ь величин яркости ТПВ-канала по значениям яркостей ТВ-канала. Параметры а и Ь вычисляются по формулам
N М N М N М
NM XXI тв И/]1 тпв И/]- X XI тв \ Ы X XI тпв 1 _1/_1 1 _1/ _1 1 _1/_1
а _
Ь _
NM _ NM _
NM XX I тв (XXI тв
|_1/_1 |_1/_1
Г N М N М
XXI тпв ИЬ] а X X ^в\
1_1/_1 I _1/_1
NM
Далее формируют промежуточное изображение по формуле
I пр \Ш ]_ а тв \|]\ 1 ] + Ь-98
Значение яркости совмещенного изображения вычисляется по формуле
1 сов И/'\ = 1тв ЬЪ\ + С(1 тпв [I/\ - !пр И/'])> где С - корректирующий коэффициент.
6. Метод, являющийся модификацией метода, рассмотренного в статье [5]. Данный метод основан на использовании вейвлет-преобразования. В отличие от Фурье преобразований вейвлет-базисные функции являются хорошо локализованными, что дает возможность проводить локальный спектральный анализ [6]. Спектральные вейвлет-коэффициенты соответствуют не только амплитудам различных частот, но и различным пространственным участкам на изображении.
Для осуществления быстрого алгоритма вычисления вейвлет-преобразования в качестве базиса выбрана система вейвлетов Хаара [7]. Данная система вейвлетов требует минимум вычислений, что немаловажно в условиях требований выполнения операций совмещения изображений в реальном масштабе времени.
Простейшим видом вейвлет-базиса для изображений является разделимый базис, получаемый сжатием и растяжением одномерных вейвлетов. На каждом шаге преобразования выполняются два разбиения по частоте. Предположим, имеем изображение размером Сначала каждая из N строк изображения делится на низкочастотную и высокочастотную половины. Далее, каждый столбец делится аналогичным образом. В результате получается четыре изображения размерами N/2^/2: низкочастотное по горизонтали и вертикали, высокочастотное по горизонтали и вертикали, низкочастотное по горизонтали и высокочастотное по вертикали и высокочастотное по горизонтали и низкочастотное по вертикали, как показано на рис. 3.
НЧНЧ ВЧНЧ
НЧВЧ ВЧВЧ
Рис. 3. Структура вейвлет-спектра изображения
Разработанный алгоритм совмещения видеоинформации различных физических каналов на основе анализа информативности вейвлет-коэффициентов представляет собой следующий порядок операций:
99
- синхронное вейвлет-преобразование изображений обоих каналов и формирование матриц спектральных вейвлет-коэффициентов для исходных ТВ- и ТПВ-изображений;
- суммирование с заданными весами соответствующих пар вейвлет-коэффициентов НЧНЧ части вейвлет-спектра (в данной работе значения весов для ТВ- и ТПВ-каналов приняты равными 0.5);
- сравнение соответствующих пар вейвлет-коэффициентов по величине модулей НЧВЧ, ВЧНЧ и ВЧВЧ вейвлет-спектра и выбор наибольшего из них;
- формирование матрицы результирующего вейвлет-спектра;
- обратное вейвлет-преобразование для получения комплексиро-ванного изображения.
Отличием данного метода от метода, предложенного в работе [5], является другой принцип формирования вейвлет-коэффициентов НЧНЧ области результирующего вейвлет-спектра.
В качестве метода предобработки исходных изображений и постобработки совмещенного изображения с целью повышения контраста и нормализации диапазона яркостей изображений использовался метод линейного растяжения гистограммы по заданному в процентах пороговому значению. Согласно данному методу, преобразование уровней яркости осуществляется по формуле:
1вых[1\и\ = а + Ывх[1 где коэффициенты а и Ь вычисляются по формулам:
а _ — ^Кин
Ъ =
О1 макс ^мин )
255
О1 макс ~ ^мин )
где Нмин и Нмакс - значения яркости исходного изображения, вычисляемые по гистограмме изображения по заданному в процентах пороговому значению £пор в областях низкой и высокой интенсивности соответственно.
Для определения Нмин вычисляется сумма значений гистограммы в сторону возрастания яркости, начиная со значения яркости равного 0, нормируется на количество элементов изображения и сравнивается с заданным порогом £пор. Как только значение этой суммы становится больше или равным порогу, в качестве Нмин фиксируется значение индекса, соответствующее последнему суммируемому элементу гистограммы. Вычисление ^макс выполняется аналогичным образом, только суммирование начинается от значения яркости равного 255 и выполняется в сторону убывания яркости.
Результаты исследований. Результаты совмещения для тестовых изображений всех шести исследуемых методов приведены на рис. 4 (изображение рис. 4, в) по методу 3 дано в едином масштабе с остальными изображениями).
д е
Рис. 4. Результат совмещения изображений: а - по методу 1, б-по методу 2>в-по методу 3, г- по методу 4, д - по методу 5, е-по методу 6
101
Для тестирования исследуемых методов использовался компьютер с процессором Intel Core i5-4440 3.1 ГГц и 16Гб оперативной памяти.
В табл. 1 отображено время выполнения сравниваемых методов при последовательной однопоточной реализации для изображений размером 576х576 элементов.
Таблица 1
Параметры быстродействия методов совмещения изображений
Метод совмещения Время выполнения, мс
1 8.2
2 9.4
3 27.0
4 10.5
5 21.8
6 42.8
Для количественной оценки результатов совмещения изображений использовалась мера качества изображений 881М, приведенная в работе [8].
Мера качества 881М изображений X и У вычисляется по формуле
(2МхМу + С1)(2аху + С 2)
SSM (X ,Y)
(mX +m2y + QXs2 + s2 + C2)
7 7
где т х и ту - средние значения изображений X и У; ох и о у - дисперсии изображений X и У; оху - ковариация изображений X и У; С и С2 -константы.
Данная мера вычислялась дважды, для результата совмещения и ТВ-изображения, результата совмещения и ТПВ-изображения, и в качестве результирующей меры качества бралась их полусумма.
Рассчитанные численные значения данной меры качества приведены в табл. 2.
Таблица 2
Меры качества методов совмещения изображений
Метод совмещения Мера качества SSIM
1 0.529
2 0.275
3 0.523
4 0.441
5 0.470
6 0.485
Заключение. Результаты анализа времени выполнения показывают, что большинство рассмотренных методов совмещения изображений могут быть реализованы в режиме реального времени. Метод 6 с использованием вейвлет-разложения также может быть реализован в реальном времени при условии многопоточной реализации на процессоре компьютера или на видеокарте при использовании технологии CUDA.
Результаты анализа численных параметров оценки качества SSIM совмещенных изображений показывают, что наивысшее значение эта оценка получает при совмещении по самому простому методу 1(метод полусуммы), что вызывает сомнение в правомерности его использования для оценки различных методов совмещения.
Несомненно, наиболее объективной оценкой качества изображения является оценка, данная человеком. Так, при внимательном рассмотрении результатов, особенно на динамических сценах с небольшими подвижными объектами, можно сделать вывод, что малоразмерные объекты наиболее хорошо видны на результирующих изображениях, полученных по методам 1, 3, 6, при этом метод 6 ^ использованием вейвлет-разложения) дает лучшую проработку объектов в области высоких пространственных частот, что позволяет считать его наиболее оптимальным среди всех перечисленных методов.
Список литературы
1. Патент РФ №2435221. Способ совмещения изображений, полученных от различных фотодатчиков, и устройство для его реализации // И.Л. Ерош, М.Б. Сергеев, Н.В. Соловьев, Г.П. Филатов, А. А. Козлов, М.Ю. Литвинов. Опубл. 2007.
2. Совмещение изображений от датчиков различных диапазонов частот / А.Н. Ветров, А.А. Осипова, М.А. Гахзар, И.Ю. Артюхин // Современные проблемы науки и образования. 2013. № 6.
3. Патент РФ №2451338. Способ комплексирования цифровых полутоновых телевизионных и тепловизионных изображений // А.П. Богданов, Л.Н. Костяшкин, А.В. Морозов, О.В. Павлов, Ю.Н. Романов, А.В. Рязанов.
4. Патент РФ №2540778. Способ комплексирования цифровых полутоновых изображений // В.Н. Тикменов, С.В. Купцов, В.В. Лаптева, И.А. Козлитин.
5. Метод комплексирования информации от многоканальной системы с использованием вейвлет-спектров / В.В. Тетерин [и др.] // Оптический журнал, 2006. Т. 73. 10.
6. Петухов А.П. Введение в теорию базисов всплесков. Спб.: Изд-во СПбГТУ, 1999. 132 с.
7. Воробьев В.И., Грибунин В.Г. Теория и практика вейвлет-преобразования // ВУС. 1999. 204 с.
8. Zhou Wang, Eero P. Simoncelli and Alan C. Bovik. Multi-scale structural similarity for image quality assessment // Proceedings of the 37th IEEE Asilomar Conference оf Signals, Systems and Computers, Pacific Grove, CA. 2003. Nov. 9 - 12.
Фролов Владимир Николаевич, ген. директор, fvnaniirpi. com, Россия, Санкт-Петербург, ул. Маршала Говорова, АО «Научно-производственное предприятие «Авиационная и морская электроника»,
Тупиков Владимир Алексеевич, д-р техн. наук, проф., зам. ген. директора, директор научно-производственного комплексаробототехнических систем специального назначения, tupikov@nppame. ru, Россия, Санкт-Петербург, АО «Научно-производственное предприятие «Авиационная и морская электроника»
Павлова Валерия Анатольевна, канд. техн. наук, зам. директора, [email protected], Россия, Санкт-Петербург, АО «Научно-производственное предприятие «Авиационная и морская электроника»
Александров Владимир Александрович, вед. науч. сотрудник, alexvlad3@,mail. ru, Россия, Санкт-Петербург, АО «Научно-производственное предприятие «Авиационная и морская электроника»
INFORMATIONAL IMAGE FUSION METHODS IN MULTICHANNEL OPTOELECTRONIC
SYSTEMS.
V.N. Frolov, V.A. Tupikov, V.A. Pavlova, , V.A. Alexandrov
The given article reviews six methods of multichannel image fusion. Source images obtained by TV channel and IR channel are used. Performed comparative estimation of the methods speed, as well as quantitative and qualitative estimation of the results.
Key words: fusion images, multichannel optical electronic systems.
Frolov Vladimir Nikolaevich, Director General, fvn@niirpi. com, Russia, Saint Petersburg, JSC "Research and Production Enterprise "Air and Marine Electronics",
Tupikov Vladimir Alekseevich, doctor of technical sciences, professor, Deputy Director General, Director of research - industrial complex robotic systems special purpose (RIC RSSP), tupikov@nppame. ru, Russia, Saint Petersburg, JSC "Research and Production Enterprise "Air and Marine Electronics",
Pavlova Valeria Anatolyevna, candidate of technical science, Deputy Director of research at RIC RSSP, pavlova@nppame. ru, Russia, Saint Petersburg, JSC "Research and Production Enterprise "Air and Marine Electronics",
Alexandrov Vladimir Alexandrovich, Leading Researcher, alexvlad3@,mail. ru, Russia, Saint Petersburg, JSC "Research and Production Enterprise "Air and Marine Electronics"
