Научная статья на тему 'Совмещение растровых изображений в системах технического зрения'

Совмещение растровых изображений в системах технического зрения Текст научной статьи по специальности «Компьютерные и информационные науки»

CC BY
428
80
i Надоели баннеры? Вы всегда можете отключить рекламу.

Аннотация научной статьи по компьютерным и информационным наукам, автор научной работы — Козлов А. А., Литвинов М. Ю., Соловьев Николай Владимирович

Рассмотрены методы совмещения растровых изображений при их одновременном воспроизведении на экране дисплея. Приведены результаты экспериментов, показывающие, что наилучшее визуальное восприятие дает пиксельное совмещение.

i Надоели баннеры? Вы всегда можете отключить рекламу.

Похожие темы научных работ по компьютерным и информационным наукам , автор научной работы — Козлов А. А., Литвинов М. Ю., Соловьев Николай Владимирович

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

Matching raster images in technical vision systems

We discuss some methods of matching raster images while displaying them on the monitor screen. The experiments' results show that the best visual perception is achieved through pixel matching.

Текст научной работы на тему «Совмещение растровых изображений в системах технического зрения»

УДК 681.325

СОВМЕЩЕНИЕ РАСТРОВЫХ ИЗОБРАЖЕНИЙ В СИСТЕМАХ ТЕХНИЧЕСКОГО ЗРЕНИЯ

А. А. Козлов,

соискатель М. Ю. Литвинов,

соискатель Н. В. Соловьев,

канд. техн. наук, доцент

Санкт-Петербургский государственный университет аэрокосмического приборостроения

Рассмотрены методы совмещения растровых изображений при их одновременном воспроизведении на экране дисплея. Приведены результаты экспериментов, показывающие, что наилучшее визуальное восприятие дает пиксельное совмещение.

We discuss some methods of matching raster images while displaying them on the monitor screen. The experiments' results show that the best visual perception is achieved through pixel matching.

Введение

При решении некоторых задач в системах технического зрения, виртуальной реальности и т. п. возникает необходимость совмещения нескольких растровых изображений, полученных различными способами. Например, нейрохирургу совмещение на экране дисплея изображений из атласа головного мозга с томографическими изображениями мозга пациента может помочь при операции. При проведении работ по реконструкции зданий специалистам удобно визуально определять положение скрытых объектов в стенах путем совмещения на экране переносного компьютера или специального шлема реальных изображений, полученных в видимом спектральном диапазоне, с графическими данными (чертежи, схемы) о расположении электрической проводки, водопроводных труб, телефонных линий или других изображений, дающих аналогичную информацию. Системы, решающие подобные задачи, принято называть системами дополненной или смешанной реальности [1].

В некоторых случаях необходимо совмещать реальные изображения одной и той же сцены, получаемые с видеокамер, работающих в разных спектральных диапазонах: в видимом спектре и, например, инфракрасном диапазоне. Это может потребоваться для определения положения теплых или нагретых тел, скрытых некоторым препятствием (тонкой стенкой, туманом и т. п.).

Исключение пространственных искажений

Для совмещения изображений, полученных с источников, расположенных в разных точках пространства, может потребоваться реперная привязка по характерным точкам. В зависимости от выбора вида преобразования совмещаемых изображений (аффинное или проективное) на каждом изображении необходимо найти соответствие между не менее чем тремя (четырьмя) реперами (рис. 1), по координатам которых и вычисляются параметры преобразования для совмещения путем решения системы уравнений [2]. Использование большего числа реперов позволяет компенсировать ошибки при определении их координат путем решения переопределенной системы уравнений методом наименьших квадратов. Обычно в качестве реперов используют либо специально наносимые

■ Рис. 1. Совмещение реперов на изображениях

на изображения, легко выделяемые метки, либо естественные мелкие фрагменты (пересечения дорог, характерные детали зданий или инженерных сооружений и т. п.). В некоторых случаях для нахождения соответствия между реперами на разных изображениях используется сканирующая подсветка узким лучом.

Из сказанного следует, что задача точного совмещения на экране дисплея изображений, полученных системой от двух источников, требует предварительной настройки системы, а также ее оперативной регулировки при существенном изменении параметров сцены. Если для получения совмещаемых изображений используется общий световой пучок, который после разделения попадает на две видеокамеры, работающие в разных спектральных диапазонах, то определение параметров совмещения изображений не требуется.

В динамике совмещение изображений может быть обеспечено с помощью последовательной записи кадров или полукадров в общую память согласно схеме, приведенной на рис. 2.

При воспроизведении видеопотока из таких изображений получаем картину, в которой оба изображения появляются с частотой в два раза меньше исходной, т. е. при частоте воспроизведения 24 кадра в секунду каждое изображение появляется с частотой 12 кадров в секунду.

Эксперименты показывают, что возникающая при этом на экране дисплея иллюзия мигания создает дискомфорт оператору. Увеличение частоты показа позволяет снизить отрицательное воздействие на оператора до приемлемого уровня, но требует повышения быстродействия системы и увеличения объема хранимой информации.

Еще одна проблема, возникающая при реализации совмещения изображений по приведенной на рис. 2 схеме, состоит в том, что при остановке видеопотока на экране дисплея или при необходимости распечатать совмещенное изображение на бумаге будет присутствовать либо первое, либо второе изображение, а совмещения, даже фиктивного, не будет.

На наш взгляд, для преодоления этой проблемы можно предложить несколько разных подходов.

ИК-камера

■ Рис. 2. Совмещение изображений с записью полу-кадрами в общую память

Методы совмещения изображений

Метод врезки одного изображения в другое целесообразно применять в том случае, когда на одном из изображений, например на изображении, полученном в инфракрасном диапазоне, находятся небольшие, легко выделяемые фрагменты, а остальная часть изображения обнуляется. Полученное изображение попиксельно складывается с изображением от другого источника. Например, на инфракрасном изображении стены линии скрытой электропроводки легко выделяются пороговой бинаризацией, и полученное изображение можно попиксельно сложить с изображением стены, полученным в видимом спектральном диапазоне.

Недостаток такого подхода заключается в том, что на полученном в результате совмещения изображении фрагменты разных изображений частично или полностью замещают друг друга (рис. 3), что ухудшает визуальное восприятие видеопотока оператором при значительных размерах фрагментов.

В методе построчной записи результирующее изображение получается путем попеременной записи строк одного и другого изображения, например записи строк первого изображения в четных строках и второго изображения — в нечетных. Аналогично можно использовать последовательную запись столбцов. Основным недостатком данного подхода является известная из физиологии зрения способность человека хорошо выделять вертикальные и горизонтальные линии из повторяющихся наборов пикселей [3]. В результате восприятие совмещенного изображения ухудшается, поскольку внимание оператора отвлекается на фиктивные линии.

В методе пиксельного совмещения в каждой строке результирующего изображения последовательно смешиваются пиксели первого и второго изображений в шахматном порядке согласно схеме, показанной на рис. 4.

Обозначим через aij пиксель изображения А, находящийся в строке с номером i и столбце с номером ]; Ьц — соответствующий пиксель изображения В, а рц — пиксель результирующего изоб-

■ Рис. 3. Совмещение изображений методом врезки одного в другое

Память

совмещенного

изображения

1-е изображение (А) Результат (Р) 2-е изображение (В)

■ Рис. 4. Фрагмент пиксельного совмещения в шахматном порядке

Индексация пикселей исходных изображений в результирующем кадре

І0 І1 І2 І3 І4

І0 а00 Ъ10 а20 Ъ30 а40

І1 Ъ01 а11 Ъ21 а31 Ъ41

І 2 а02 Ъ12 а22 Ъ32 а42

І3 Ъ03 а13 Ъ23 а33 Ъ43

І 4 а04 Ъ14 а24 Ъ34 а44

ражения Р. Тогда результирующее изображение Р формируется следующим образом:

Ріі = ■

-V

если І + І — четное

Ъц , если І + І — нечетное

В таблице приведена нумерация пикселей для начальной части изображения Р.

На рис. 5 показаны результаты экспериментов по построчному и пиксельному совмещению изоб-

ражений, из которых видно, что наилучшее визуальное восприятие дает пиксельное совмещение.

Заключение

Отсутствие вертикальных и горизонтальных линий из повторяющихся наборов пикселей, хорошо выделяемых зрением человека, делает пиксельное совмещение изображений наиболее комфортным при воспроизведении на дисплее и позво-

Исходные изображения

Совмещение по строкам Рис. 5. Результаты совмещения изображений

Совмещение по пикселям

ляет получать качественную бумажную копию при печати. Кроме того, многочисленные эксперименты показали, что для лучшего выделения изображений при описанном методе совмещения целесообразно принять меры для их дополнительного яркостного или цветового разделения. Например, в случае монохромных изображений сделать пер- вое изображение темно-серым, второе — светлосерым. При необходимости совмещения цветных изображений следует смещать палитру для одного изображения в сторону синего, для второго — в сторону красного цвета. Это позволит на одном изображении наблюдать более четкие картины, снятые в разных спектральных диапазонах.

Литература /

1. Компьютерное зрение / Л. Шапиро, Дж. Стокман: Пер. с англ. М.: БИНОМ, 2006. 752 с. 2. Соловьев Н. В. Методы коррекции пространственных искажений изображений плоских объектов в условиях действия полной аффинной группы преобразова- ний // Информационно-управляющие системы. 2003. № 5. С. 7-11. 3. Марр Д. Зрение. Информационный подход к изучению представления и обработки зрительных образов: Пер. с англ. М.: Радио и связь, 1987. 400 с.

/

ПАМЯТКА ДЛЯ АВТОРОВ

Поступающие в редакцию статьи проходят обязательное рецензирование.

При наличии положительной рецензии статья рассматривается редакционной коллегией. Принятая в печать статья направляется автору для согласования редакторских правок. После согласования автор представляет в редакцию окончательный вариант текста статьи.

Процедуры согласования текста статьи могут осуществляться как непосредственно в редакции, так и по е-шаИ (80x@mail.ru).

При отклонении статьи редакция представляет автору мотивированное заключение и рецензию, при необходимости доработать статью — рецензию. Рукописи не возвращаются.

Редакция журнала напоминает, что ответственность за достоверность и точность рекламных материалов несут рекламодатели.

i Надоели баннеры? Вы всегда можете отключить рекламу.