CC BY
3ISSN GS6S-5SS6
НАУЧНОЕ ПРИБОРОСТРОЕНИЕ, 2GG1, том 11, № 1, c. 77-SG
ОРИГИНАЛЬНЫЕ СТАТЬИ
УДК 6S1.3.G6 © В. В. Вашкелис
ПРИНЦИПЫ ПОСТРОЕНИЯ ВЫСОКОРАЗРЕШАЮЩИХ СИСТЕМ ПОФРАГМЕНТНОГО СКАНИРОВАНИЯ ИЗОБРАЖЕНИЙ
Оцифровка изображений является важным этапом всех задач обработки изображений. Однако при регистрации изображений с высоким разрешением обычно возникает ряд проблем. Большинство из них может быть решено путем создания систем на основе алгоритма многокадрового сканирования. Здесь описываются основные принципы этого метода и представляется одно из разработанных устройств.
ВВЕДЕНИЕ
В данной статье представлены результаты работы, полученные в ходе исследований по созданию систем оцифровки изображений с высоким оптическим разрешением.
Проблема разрешения так или иначе встает почти во всех задачах, связанных с вводом и обработкой изображений. При этом класс научноисследовательских и коммерческих задач, где необходима оцифровка изображений с высоким разрешением, очень широк.
Относительно невысокое разрешение большинства современных цифровых камер связано с технологическими ограничениями в размерах полупроводниковых структур, на основе которых производятся светочувствительные ПЗС-приборы [1]. В силу этого создание ПЗС-матриц с числом элементов больше 3-4 млн либо просто невозможно, либо затраты на их производство оказываются чрезвычайно велики. Такое положение вещей создает ситуацию, когда матрицы самых дорогих студийных камер содержат не более 3000x2000 элементов [2-3], что определенно является недостаточным, поскольку даже кадр обычной узкоформатной слайдовой фотопленки содержит около 20 млн пикселов.
Одним из способов увеличения разрешающей способности стало появление камер со сканированием, работающих подобно планшетному сканеру. В таких камерах изображение формируется при помощи линейной ПЗС, перемещающейся вдоль задней фокальной плоскости камеры. Формат изображений, получаемых такими камерами, ограничен числом элементов используемых линейных ПЗС и может достигать ~ 7000 х 6000 элементов.
Однако камеры со сканированием и камеры на основе ПЗС-матриц широкого формата относятся
к классу самых дорогих устройств, и их цена доходит до нескольких десятков тысяч долларов.
Предлагаемая в данной статье методика позволяет строить системы ввода изображений, оптическое разрешение которых превышает разрешение самых современных и дорогих цифровых фотокамер, притом что стоимость таких систем оказывается значительно меньшей.
ОСНОВЫ МЕТОДА ПОФРАГМЕНТНОГО ФОРМИРОВАНИЯ ИЗОБРАЖЕНИЙ
Рассматриваемый принцип построения систем ввода изображений состоит в оцифровке трехмерных и плоских сцен кадрами малого размера с автоматическим объединением полученных фрагментов в единый графический файл. Такой подход позволяет снять сразу несколько актуальных проблем.
Во-первых, таким образом можно получать практически любую величину оптического разрешения. Разрешение будет зависеть от соотношения между размером светочувствительного элемента регистрирующего устройства (в данном случае ПЗС-матрицы) и размером изображения, формируемого оптической системой. Например, при использовании оптики стандартной 35-мм камеры (формат изображения 35x24 мм) и ПЗС-камеры с размером светочувствительного элемента 10x10 мкм получаемый кадр будет иметь разложение 3600x2400 точек (8.64 млн пикселей). При применении оптики так называемого павильонного фотоаппарата (10x12 см) возможно получение кадра 10 000x12 500 элементов, или 125 млн пикселей. Использование ПЗС-матриц с более компактной упаковкой светочувствительных ячеек позволяет получать изображения с числом элементов до 250 млн. Сегодня такое оптическое разре-
шение не доступно ни одному из серийно выпускаемых устройств.
Вторым немаловажным фактором является существенный выигрыш в стоимости по сравнению с цифровыми фотокамерами высокого класса. Основным стоимостным вкладом в цену таких камер является цена ПЗС-матрицы, а для камер со сканированием — еще и стоимость высокопрецизионной механики. В приборах же с пофрагментным принципом формирования изображений нет необходимости применять сверхдорогие ПЗС-приборы и высокоточную механику, что автоматически ведет к резкому снижению стоимости устройства.
Принцип пофрагментной оцифровки изображений в чем-то схож с технологией, использованной в камерах со сканированием, только в данном случае сканирование производится по двум осям (вертикальной и горизонтальной) и используется не линейная ПЗС, а матричная. Вторым существенным отличием является то, что если в камерах со сканированием объединение строк изображения происходит механически, путем обеспечения перемещения ПЗС-датчика с точностью до одного пикселя, то в данном случае для совмещения оцифровываемых отдельно фрагментов используются программные процедуры.
Для объединения всех введенных фрагментов в единый файл перемещения матрицы должны производиться с таким шагом, чтобы кадры оцифровывали изображение с некоторым взаимным перекрытием.
Процедура объединения кадров состоит в том, что в той области, которая принадлежит зоне перекрытия двух кадров, выбирается так называемый образец (некоторая небольшая часть изображения) и для этого образца определяется максимально ему соответствующая выборка из присоединяемого кадра, которая соответственно также принадлежит области перекрытия этих двух кадров. Найдя такую выборку и зная ее положение в своем кадре, мы можем точно определить величину взаимного перекрытия самих фрагментов, а соответственно и объединить два изображение в одно целое. Проведя такую процедуру последовательно для всех кадров, можно объединить их в единое изображение.
Математический аппарат, позволяющий решать эту задачу, достаточно обширен. Мы можем назвать способы регистрации изображений, основанные на методе Фурье-анализа, на морфологическом анализе изображений или на разностном алгоритме подобия [4].
В реализованной автором модели камеры используется морфологический метод [5-6]. Этот выбор обусловлен тем, что данный алгоритм отличается высоким быстродействием, устойчивостью к отклонениям яркости (которые могут возникать при нестабильном внешнем освещении), а
также простотой реализации.
Степень подобия двух сигналов определяется по минимуму морфологической кросскорреляци-онной функции R(k,l). Если в качестве образца мы возьмем из первого изображения прямоугольную выборку g(x,y), то величина корреляции будет определяться как
R(k, і ) = тах[ g( x, у ) - f2(x + k, у + і )] -
- тіп[ g (x, у) - f2 (x + k, у + і )], k є [0, К), і є [0, L),
(1)
где К, L — формат выборки-образца, /2 (х,у) — сигнал второго, присоединяемого, кадра, а параметры (к,1) определяют смещение выборки g относительно кадра /2
Качество объединения кадров проверялось как на специальных тестовых изображениях с известными параметрами взаимного перекрытия, так и при работе камеры в реальном режиме. Исследования на тестовых изображениях показали, что метод устойчиво работает в условиях искажений по шумам, яркости, расфокусировки, которые превышают отклонения, возникающие при работе в реальных условиях.
КОНСТРУКЦИЯ КАМЕРЫ С ПОФРАГМЕНТНЫМ ВВОДОМ ИЗОБРАЖЕНИЙ
Рассмотрим схематичную конструкцию такой цифровой фотокамеры (рис. 1). Оптическая система формирует изображение плоского или трехмерного объекта. В плоскости этого изображения перемещается ПЗС-матрица, по очереди регистрируя от-
ПЗС-матрица
Рис. 1. Упрощенная схема камеры
дельные фрагменты сцены. Полученные кадры сохраняются в оперативной памяти компьютера или пишутся на жесткий диск. Геометрический размер большинства современных ПЗС-камер приблизительно равен 5x5 мм. Беря в качестве примера формат 35-мм фотокамеры, мы получаем, что такое изображение покрывается ~ 35 кадрами (7x5). На самом деле количество кадров по каждой оси должно быть увеличено как минимум на один или даже более для обеспечения межкадрового перекрытия.
Перенос задачи совмещения фрагментов с механической части на программное обеспечение, с одной стороны, сильно упрощает механику устройства и снижает его стоимость, а с другой — позволяет организовывать ввод изображения более гибко. Например, можно организовывать ввод не всего кадра, а любой его части, причем вполне произвольной формы. В этом случае интересующая область примерно оценивается оператором через видоискатель с нанесенной прицельной сеткой, а затем описывается набором точек, указываемых в рабочем окне интерфейсной программы. По этим точкам аппроксимируется граница области, и перемещение ПЗС-матрицы происходит внутри этих границ. Формируемый графический файл всегда имеет прямоугольную форму, однако за счет того, что оцифровывается не весь доступный растр, а лишь некоторая его часть, экономятся время при оцифровке изображения и место на диске при его хранении. Как показывает практика, возможность оцифровки произвольной части изображения оказывается полезной во многих измерительных и исследовательских задачах.
Время экспозиции сцены зависит от того, насколько быстро ПЗС-датчик сможет обойти все изображение и сохранить отдельно введенные кадры в памяти. Данное время определяется не только скоростью позиционирования механической части устройства, но и тем, насколько сильными являются вибрации, возникающие при перемещениях.
Механическая часть представляемого здесь устройства позволяет оцифровывать до четырех кадров в секунду без проявления каких-либо заметных вибрационных помех. Смещение матрицы на один шаг (около 4.5 мм) происходит примерно за 180 мс, и примерно 70 мс отводится на виброгасящую задержку. Тем не менее эти параметры целиком зависят от конструкции механической части, и в других механических схемах скорость оцифровки может быть выше. Величина паузы выбиралась такой, чтобы гарантированно исключить проявление вибрационных искажений — характерного размывания деталей изображения. Наличие или отсутствие такого размывания определялось визуально.
При нормальном уровне внешнего освещения фиксация данных в регистрах ПЗС-матриц происходит в течение 20 мс. После этого матрица под управлением встроенного микроконтроллера пе-
ремещается к следующей позиции экспонирования, и в это же время видеоданные через интерфейсную плату считываются в оперативную память компьютера. Время считывания данных составляет 100 мс. Таким образом, цикл ввода одного кадра составляет 120 мс, что меньше того времени, которое затрачивается на перемещение матрицы между отдельными позициями экспонирования.
При использовании в системе ПЗС-матрицы, содержащей, например, 0.5 млн пикселей, производительность устройства составит ~ 2 млн элементов в секунду (2 Мб/с). При этом время экспозиции сцены, содержащей около 40 млн точек, составит ~ 20 секунд. У лучших студийных камер со сканированием, например у камеры Digital Camera Back фирмы Dicomed, время экспозиции изображения такого же формата составляет несколько минут. Такой выигрыш во времени достаточно полезен, поскольку позволяет фиксировать изображения условно статичных объектов и с меньшими требованиями к стабильности освещения.
Для получения качественных выходных графических файлов может потребоваться математическая обработка мест "состыковки" кадров. Эта операция направлена на устранение видимой границы между кадрами, которая в основном проявляется из-за перепадов яркостей на месте состыковки. Такой перепад может возникать при не очень стабильном уровне внешнего освещения, поскольку фрагменты оцифровываются не одновременно, а последовательно друг за другом. Поэтому при колебаниях освещения соседние кадры могут быть экспонированы с различной засветкой. В этом случае проблему решает линейное параметрическое усреднение данных по области перекрытия. Например, если обрабатывается вертикальная граница между кадрами, f1(x,y) — сигнал в левом кадре, f2(x,y) — сигнал в правом кадре, а L
— величина взаимного перекрытия этих двух кадров, то усредненный внутри зоны перекрытия сигнал f(x,y) будет определяться как
f (x, У) =
k (x)fi (x, У) + k2 (x)f2 (x, y) L
(2)
k1(x) = L - x, k2(x) = x, 1 < x < L - 1.
Аналогичным способом обрабатываются и горизонтальные границы.
ЗАКЛЮЧЕНИЕ
Пример обработанного изображения можно видеть на рис. 2 в качестве результата работы экспериментальной камеры, использующей предложенный принцип. Представленный цифровой снимок имеет формат 2286x2380 точек, полученный объединением 25 кадров (5x5). Каждый кадр имеет
формат разложения 540x572 точки. Формат выходного файла объясняется использованием достаточно большого межкадрового перекрытия, которое в дальнейшем может быть уменьшено. Время экспозиции изображения составило около 6 секунд. На компьютере класса Репйит 11-300 время объединения двух кадров составляет около 300 мсек. Примерно такое же время требует обработка границы между кадрами. Всего на данном изображении 40 границ, поэтому обработка сцены после оцифровки фрагментов занимает около 26 с. Общее время оцифровки сцены ~ 0.5 мин. Снимок производился с расстояния двух метров, размер оригинала 1.5 x1.5 м.
В завершение отметим, что сегодня представленный принцип реализован не только в виде такой цифровой камеры, но и в виде комплекса для
оцифровки аэрокосмических снимков, который разрабатывался по заказу министерства обороны РФ [7]. Данный комплекс позволяет оцифровывать рулонные аэрокосмические снимки, имеющие размеры до 20 000^400 мм с оптическим разрешением до 2500 ppi. При этом обеспечивается сохранность оригинала, а также возможность оцифровки фрагментов произвольной геометрии.
СПИСОК ЛИТЕРАТУРЫ
1. Пресс Ф.П. Фоточувствительные приборы с зарядовой связью. М.: Радио и связь, 1991. 261 с.
2. Шарыгин М.Е. Сканеры и цифровые фотокамеры / Под ред. О.В. Колисниченко, И.В. Шишигина. СПб.: БХВ-Арлит, 2000. 384 с.
3. Айриг С., Айриг Э., Сканирование — проффе-сиональный подход / Пер. с англ. Мн.: ООО "Попурри", 1997. 176 с.
4. Wood Jeffrey. Invariant Pattern Recognition // Pattern Recognition. 1996. V. 29, N. 1. P. 1-17.
5. Khosravi Mehdi, Schafer Ronald W. Template Matching Based on a Grayscale Hit-or-Miss Transform // IEE Transactions on Image Processing. June, 1996. N. 6. P. 1060-1067.
6. Cardillo John, Mahera A. Target recognition in a cluttering scene using mathematical morphology // Pattern Recognition. V. 29, N. 1. P. 27-49.
7. Вашкелис В.В., Пятышев Е.Н. Специализированный комплекс для оцифровки широкоформатных фотоматериалов // Фундаментальные исследования в технических вузах: Тез. докл. IV Всероссийской научно-методической конф. СПб.: СПбГТУ, 2000. С. 41.
НПП "ЭЛТЕСТ", Санкт-Петербург
Материал поступил в редакцию 31.11.2000.
PRINCIPLES OF IMPLEMENTING HIGH-RESOLUTION MULTIFRAME IMAGE SCANNING SYSTEMS
V. V. Vashkelis
"ELTEST" Research and Production Enterprise, Saint-Petersburg
Scene digitizing is an important stage for all image processing tasks. However high resolution image acquisition usually faces a number of problems. Most of them may be solved by implementing systems with a multiframe scanning algorithm. Here we describe the basic principles of this method and introduce one of the devices developed.
