CC BY
14
Технология HDRI: о возможности восстановления характеристической кривой регистрирующего устройства
А.И. Винокур,
доктор техн. наук, профессор кафедры информационных систем МГУП имени Ивана Федорова
И.Л. Артюшина,
канд. техн. наук доцент кафедры информационных систем МГУП имени Ивана Федорова
Формализована задача восстановления характеристической кривой регистрирующего устройства по результатам муль-тиэкспозиционной съемки сюжетного изображения. Показано, что задача относится к некорректным по Адамару. Предлагается решать методом регуляризации Тихонова. Установлено, что для определения общего контраста исходного изображения необходима дополнительная информация об условиях съемки.
В предыдущих работах авторов [1,2] обоснована перспективность применения HDRI-технологии при оцифровке изображений на различных носителях, их последующем архивном хранении и кросс медийном воспроизведении. В общем случае цель заключается в формировании цифрового изображения дубликационно точно повторяющего оригинал [3]. Необходимым инструментом для его формирования является характеристическая кривая регистрирующего устройства [4]. В разработанной и реализованной в МГУП технологии и информационной системе [2, 5] характеристическая кривая регистрирующей камеры определяется экспериментальной практике такая возможность не всегда имеется, поэтому в настоящей работе предлагается восстанавливать характеристическую кривую по результатам мультиэкспозиционной регистрации сюжетного изображения.
Постановка задачи Исходные данные. Предполагаем, что динамический диапазон исходного изображения превышает динамический диапазон регистрирующей камеры. Вместе с тем, не нарушая общности подхода, для более ясного изложения основных идей, будем считать, что двух экспозиций достаточно для восстановления дубликационно точного (по градационной передаче) цифрового изображения. Таким образом, исходными данными являются два элементарных цифровых изображения. Первое изображение (первая экспозиция) позволяет проработать света, тени не содержат градационных различий. Второе изображение позволяет проработать тени, света не содержат градационных различий. Существенно при этом, что полутона проработаны в обоих изображениях.
Что требуется? Требуется по возможности полно восстановить характеристическую кривую регистрирующей камеры.
Характеристическая кривая
Под характеристической кривой (ХК) принято понимать [6] зависимость сигнала изображения от логарифма экспозиции у = А\дИ).
Рис. 1. Характеристическая кривая и ее производная
у — сигнал изображения, экспозиция H= Et При фиксированном уровне освещенности при съемке lgH однозначно связан с сигналом исходного изображения x, причем естественно требовать, чтобы переменные уи x измерялись в одних и тех же единицах. Нам удобнее задавать ХК
, > dy
посредством производном gx) = так как для HDRI-технологии существенна только форма ХК, а не абсолютные значения логарифмов экспозиции, определяемые чувствительностью камеры. Согласно [7,8] это соотношение перепишем в виде
f(x) = \Xg(x)dx,
Jx0
где x0 соответствует минимальному значению логарифма экспозиции; x— текущее значение логарифма экспозиции.
Для учета изменения освещенности исходного изображения при получении первого и второго элементарных изображений вводим экспозиционный параметр z, который отвечает за положение интервала сигнала исходного изображения относительно ХК
y(z) = f(x,z).
Последняя формула побуждает нас в качестве сигнала изображения использовать логарифмические единицы — оптические плотности, так как только для них выполняется равенство f(x,z) = f(x+z), что существенно облегчает все дальнейшие операции.
Таким образом, в нашем исследовании рассматриваем зависимость оптической плотности изображения от оптической плотности оригинала. Такую зависимость принято называть градационной характеристикой (ГК). Экспозиционный параметр реализует сдвиг ГК относительно горизонтальной оси оптических плотностей оригинала.
/ <-
Рис. 2. ГК с различными экспозиционными параметрами
Очевидно, что на некотором участке производная градационной характеристики элементарного изображения совпадает с производной характеристической кривой. Поэтому для решения задачи восстановления ХК будем рассматривать ГК элементарных цифровых изображений.
Свойства характеристической кривой
Типичная ХК обладает следующими свойствами:
Функция и аргумент (ордината и абсцисса) выражаются логарифмическими единицами. Аргументом является оптическая плотность исходного изображения (оригинала), а функцией - оптическая плотность элементарного цифрового изображения.
Ограниченная функция - имеет минимальное и максимальное значения. Разность максимального и минимального значения определяет динамический диапазон зарегистрированного цифрового изображения. Не уменьшая общности, можно считать, что минимальное значение функции равно нулю. Максимальное - динамическому диапазону зарегистрированного изображения.
Неубывающая непрерывная гладкая функция
Имеет пять выраженных участков. Участок «недодержек» -функция имеет постоянное минимальное значение. Участок «передержек» - функция имеет постоянное максимальное значение. Нижний криволинейный участок - производная возрастает с нулевого значения до максимального. Прямолинейный участок - производная имеет максимальное значение. Верхний криволинейный участок - производная уменьшается от максимального значения до нулевого.
Имеет смысл ввести понятие интервала оптических плотностей оригинала для выбранного значения экспозиционного параметра. Определим его как множество значений оптических плотностей оригинала, минимальное значение которого соответствует началу нижнего криволинейного участка, а максимальное - концу верхнего криволинейного участка. Иными словами, интервал оптических плотностей оригинала - это множество оптических плотностей оригинала, которое регистрируется с ненулевым градиентом, т. е. с сохранением контурной информации (перепады оптических плотностей на границах деталей могут измениться, но сами контуры сохраняются).
В рассматриваемом нами случае величина интервала оптических плотностей оригинала для любого значения экспозиционного параметра будет меньше динамического диапазона оригинала.
Требования к экспонированию для получения элементарных цифровых изображений
Динамический диапазон исходного изображения (оригинала) полностью перекрывается интервалами оптических плотностей оригинала для первой и второй экспозиции.
Для одного из элементарных цифровых изображений на прямолинейный участок ХК попадают «тени» оригинала. Для другого -«света».
Существует множество «полутонов» оригинала, которые попадают на прямолинейный участок ХК обоих элементарных цифровых изображений.
Рис. 3. 2 - «света» на прямолинейном участке Z2 - «тени» на прямолинейном участке
Контроль за их выполнением может проводиться по минимальным и максимальным значениям оптических плотностей элементарных цифровых изображений. Обычно эти требования выполняются, и в настоящей работе рассматривается именно этот случай.
У
Рис. 4. Иллюстрация алгоритма вычисления массива
Исходные данные для построения алгоритма
Исходными данными для построения алгоритма восстановления ХК регистрирующей камеры являются оптические плотности двух элементарных изображений. Однако не все значения могут быть ис-
пользованы. Это связано с тем, что первая и вторая экспозиции производятся в разное время и, возможно, с незначительным сдвигом и поворотом. Все это приводит при формировании единого изображения к возможности появления сдвоенных контуров и «фантомов» [9]. Наша задача заключается в выборе из всего множества пикселей изображения таких, чтобы мы были уверенны в их пространственном соответствии в обоих элементарных изображениях, и чтобы значения оптических плотностей не искажались возможным сдвигом на полпикселя, т. е. пиксели должны лежать в областях с небольшим локальным градиентом оптической плотности, рассматриваемой как функции пространственных координат.
Используя опыт преодоления аналогичных проблем при создании панорамных изображений, предлагается использовать SUFR-технологию [10].
Пространственная привязка пикселей проводится по совмещению SUFR-точек, затем из всего множества точек удаляются контуры и их окрестности. Для оставшегося множества точек проводится ранжирование по сумме оптических плотностей совмещенных пикселей в первом и втором элементарном цифровом изображении.
Введем следующие обозначения:
х - упорядоченная последовательность оптических плотностей оригинала;
ук = /(х, +zk) - соответствующие им значения оптических
плотностей элементарного цифрового изображения с экспозицией номер к
Упорядочивание происходит по следующему правилу:
У/<j У + у2 <у) + у2.
Пусть > тогда, не уменьшая общности можно полагать, что = 0, а = г.
Для получения характеристической кривой необходимо определить для каждого значения / соответствующее значение х, а затем соответствующее ему значение Завершением является получение производной ХК как решение уравнения Фредгольма, приведенного в начале статьи.
Описание алгоритма
Из рис. 4 видно, что последовательность у/ - у/ сначала возрастает, затем достигает практически постоянного значения, близкого к максимальному, а затем снова убывает. Участок постоянных значений соответствует полутонам оригинала, которые при получении обоих элементарных экспозиций попали на прямолинейный участок ХК. Очевидно, что на этом участке значения оптических плотностей оригинала ли-
нейно зависят от оптических плотностей элементарных изображений. Коэффициент пропорциональности носит название коэффициента контрастности и обозначается у.
Обозначим ib и //как начальный и конечный номера участка постоянных разностей. Тогда массив х, определяется по следующим формулам:
1 1 2
для /Ь</< /уХ/ = ^ -У)-У,)
для />/ГуХ/ =ух,ь + У2 - Уь
для /< /ЬуХ/ = ух,/ + У/ -У
В результате вычислений по этим формулам получаем массив ух, содержащий числовые значения, пропорциональные массиву оптических плотностей оригинала. Точное значение параметра у без дополнительных предположений определить невозможно. Возможна оценка минимального значения из выполнения условий, предъявляемых к соотношению динамических диапазонов оригинала и регистрирующей камеры, а также требований к элементарным цифровым изображениям. Однако такая оценка едва ли является полезной, так как дальнейшее использование цифрового изображения проводится на основе концепции кросс медийного воспроизведения, при котором оригинал принципиально не зависит от технологии визуализации. Это обстоятельство является весьма существенным, так как позволяет строить
Рис. 5. Построение ХК на интервале (0; хтах+2)
ХК в координатах {ух/ у}, не теряя строгости подхода.
Чтобы получить значения / в полном диапазоне изменения аргумента х0 <х<хтах + г, рассмотрим обе зависимости У и у2 как непрерывные функции аргумента х, например, с помощью линейной интерполяции. Затем можно провести дискретизацию интервала (0,хтах +г), и для полученной последовательности аргументов вычис-
лить соответствующую последовательность значений функции. Дальнейшая обработка данных ведется по обычной схеме метода регуляризации.
Библиографический список
1. Артюшина И.Л. Информационные системы: проблемы регистрации и воспроизведения изображений / И.Л. Артюшина, А.И. Винокур // Известия высших учебных заведений. Проблемы полиграфии и издательского дела. — 2011. — № 4. — С. 75-82.
2. Артюшина И.Л. Методы регистрации и воспроизведения высококонтрастных оригиналов в системах с ограниченным динамическим диапазоном / И.Л. Артюшина, Р.Ж. Ахтариев, А.И. Винокур // Известия высших учебных заведений. Проблемы полиграфии и издательского дела. — 2009. — № 4. — С. 9-15.
3. Артюшина И.Л. О точности передачи градационной и структурной информации в репродукционных процессах / И.Л. Артюшина, А.И. Винокур // Сборник научных трудов Научно-исследовательского кинофотоинститута «Методы совершенствования технологии кинематографии с использованием вычислительной техники». — М., 1996. — С. 43-47.
4. DebevecPaul. Malic Jitendra Recovering High Dynamic Range Radiance Maps from Photographs, Computer Graphics (Proceedings of SIGGRAPH'97), ACM, 1997
5. AkhtarievR, VinokourA.Quality evaluation algorithms for HDR image generation // Printing future days 2011. Chemnitz. Germany 171-175pp
6. HuntR.W.G. The Reproduction of Colour Sixth Edition // John Wiley & Sons 2004. — 732 p.
7. Сизиков В.С. Устойчивые методы обработки результатов измерений / В.С. Сизиков. — СПб. : Спецлит, 1999. — 240 с.
8. Бакушинский А.Б. Некорректные задачи. Численные методы и задачи / А.Б. Бакушинский, А.В. Гончарский // Издательство Московского университета, 1989. — 200 с.
9. Fredo Durand, Julie Dorsey. Fast Bilateral Filtering for the Display of High-Dynamic-Range Images // Laboratory for Computer Science. Massachusetts Institute of Technology. — 2002.
10. Speeded-Up Robust Features (SURF) Herbert Bay, Andreas Ess, TinneTuytelaars, and Luc Van Gool. — М. : ETH Zurich, BIWI. — 2008. — 14 p.
