CC BY
100
ОБРАБОТКА ИЗОБРАЖЕНИЙ, РАСПОЗНАВАНИЕ ОБРАЗОВ
Алгоритм восстановления смазанного изображения, полученного вращающейся под углом к горизонту камерой
А.В. Козак1, О.Б. Штейнберг \ Б.Я. Штейнберг1 1 Южный федеральный университет, Институт математики, механики и компьютерных наук имени И.И. Воровича, Ростов-на-Дону, Россия
Аннотация
Данная работа является развитием предыдущих публикаций авторов, в которых рассматривалась задача восстановления изображений, получаемых при горизонтальном смазе. В данной работе построена математическая модель удаления смаза на изображениях, получаемых при вращении вокруг вертикальной оси камеры, оптическая ось которой направлена под углом к горизонту. В этом случае смаз на матрице камеры происходит не по горизонтальным прямым, а по некоторым дугам. Приводятся результаты численных экспериментов, подтверждающие хорошее качество восстановления изображений и высокую производительность алгоритма.
Ключевые слова: обработка изображений, компьютерное зрение, смазанное изображение, модель искажений, сферическая панорама.
Цитирование: Козак, А.В. Алгоритм восстановления смазанного изображения, полученного вращающейся под углом к горизонту камерой / А.В. Козак, Б.Я. Штейнберг, О.Б. Штейнберг // Компьютерная оптика. - 2020. - Т. 44, № 2. - С. 229-235. - DOI: 10.18287/2412-6179-CO-598.
Citation: Kozak AV, Steinberg OB, Steinberg BY. An algorithm for the restoration of blurred image obtained with a rotating camera tilted to the horizon. Computer Optics 2020; 44(2): 229235. DOI: 10.18287/2412-6179-CO-598.
Введение
В предлагаемой статье рассматривается задача восстановления смазанных изображений, получаемых при равномерном вращении камеры вокруг вертикальной оси, проходящей через оптический центр объектива. Камера делает снимки через равные промежутки времени. Предполагается, что оптическая ось камеры наклонена к плоскости горизонта под некоторым постоянным углом. Снимки получаются смазанными, поскольку сделаны во время движения камеры. Эта работа является развитием предыдущих работ авторов [1- 5].
Для многих приложений алгоритм решения задачи восстановления смазанного изображения должен быть достаточно быстрым, чтобы работать в режиме реального времени. Это означает, что время решения задачи должно быть не больше времени получения исходных данных (последовательности смазанных снимков). В [6] отмечено отставание прогресса в скорости чтения данных от скорости вычислительных операций. На современных процессорах умножение чисел может быть более чем на порядок быстрее считывания аргументов этого умножения. Для восстановления снимков необходимо, чтобы соседние снимки имели хотя бы минимальное перекрытие. Таким образом, снимков должно быть, с одной стороны,
достаточно, с другой стороны, не очень много, чтобы компьютер успевал их обрабатывать.
Рассматриваемую в статье задачу можно отнести к фильтрации. В научной литературе описано много цифровых фильтров, ориентированных на восстановление смазанных изображений, получаемых при движении камеры. Метод Люси-Ричардсона [7-9] восстанавливает смазанные изображения более общего происхождения, чем в данной работе, работает с матрицей общего вида и требует С-Ы2 операций, где N -количество пикселей в строке изображения, константа С пропорциональна количеству итераций, которое может иметь порядок нескольких десятков [8]. К близким работам можно отнести методы коррекции изображений в подвижных системах [10]. Известно много методов фильтрации шумов и размытости изображений, которые сводятся к решениям уравнений или вычислениям операторов типа свёртки с компактным носителем (опорной областью, функцией рассеяния точки) [11 -13]. К таким же методам относятся и итерационный алгоритм Ван Циттерта [14], фильтр Винера [15] и другие. Большой обзор фильтров представлен в [16]. Рассмотренные в [16] алгоритмы являются алгебраически эквивалентными стандартной реализации фильтра Калмана, но существенно превосходят его по вычислительным свойствам. Быстрый алгоритм восстановления смазанного
изображения представлен в статье [17]. Поскольку в основе алгоритма данной работы лежит алгоритм устранения смаза из [1, 2], который превосходит по производительности алгоритм [17], предлагаемый алгоритм также обладает этим свойством. Следует отметить, что метод фильтра Винера неприменим к рассматриваемой в данной статье задаче, поскольку этот метод предполагает (после преобразования Фурье) деление на символ исходного оператора свёртки, который, как и в [2], может быть вырожден.
Анализ зависимости качества восстановления изображения от параметров съёмки представлен в работе [1]. Так как в предлагаемом алгоритме задача восстановления сводится к матричным уравнениям, аналогичным уравнениям из [1], то полученные там результаты в полном объёме применимы и к нему.
В работе [1] задача восстановления смазанных снимков сводилась к задаче восстановления смазанной цилиндрической панорамы. В предлагаемой работе восстановление снимков сводится к восстановлению смазанной сферической панорамы.
В [18] приводится классификация панорам, основными классами которых являются цилиндрические, сферические и плоские. Сферические и цилиндрические могут быть как внешними, так и внутренними. В данной работе будут рассматриваться внутренние сферические панорамы. Большинство публикаций о сферических панорамах ориентированы на визуальное рассматривание панорам [18-20].
Создание панорамы для компьютерного анализа рассмотрено в [21]. В этой работе представлена специальная структура данных 8рЬегер1х как основа для обработки сферических панорам. Как и в работах, ориентированных на визуальное рассматривание, 8рЬегер1х строится как склейка нескольких снимков, сделанных фотокамерой в разных направлениях. В работе [21] сформулированы 3 условия, которым должна удовлетворять структура данных для хранения сферической панорамы. В отличие от [21], в данной работе рассматривается не полная сферическая панорама, а панорама, соответствующая полосе сферы. Это позволяет в данной работе использовать двумерный массив для хранения таких панорамных изображений.
Рассматриваемый в данной работе метод восстановления смазанного изображения приводит к задаче удаления смаза на полосе сферической панорамы. Для неё построена математическая модель и разработан алгоритм решения. Программная реализация алгоритма показала высокую эффективность метода.
Полученные в данной работе результаты могут быть использованы в робототехнике, в производстве беспилотных летательных аппаратов и других систем мониторинга пространства.
1. Сведение задачи восстановления смазанных кадров (снимков) к восстановлению сферических панорам
Перейдём к подробному описанию алгоритма восстановления.
Итак, будем рассматривать цифровую фотокамеру, вращающуюся вокруг вертикальной оси, проходящей через оптический центр объектива камеры, с равномерной скоростью. Оптическая ось камеры наклонена под некоторым фиксированным углом к горизонту. Во время выполнения полного оборота камера делает несколько снимков. Снимки получаются смазанными из-за движения камеры.
Воспользуемся простейшей моделью съёмки, изображённой на рис. 1.
Матриц • К »1 а К ^^ А А"
О Объект
Рис. 1. Модель съёмки
Здесь О - оптический центр объектива, Я - расстояние от матрицы камеры до оптического центра. Нам удобнее будет работать не с изображением А' объекта съёмки на матрице камеры, а с симметричным ему относительно О изображением А''. Т.е. мы будем считать, что снимаемый объект радиально проектируется (относительно центра О) на плоскость, перпендикулярную оптической оси и расположенную между оптическим центром объектива и объектом съёмки на расстоянии Я от точки О. При вращении камеры вокруг оси, проходящей через точку О, смаз на матрице камеры происходит не по прямым, а по кривым второго порядка. Это видно из рис. 2.
Рис. 2. Линия пересечения конуса и плоскости является линией смаза
Здесь мы считаем, что матрица камеры (на рисунке - прямоугольник) неподвижна и касается сферы радиуса Я. Произвольный луч с вершиной в центре сферы, вращаясь вокруг вертикальной оси, описывает конус. Линии смаза - это линии пересечения конуса и плоскости.
Образ проекции сферической координатной сетки на касательную плоскость показан на рис. 3.
-80 -60 -40 -20 0 20 40 60 80 Рис. 3. Образ проекции сферической координатной сетки на касательную плоскость
Смаз происходит по образам параллелей. В нашем случае - по кривым второго порядка. Заметим, что чем больше угол наклона оптической оси камеры к горизонту, тем больше кривизна линий смаза, но даже при нулевом угле наклона прямолинейным будет только смаз на горизонтали, проходящей через центр кадра. В то же время пересечение конуса со сферой является окружностью, и смаз на сфере будет проходить по параллелям на сфере. Таким образом, для удаления смаза целесообразно перенести изображение с касательной плоскости на сферу (см. рис. 4).
Дф = агС^
Ду = агсБш
R ооб у-у^ш у
( \
R БШ у + у' 008 у
л/йЯУУ
2 2 + г 2
(1)
-у.
Здесь R - радиус сферы, (ф, у) - сферические координаты центра кадра. На самом кадре удобно взять де-картову прямоугольную систему координат X', Y' с началом координат в центре кадра. Легко доказать, что приращения сферических координат (Дф, Ду) точки M на сфере выражаются через декартовы координаты (*',у') точки M' на кадре по следующим формулам. Заметим, что граница кадра при таком преобразовании переходит в объединение дуг больших кругов на сфере.
В дальнейшем нам понадобятся формулы, выражающие декартовы координаты (г',у') точки M' через приращения сферических координат (Дф, Ду) точки M
X = Ш (ооб (у0 + Ду)п Дф), у' = R (у0 + Ду)ооБ у0 -
- ооб (у0 + Ду)п у0 00Б Дф), (2)
X = (бш (у 0 + Ду )п у 0 +
+ 00Б(у0 + Ду)о0Бу0 00БДф)-1.
Эти формулы также легко доказываются.
Каждый смазанный кадр из серии, сделанной камерой за один оборот, с помощью формул (1) перенесём на сферу. Фактически мы «вслепую», только по известным углам кадров, составляем сферическую панораму (неполную). Пример одного из 10 смазанных кадров приведён на рис. 5.
Рис. 4. Сопоставление точек касательной плоскости и точек сферы
*
Рис. 5. Пример одного из 10 смазанных кадров
Пример получившейся сферической панорамы приведён на рис. 6. Для удобства просмотра сферическая панорама развернута на прямоугольник.
Рис. 6. Изображение полосы смазанной сферической панорамы
Верхняя и нижняя границы панорамы не являются прямыми. Изображение на панораме смазано. Верхняя и нижняя граница панорамы получаются волнообразными. Так как смаз на сфере происходит по параллелям, то однозначно могут быть восстановлены только те из параллелей, которые целиком лежат в панораме. Т.е. узкие полоски, покрывающие волнообразные границы, не восстановимы. Пример перекрытия кадров и восстанавливаемая полоса показаны на рис. 7. На этом рисунке показан вид сверху. Восстановлению подлежит только область между двумя концентрическими окружностями.
Между концентрическими окружностями заключена та часть снимков, которая может быть однозначно восстановлена.
Яг
Рис. 8. Полоса восстановленной сферической панорамы
Алгоритм восстановления полосы смазанной сферической панорамы будет описан ниже. Пример восстановленной панорамы приведён на рис. 8.
На этом рисунке, как и на рис. 6, показана полоса сферической панорамы, развёрнутая на прямоугольник. На этом рисунке хорошо видны две узкие полоски вверху и внизу панорамы, где изображение не восстановлено.
2. Восстановление смазанной сферической панорамы
Рассмотрим сферу радиуса Я. Введём на ней сетку из 2М параллелей и N меридиан. Узлы сетки будут иметь следующие сферические координаты (ф;, %), где
фг =■
V ■ =
2га
N'
2М'
i = 1,2,
, N.
у = 0, ±1, ±2, — , ±М .
Пусть на сфере задано некоторое изображение. Т. е. каждому узлу сетки сопоставлено некоторое число Ху - яркость соответствующего пикселя. Таким образом, изображение задаётся матрицей X размеров ^(2М + 1). В данной работе мы рассматриваем изображения в градациях серого цвета. Цветные изображения задаются тремя матрицами. Работа с ними не отличается от рассматриваемой в этой статье. Исходное изображение равномерно смажем поворотом сферы вокруг вертикальной оси на угол а. Для простоты,
чтобы смаз был целочисленным, будем считать, что а = 2%(к- 1)/^ где к - натуральное число. Общий случай не принципиально отличается от рассматриваемого. Пусть смазанное изображение задаётся матрицей У. Тогда её элементы будут вычисляться по формулам
*■> = 10
• + Х
¿®(к-1),у ^
(3)
где i = 1, 2, ..., N у = 0, ±1, ±2, ..., ±М, Ф - сложение по модулю N. Уравнения смаза (3) можно записать в матричном виде
А - X = кУ,
где А - циклическая матрица размеров NXN вида
(4)
А =
В каждой строке и каждом столбце матрицы (5) содержится ровно k единиц. Для восстановления изображения достаточно решить матричное уравнение (4). Это уравнение подробно исследуется в работах [1-5]. Там предложен эффективный алгоритм для его решения. Очевидно, что предложенный алгоритм можно применять и к полосе сферической панорамы, заключённой между двумя параллелями.
3. Описание алгоритма
Исходной информацией для алгоритма является серия смазанных снимков и параметры съёмки (угловая скорость вращения камеры, угол наклона оптической оси камеры к плоскости горизонта, промежутки времени, через которые делаются снимки, выдержка, расстояние от оптического центра объектива до матрицы камеры). Алгоритм делится на два этапа.
1. Первый этап. Перенос изображений со смазанных снимков на сферу. Осуществляется с помощью формул (1). При этом надо учитывать, что узлы декартовой решётки на снимке не переходят в узлы сферической решётки. Следовательно, необходимо использовать интерполяцию. Практические вычисления показали, что билинейная интерполяция и даже интерполяция по ближайшей точке дают удовлетворительный результат. После этого на сфере выделяется полоса, полностью покрытая снимками. В результате на первом этапе мы получаем полосу смазанной сферической панорамы.
2. Второй этап. Удаление смаза на полосе сферической панорамы с помощью алгоритма, разработанного в работах [2-3]. В результате получается полоса несмазанной сферической панорамы.
Используя формулы (2), легко перенести изображение со сферы на любую касательную плоскость. Т. е. получить снимок, аналогичный сделанному неподвижной камерой. Пример такого снимка приведён на рис. 9.
4. Численные эксперименты: тестирование производительности
Для определения эффективности разработанного алгоритма была написана программа, которая запускалась на компьютере со следующими характеристиками:
Процессор: Intel® Core™ i3-3227U @ 1,90 Гц.
Память: 2 модуля PSD34G16002S: DDR3 2x4 ГБ, частота 1600 МГц.
При замерах времени рассматривались только те части алгоритма, в которых велась работа с цветовыми массивами, и не учитывались части, открывающие файлы и заполняющие эти массивы.
Программа разработана на языке C++ и собиралась компилятором GCC. Тесты проводились для значения флага оптимизации -Ofast.
• Создание полосы сферической панорамы -4,65 секунды.
• Удаление смаза - 0,9 секунды.
• Создание несмазанных кадров - 4,77 секунды.
В численном эксперименте рассматривалась панорама размером 2100*700. Таким образом, предлагаемый алгоритм тратит
2100*700 / (4,65+0,9+4,77) = 0,000007 с / пиксель.
Для сравнения: в численном эксперименте алгоритма работы [1] изображение размером 5500*3500 пикселей восстанавливалось за 1,4 секунды, что составляет 0,0000007 с/пиксель. Таким образом, приведённая в данной работе более общая модель удаления смаза на изображении при вращающейся под углом к горизонту камере требует на порядок больше вычислений.
*
Рис. 9. Снимок после удаления смаза
Следует отметить, что приведённая в данной работе математическая модель смазанного изображения (на сферической панораме) для случая вращения камеры под углом 0 градусов более точна, чем рассмотренная в [1, 2] модель (на цилиндрической панораме) для горизонтально вращающейся камеры. Это связано с тем, что в этом случае верхние и нижние пиксели кадров оказываются под углом к горизонтальной плоскости и находятся на большем расстоянии, чем пиксели, лежащие в горизонтальной плоскости. Некоторые оценки погрешностей вычислений для алгоритма удаления смаза проводились в предыдущих работах авторов [1, 2].
В представленном алгоритме применялась самая грубая интерполяция - по ближайшей точке. Погрешность такой интерполяции не превосходит максимальной погрешности, возникающей при оцифровке, в четырёх соседних точках. Качество представленных рисунков, восстановленных в численных экспериментах, подтверждают данные рассуждения.
5. Дальнейшие исследования
Предложенный в работе метод вблизи полюсов даёт большую погрешность из-за больших отличий декартовой и сферической сеток. Вблизи полюсов требуется модификация алгоритма. Предполагается обобщить работу на случай смазов на дробное число пикселей.
Заключение
В данной работе решается задача восстановления серии смазанных снимков. Разработан алгоритм переноса этих снимков на сферу с последующим удалением смаза на сферической панораме. Вторая часть алгоритма использует результаты работ [2, 3]. Разработанная программная реализация и проведённые численные эксперименты демонстрируют эффективность построенного алгоритма.
Благодарности
Работа выполнена за счёт гранта Южного федерального университета.
Литература
1. Козак, А.В. Быстрое и точное восстановление смазанного изображения, полученного вращающейся камерой / А.В. Козак, Б.Я. Штейнберг, О.Б. Штейнберг // Труды Международной конференции по программной инженерии CEE-SECR '16. - 2016. - 11. - DOI: 10.1145/3022211.3022222.
2. Козак, А. В. Быстрое восстановление смазанного изображения, полученного горизонтально вращающейся камерой / А.В. Козак, Б.Я. Штейнберг, О.Б. Штейнберг // Компьютерная оптика. - 2018. - Т. 42, № 6. - С. 10461053. - DOI: 10.18287/2412-6179-2018-42-6-1046-1053.
3. Козак, А. В. Уравнение дискретной свёртки с характеристической функцией сегмента и его приложение / А.В. Козак, Б.Я. Штейнберг, О.Б. Штейнберг. - В кн.: Труды научной школы И.Б. Симоненко. Выпуск второй.
- Ростов-на-Дону: Изд-во Южного федерального университета, 2015. - С. 157-167.
4. Козак, А. В. Оценка погрешностей при решении уравнения свёртки для восстановления смазанных изображений / А.В. Козак, Б.Я. Штейнберг, О.Б. Штейнберг // Тезисы международной конференции «Современные методы и проблемы теории операторов и гармонического анализа и их приложения VI», Ростов-на-Дону, 24-29 апреля 2016 г. - 2016.
5. Козак, А. В. Развитие исследований быстрого восстановления смазанного изображения / А.В. Козак, Б.Я. Штейнберг, О.Б. Штейнберг // Тезисы международной конференции «Современные методы и проблемы теории операторов и гармонического анализа и их приложения VII», Ростов-на-Дону, 23-28 апреля 2017 г.
- 2017. - C. 28-29.
6. Graham, S.L. Getting up to speed: The future of supercomputing / S.L. Graham, M. Snir, C.A. Patterson. - Washington: National Academies Press, 2005. - 289 p. - ISBN: 978-0-309-09502-0.
7. Lucy, L.B. An iterative technique for the rectification of observed distributions / L.B. Lucy // The Astronomical Journal. -1974. - Vol. 79. - P. 745-754. - DOI: 10.1086/111605.
8. Richardson, W.H. Bayesian-based iterative method of image restoration / W.H. Richardson // Journal of the Optical Society of America. - 1972. - Vol. 62, Issue 1. - P. 55-59. -DOI: 10.1364/JOSA.62.000055.
9. Whyte, O. Non-uniform deblurring for shaken images / O. Whyte, J. Sivic, A. Zisserman, J. Ponce // International Journal of Computer Vision. - 2012. - Vol. 98, Issue 2. -P. 168-186. - DOI: 10.1007/s11263-011-0502-7.
10. Корнилова, А. MEMS-датчики в задачах компьютерного зрения: мы их просто недооцениваем [Электронный ресурс] / А. Корнилова, Я. Кириленко // Международная конференция по программной инженерии CEE-SECR '17. -URL: http://2017. secr.ru/program/submittedpresentations/mem s-sensors-in-computer-vision (дата обращения 8.11.2018).
11. Фурсов, В. А. Построение квадратично-экспоненциальных КИХ-фильтров с расширенной средней областью частотного отклика / В.А. Фурсов // Компьютерная оптика. - 2018. - Т. 42, № 2. - С. 297-305. - DOI: 10.18287/2412-6179-2018-42-2-297-305.
12. Фурсов, В.А. Технология повышения детализации изображений с нелинейной коррекцией высокоградиентных фрагментов / В.А. Фурсов, Е.В. Гошин, К.С. Медведева // Компьютерная оптика. - 2019. - Т. 43, № 3. - С. 484-491. -DOI: 10.18287/2412-6179-2019-43-3-484-491.
13. Дронникова, С.А. Улучшение качества изображений при обработке видеокадров с различным временем экспозиции / С.А. Дронникова, И.П. Гуров // Научно-технический вестник информационных технологий, механики и оптики. - 2017. - Т. 17, № 3. - С. 424-430. -DOI: 10.17586/2226-1494-2017-17-3-424-430.
14. Гуров, И.П. Улучшение качества изображений методом Ван Циттерта / И.П. Гуров, Д.С. Смирнов // Научно-технический вестник Санкт-Петербургского государственного института точной механики и оптики (технического университета). Информационные технологии, вычислительные и управляющие системы. - 2002. -Вып. 6. - С. 178-182.
15. Грузман, И.С. Цифровая обработка изображений в информационных системах: учеб. пособие / И.С. Грузман, В.С. Киричук, В.П. Косых, Г.И. Перетягин, А.А. Спектор.
- Новосибирск: Изд-во НГТУ, 2000. - 168 с.
16. Цыганова, Ю.В. О современных ортогонализованных алгоритмах оптимальной дискретной фильтрации / Ю.В. Цыганова, М.В. Куликова // Вестник ЮУрГУ. Серия: Математическое моделирование и программирование. - 2018. - Т. 11, № 34. - С. 5-30. - DOI: 10.14529/mmp180401.
17. Cho, S. Fast motion deblurring / S. Cho, S. Lee // ACM Transactions on Graphics. - 2009. - Vol. 28, Issue 5. - 145.
- DOI: 10.1145/1618452.1618491.
18. Smith, Ch. Types of panoramic photography [Electronical Resource]. - URL: https://www.picturecorrect.com/tips/types-of-panoramic-photography/ (request date 19.03.2019)
19. PROPHOTOS. Снимаем панорамы. Часть 1 [Электронный ресурс]. - URL: https://prophotos.ru/lessons/17978-snimaem-panoramy-chast-1 (Дата обращения 19.03.2019).
20. Алексеев, В. Панорамная съёмка: основы техники. -URL: https://rosphoto.com/ublogs/panoramnaya-siemka-5411 (Дата обращения 19.03.2019).
21. Adarve, J.D. Spherepix: a data structure for spherical image processing /J.D. Adarve, R. Mahony. - URL: https://www.researchgate.net/publication/311893485_Spher epix_a_Data_Structure_for_Spherical_Image_Processing (request date 19.03.2019).
Сведения об авторах
Козак Анатолий Всеволодович, 1950 года рождения, в 1971 году окончил Ростовский государственный университет (РГУ, ныне - Южный федеральный университет) по специальности «Математика», работает до-
центом кафедры алгебры и дискретной математики Южного федерального университета. Область научных интересов: операторы типа свертки, обработка графических изображений. E-mail: avkozak@bmail.ru .
Штейнберг Борис Яковлевич, 1953 года рождения, в 1975 году окончил Ростовский государственный университет (РГУ, ныне - Южный федеральный университет) по специальности «Математика», работает заведующим кафедрой алгебры и дискретной математики Южного федерального университета. Область научных интересов: высокопроизводительные вычисления, свертки, компиляторы. E-mail: borsteinb@mail.ru .
Штейнберг Олег Борисович, 1982 года рождения, в 2004 году окончил Ростовский государственный университет (РГУ, ныне - Южный федеральный университет) по специальности «Прикладная математика», работает старшим преподавателем в Южном федеральном университете. Область научных интересов: компьютерная оптика, обработка изображений, быстрые алгоритмы, параллельные вычисления. E-mail: olessteinb@smail.com .
ГРНТИ: 28.23.15
Поступила в редакцию 15 июля 2019 г. Окончательный вариант - 3 октября 2019 г.
An algorithm for the restoration of blurred image obtained with a rotating camera tilted to the horizon
A.V. Kozak1, O.B. Steinberg 1, B.Y. Steinberg 1 1 Southern Federal University, Rostov-on-Don, Russia Abstract
This work is a continuation of the authors' previous publications, in which the restoration of images obtained with a horizontally rotating camera was considered. In this paper, a mathematical model is constructed for reconstructing blurred images obtained with a camera rotating in the horizontal plane and having its optical axis tilted at an angle to the horizon. The method of image restoration involves constructing a strip of spherical panorama from the original images. Results of numerical experiments that confirm the good quality of the presented image recovery method and the high performance of the developed algorithm are presented.
Keywords: optical devices, image processing, machine vision, blurred image, computation errors, convolution.
Citation: Kozak AV, Steinberg OB, Steinberg BY. An algorithm for the restoration of blurred image obtained with a rotating camera tilted to the horizon. Computer Optics 2020; 44(2): 229235. DOI: 10.18287/2412-6179-CO-598.
Acknowledgements: The work was done with the financial support of the Southern Federal University.
References
[1] Kozak AV, Steinberg BY, Steinberg OB. Fast and accurate restoration of blurred image obtained by rotating the camera. Proceedings of the 12th Central and Eastern European Software Engineering Conference in Russia CEESECR'16 2016: 11. DOI: 10.1145/3022211.3022222.
[2] Kozak AV, Steinberg BY, Steinberg OB. Fast recovery of a blurred image obtained with a horizontally rotating camera. Computer Optics 2018; 42(6): 1046-1053. DOI: 10.18287/2412-6179-2018-42-6-1046-1053.
[3] Kozak AV, Steinberg BY, Steinberg OB. The discrete convolution equation with the characteristic function of a segment and its application. In Book: Transactions of Scientific School of I.B. Simonenko. Issue 2. Rostov-on-Don: Publishing House of the Southern Federal University; 2015: 157-167.
[4] Kozak AV, Steinberg BY, Steinberg OB. Estimation of errors in solving the convolution equation for reconstructing blurred images [In Russian]. Abstracts of the International Conference «Modern Methods, Problems and Applications of Operator Theory and Harmonic Analysis VI». Rostov-on-Don: 2016.
[5] Kozak AV, Steinberg BY, Steinberg OB. Development of studies on the fast reconstruction of a blurred image [In Russian]. Abstracts of the International Conference «Modern Methods, Problems and Applications Of Operator Theory and Harmonic Analysis VII». Rostov-on-Don: 2017: 28-29.
[6] Graham SL, Snir M, Patterson CA. Getting up to speed: The future of supercomputing. Washington: National Academies Press, 2005. ISBN: 978-0-309-09502-0.
[7] Lucy LB. An iterative technique for the rectification of observed distributions. Astron J 1974; 79: 745. DOI: 10.1086/111605.
[8] Richardson WH. Bayesian-based iterative method of image restoration. J Opt Soc Am 1972; 62(1): 55-59. DOI: 10.1364/JOSA.62.000055.
[9] Whyte O, Sivic J, Zisserman A, Ponce J. Non-uniform deblurring for shaken images. Int J Comput Vis 2012; 98(2): 168-186. DOI: 10.1007/s11263-011-0502-7.
[10] Kornilova AV, Kirilenko IA. MEMS-sensors in Computer Vision: we underestimate them [In Russian]. Software Engineering Conference Russia CEE-SECR '17. Source:
(http://2017.secr.ru/program/submitted-presentations/memssensors-in-computer-vision).
[11] Fursov VA. Constructing a quadratic-exponential FIR-filter with an extended frequency response midrange. Computer Optics 2018; 42(2): 297-305. DOI: 10.18287/2412-6179-2018-42-2-297-305.
[12] Fursov VA, Goshin YeV, Medvedev KS. Technology of enhancing image detalization with nonlinear correction of highly gradient fragments. Computer Optics 2019; 43(3): 484-491. DOI: 10.18287/2412-6179-2019-43-3-484-491.
[13] Dronnikova SA, Gurov IP. Image quality enhancement by processing of video frames with different exposure time. Scientific and Technical Journal of Information Technologies, Mechanics and Optics 2017; 17(3): 424-430. DOI: 10.17586/2226-1494-2017-17-3-424-430.
[14] Gurov IP, Smirnov DS. Improving the quality of images by the method of Van Zittert [In Russian]. Sci Tech J Inf Technol Mech Opt 2002; 6: 178-182.
[15] Gruzman IS, Kirichuk ВС, Kosykh VP, Peretyagin GI, Spektor AA. Digital processing of images in information systems [In Russian]. Novosibirsk: Publishing house ofNSTU; 2000.
[16] Tsyganova, YV, Kulikova, MV. On modern array algorithms for optimal discrete filtering. Bulletin of the South Ural State University, Series "Mathematical Modelling, Programming and Computer Software" 2018; 11(4): 5-30. DOI: 10.14529/mmp180401.
[17] Cho S, Lee S. Fast motion deblurring. ACM Transactions on Graphics 2009; 28(5): 145. DOI: 10.1145/1618452.1618491.
[18] Smith Ch. Types of panoramic photography. Source: (https://www.picturecorrect.com/tips/types-of-panoramic-photography/).
[19] PROPHOTOS. Panoramic shooting. Part 1 [In Russian]. Source: (https://prophotos.ru/lessons/17978-snimaem-panoramy-chast-1).
[20] Alekseev V. Panoramic shooting: the basics of technology. [In Russian]. Source: (https://rosphoto.com/ublogs/panora mnaya-siemka-5411 ).
[21] Adarve JD, Mahony R. Spherepix: a data structure for spherical image processing. Source: (https://www.researchgate.net/publication/311893485_Spher epix_a_Data_Structure_for_Spherical_Image_Processing).
Authors' information
Anatoly Vsevolodovich Kozak (b. 1950) graduated from Rostov State University in 1971 (presently, Southern Federal University, short - SFEDU), majoring in «Mathematic». Currently he works as the associated professor of Algebra and Discrete Mathematics department. Research interests are convolution type operators, image processing. E-mail: avkozak@bmail.ru .
Boris Yakovlevich Steinberg (b. 1953) graduated from Rostov State University in 1975 (presently, Southern Federal University, short - SFEDU), majoring in «Mathematic». Currently he works as the head Algebra and Discrete Mathematics department. Research interests are high-performance computing, convolution, compilers. E-mail: borsteinb@mail.ru .
Oleg Borisovich Steinberg (b. 1982) graduated from Rostov State University in 2004 (presently, Southern Federal University, short - SFEDU), majoring in «Applied Mathematic». Currently he works as the senior researcher of Algebra and Discrete Mathematics department. Research interests are computer optics, image processing, fast algorithms, parallel computing. E-mail: olegsteinb@smail.com .
Received Jule 15, 2019. The final version - October 3, 2019.
