CC BY
103
СИСТЕМНЫЙ АНАЛИЗ, УПРАВЛЕНИЕ И ОБРАБОТКА
ИНФОРМАЦИИ
УДК 535.513.6
МЕТОД УСТРАНЕНИЯ ИСКАЖЕНИЙ ИЗОБРАЖЕНИЯ, ВНОСИМЫХ ЗА СЧЕТ ДИСТОРСИИ ОБЪЕКТИВА ВИДЕОКАМЕРЫ
Е.М. Волотов, С.В. Нестеров, И.В. Митрофанов, Т.А. Акименко, А.Н. Ефимов, С.Б. Кокорина
В настоящее время все более широкое распространение получают различные системы видеонаблюдения. Видеокамеры не являются средствами измерений, им в большей степени присущи различного рода искажения. Поэтому задача устранения искажений изображения становится актуальной. Исходными данными для рассматриваемого метода являются изображения с видеокамеры, объектив которой подвержен радиальному и тангенциальному искажениям. Предложенный метод позволил исправить искаженные несовершенством объектива видеокамеры изображения. Адекватность разработанного метода подтверждается экспериментальными данными, полученными на стенде в лабораторных условиях.
Ключевые слова: видеокамера, объектив, дисторсия, радиальное искажение, тангенциальное искажение.
В настоящее время все более широкое распространение получают различные системы видеонаблюдения. Они применяются практически повсеместно. В гражданской области это изучение полярных льдов, мониторинг стихийных бедствий, обеспечение оперативными данными региональных органов управления, патрулирование и разведка любых объектов и площадей в дневное и ночное время, наблюдение за состоянием и использованием земель сельхозназначения, лесного фонда, водных ресурсов, охотничьих угодий, заповедников, в том числе в труднодоступной и горной местности, мониторинг дорожного движения, наблюдение за большими акваториями и транспортными потоками, аэрофотосъемка, создание современных карт, наблюдение в местах скопления людей и т.д. В военной области [1, 2] на такие системы возлагаются задачи по ведению разведки, оценке расположения и передвижения противника, наблюдение за результатами применения различного вида боеприпасов и т.д. Поскольку видеокамеры не являются средствами измерений, им в большей степени присущи различного рода искажения. Если есть необходимость получения в дальнейшем числовых характеристик наблюдаемых такими системами объектов [3, 5-12], требуется учитывать дистор-сию, вносимую в изображение.
Дисторсией называется погрешность изображения, заключающаяся в нарушении подобия изображения самому предмету вследствие изменения масштаба изображения по мере удаления от центра оптической матрицы. При этом в зависимости от расположения компонентов объектива изменение масштаба от центра к краям поля оптической матрицы изображения может происходить как в сторону его увеличения, так и уменьшения. В результате форма предмета в его изображении искажается в том или другом направлении.
Причина дисторсии заключается в более сильном отклонении лучей периферийными зонами линзы по сравнению с ее центральной частью. Чем дальше от центра линзы проходит луч, тем сильнее он отклоняется.
Для коррекции дисторсии необходимо проанализировать причины их возникновения. Существует много причин возникновения дисторсии. Наиболее существенными из них являются радиальное и тангенциальное искажения. Радиальное искажение возникает в результате отклонения формы линзы от параболической, которую намного легче сделать «сферической», чем сделать более математически идеальную «параболическую» линзу. Тангенциальное искажение является результатом процесса сборки камеры в целом, поскольку трудно обеспечить параллельность объектива и оптической матрицы.
Рассмотрим радиальное искажение, для которого характерно увеличение искажения при движении от центра оптической линзы к периферии. Так как искажения от центра оптической матрицы возрастают одинаково по отрицательным и положительным значениям x и z, то расстояние r, на котором находится точка объекта на оптической матрице, возводится в четную степень. На практике это искажение может быть описано рядом Тейлора в окрестности r = 0, где r - расстояние от центра оптической
2 2 2 матрицы, r = x + z .
Эти искажения описываются уравнениями:
1хи = x(l + k\f 2 + k2r4 + k3r6 ) (1)
zH = z(l + k1r2 + k2r4 + k3r6) где x, z - измеренные координаты объекта на оптической матрице; хи, zH - исправленные координаты объекта; ki, k2, кз - коэффициенты полинома.
Для определения коэффициентов ki, k2, k3 необходимо знать исправленные значения xH и zH. Их можно рассчитать по видеосъемке эталонного объекта.
Возьмем малую область значений x и z, где радиального искажения нет или оно пренебрежимо мало xH » x и zH » z . Анализ графиков величины дисторсии для современных видеокамер показал, что радиальное искажение практически отсутствует для точек объекта, когда они находятся на углах менее l0 градусов от оптической оси. Зная расстояние Dxi и Dzi точек объекта в миллиметрах до центра видеокадра определяют коэффициент пропорциональности в этой зоне по формуле:
r
к _ '
пк/мм _ . '
где Di =-¡Dxf + Dzj .
По выборке нескольких точек находится среднее значение коэффициентов пропорциональности. Тогда для всех точек объекта исправленные значения:
xiH = А/Кср и ziH = А/Кср .
После определения не менее трех значений хи рассчитываются коэффициенты к\, к2, к^ по методу наименьших квадратов, исходя из условия:
п
Х^х2 +к2х4 +к3х6 1=1
где 8х = —-1-х
Выполнение этого условия сводится к решению системы:
п п п п
дЕ
дкг дЕ
дГ2
дЕ
8 хх'
О,
= кг ^ х4 + к2 ^ хб + к3 ^ х8 - ^
¿=1 ¿=1 ¿=1 ¿=1
п п п п
= кг ^ X6 + к2 ^ X8 + к3 ^ X10 - ^ 8 XX4 = О,
1=1
п
1=1
п
1=1 п
1=1 п
дк,
= кг ^ х8 + к2 ^ х10 + к3 ^ х12 - ^ 8 хх6 = 0.
Аналогично, коэффициенты 1к\, к2, можно наити используя не менее трех значений г.
Уравнение (1) обычно используется для объективов любительских видеокамер.
Для профессиональных видеокамер величиной г^ пренебрегают и тогда система уравнений (1) запишется в виде:
А = хЦ + к\г + к2г
12 4 гИ = + к^г + к2г
(2)
Так как радиальное искажение линзы монотонно увеличивается по мере удаления от центра, предлагается не делить видеокамеры на любительские и профессиональные, а для всех видеокамер исправленные значения хи и ги представить в виде показательных уравнений:
„=х1 + кг"
(3)
= г \\+ кг
Определение коэффициентов в (2) и (3) осуществляется по методу наименьших квадратов, аналогично, как и для (1).
Рассмотрим тангенциальное искажение. Это искажение наблюдается, когда оптическая матрица не параллельна главной плоскости линзы. Тангенциальное искажение определяется двумя дополнительными параметрами р^ и р2, которые зависят от углов поворота оптической матрицы у х и у, относительно осей х и г. Поэтому пиксельные координаты объекта для тангенциального искажения определяются по формулам:
Хд X +
% = * +
2р^ + р2(г2 +2х2)
р^г2 +2г2 )+2р2х
(4)
Рассмотрим определение коэффициентов р^ и р2. На рис. 1 приведен вид оптической матрицы (ОМ), повернутой вокруг оси г на угол 7, относительно идеального положения оптической матрицы ОМи. Оптическая ось направлена в центр объекта.
Лучи, идущие от симметричных точек объекта 7] и 7/ оптической оси, регистрируются на оптической матрице с координатами хг и X]. Если бы оптическая матрица была
и х,„соот-
перпендикулярна оптическои оси, то исправленные координаты этих точек хги .. Л/и
ветственно были бы равны по величине и противоположны по знаку, то есть
хт ~ х
7и-
Рис. 1. К вопросу определения коэффициентов р^ и г 2: Т), Т/ — точки объекта,
симметричные относительно оптической оси; F - фокус объектива; ф - угол, на котором находятся точки Т), Т/ от оптической оси; / — фокусное расстояние;
ОМ — оптическая матрица; ОМи — идеальное положение оптической матрицы
ОМ; х, X; — изображение точек Т, Т,■ на оптической матрице ОМ;
' ■ 1 ■
чи>
\/И
■ изображение точек Т, Т/ на идеальной оптической матрице ОМ1
и
у - угол поворота оптической матрицы ОМ относительно идеального положения
оптической матрицы ОМи
Для определения коэффициента р2 применим первое уравнение системы (4) для хги и х/и при условии 2 = 0 и г2 = х2. Тогда:
Х!1
: X + Зр2 X
чи
[" х/и = х/ + 3Р2х / Сложим два уравнения системы (5). Тогда получим уравнение:
х( + х/ =-3р2 (х2 + х2
(5)
Откуда
х[ + х / 3(х? + х 2 )
Аналогично можно получить уравнение для р^ при условии х=0 и г
Р1
Ъ + 2/
2 2.
Предложенный метод устранения искажений изображения, вносимых за счет дисторсии объектива видеокамеры был апробирован на видеокадре с заметными искажениями горизонта (рис. 2).
Рис. 2. Исходный видеокадр
286
Определение дисторсии этой видеокамеры и восстановление изображения проводилось на стенде в лабораторных условиях. В состав стенда входили видеокамера и объект видеорегистрации (рис. 3), представляющий собой набор эталонных прямоугольников с соотношением сторон 16:9. На сторонах этих прямоугольников были выбраны точки с известными расстояниями по осям х и г.
28 27
20 V 19 10 18
12 11 2
3
29 21 О'-.. 1 9 1&Ч 17
6 7
14 15
22 23 2>-_
Рис. 3. Объект видеорегистрации
Во время проведения эксперимента видеокамера устанавливалась на расстоянии 400 мм так, чтобы оптическая ось была направлена как можно ближе к центру. В этом случае центральный эталонный прямоугольник виден под наименьшим углом поля зрения, и искажения отсутствуют. Затем включалась видеокамера, которая регистрировала объект (рис. 4).
Обработка результатов регистрации видеокамеры проводилась в несколько
этапов:
определение коэффициента пропорциональности; расчет исправленных координат точек объекта;
расчет коэффициентов полинома для учета радиального искажения; расчет параметров Р1 и Р2 для тангенциального искажения; восстановление изображения.
Рис.4. Регистрация объекта видеосъемки
На первом этапе обработки в качестве опорных точек объекта были выбраны все точки центрального прямоугольника (точки от 0 до 8 включительно, рис. 3). Результаты первого этапа обработки приведены в табл. 1.
287
Таблица 1
Коэффициенты пропорциональности
№ точки х, пк 2, пк г, пк А, мм К, пк/мм
1 45 2 45,0444 32 1,4076
2 46 -22 50,9902 36,7151 1,3888
3 1 -24 24,0208 18 1,3345
4 -43 -26 50,2494 36,7151 1,3686
5 -43 -1 43,0116 32 1,3441
6 -43 23 48,7647 36,7151 1,3282
7 -1 25 25,02 18 1,39
8 44 27 51,6236 36,7151 1,4061
Кр=1,371
На втором этапе обработки определялись исправленные значения координат хи (для точек 1, 5, 9, 13, 17, 21, 25, 29) и 2и (для точек 3, 7, 11, 15, 19, 23, 27, 31). Результаты второго этапа обработки приведены в табл. 2.
Таблица 2
Исправленные значения координат объекта видеосъемки
№ тчк А, мм х, пк хи, пк № тчк А, мм 2, пк 2и, пк
1 32 45 44 3 18 24 25
5 32 -43 -44 7 18 -25 -25
9 64 88 88 11 36 49 49
13 64 -86 -88 15 36 -49 -49
17 96 130 132 19 54 72 74
21 96 -128 -132 23 54 -75 -74
25 128 171 175 27 72 96 99
29 128 -168 -175 31 72 -97 -99
На третьем этапе обработки методом наименьших квадратов вычислялись коэффициенты полиномов, описывающих радиальное искажение видеокамеры: с использование системы уравнений (1)
к1х = 2,665 • 10
- 6.
кх = 2,673 10
-6
-11.
к2 Х =-4,827 -10 К =-4,932 10-16;
Х
с использование системы уравнений (2)
к22 =-4,831 • 10 к2х =-4,923 10
-11.
-16.
£1х = 1,715 • 10
-6
кх = 1,72 10
-6
-12
к2х =-5,189 10 с использование системы уравнений (3)
к2 2 =-5,213 -10
-12
кх = 1,393 • 10 пх = 1,574;
-5 .
к2 = 1,406 • 10 пх = 1,568.
-5.
На четвертом этапе обработки для определения коэффициента р2 использовались точки 1, 5, 9, 13, 17, 21, 25, 29, а для определения коэффициента р1 использовались точки 3, 7, 11, 15, 19, 23, 27, 31.
Результаты четвертого этапа обработки приведены в табл. 3.
288
Таблица 3
Параметры, описывающие тангенциальное искажение видеокамеры
№ тчк х, пк № тчк х, пк Р2
5 -45 1 43 0,000172
13 -86 9 88 -0,000044
21 -130 17 128 0,00002
29 -168 25 171 -0,0000174
№ тчк z, пк № тчк z, пк Р1
7 -25 3 24 -0,00028
15 -49 11 49 0
23 -75 19 72 -0,0000925
31 -97 27 96 -0,000018
Таким образом. были определены параметры, описывающие радиальную и тангенциальную составляющие дисторсии объектива видеокамеры. Учитывая эти данные, искажения, вносимые объективом видеокамеры, были устранены (рис. 5).
Рис. 5. Исправленный видеокадр
В современных видеокамерах, если оптическая система симметрична и состоит из двух одинаковых линз или групп линз, между которыми расположена диафрагма, то положительная дисторсия, вносимая ее первой половиной, будет в значительной степени компенсироваться отрицательной дисторсией, вносимой второй. В несимметричных объективах предложенный метод устранения искажений изображения, вносимых за счет дисторсии, позволяет добиться хороших результатов в коррекции изображений.
Список литературы
1. Додонов А.Г., Путятин В.Г. Наземные оптические, оптико-электронные и ла-зерно-телевизионные средства траекторных измерений // Математичш машини i систе-ми. 2017. № 4.
2. Князь В.А. Оптическая система захвата движения для анализа и визуализации трехмерных процессов // ГРАФИКОН'2015 Труды Юбилейной 25-й Международной научной конференции. 2015. С. 232-236.
3. Волотов Е.М. Метод определения фокусного расстояния видеокамеры при оценке летно-технических характеристик летательного аппарата // Известия высших учебных заведений. Поволжский регион. Технические науки. Пенза: Пензенский государственный университет, 2012. №4. С.76-83.
289
4. Аттестация оптических средств траекторных измерений следящего типа / Волотов Е.М., Тишлиев А.В., Митрофанов Е.И., Митрофанов И.В. // Автоматизация. Современные технологии. М.: Инновационное машиностроение, 2016. №12. С. 25- 29.
5. Волотов Е.М., Халютин С.П. Метод определения направлений на объект при использовании видеосредств // Научный вестник Московского государственного технического университета гражданской авиации». М.: Московский государственный технический университет гражданской авиации, 2012. №185(11). С. 69-76.
6. Луцков Ю.И., Чупахин А.П. Погрешности видеоаппаратуры при проведении траекторный измерений // Известия тульского государственного университета. Технические науки, 2014. Вып. 9. Ч. 1. С. 120-126.
7. Система обработки информации материалов видеорегистрации при испытаниях образцов авиационной техники и вооружения / Митрофанов Е.И., Волотов Е.М., Ефимов Н.А., Митрофанов И.В. // Труды международного симпозиума «Надежность и качество». Пенза: Пензенский государственный университет, 2014. Т.2. С. 10-15.
8. Середа Н.В., Могильников Н.В. Определение параметров углового движения мины по результатам видеосъемки начального участка траектории // Известия тульского государственного университета. Технические науки, 2014. Вып. 12. Ч. 1. С. 33-40.
9. Середа Н.В. Оценка точности определения углового положения мины по результатам видеосъемки начального участка траектории // Известия Тульского государственного университета. Технические науки, 2014. Вып. 12. Ч. 1. С. 41-45.
10. Чупахин А.П., Савин М.Л. Оценка скорости полета малых летательный аппаратов с помощью видеоаппаратуры // Известия Тульского государственного университета. Технические науки, 2014. Вып. 9. Ч. 1. С. 126-130.
11. Коломиец Л.В., Федоров М.В., Богомолов А.В., Мережко А.Н., Солдатов А.С., Есев А.А. Метод поддержки принятия решений по управлению ресурсами при испытаниях авиационной техники. Информационно-измерительные и управляющие системы, 2010. Т. 8. № 5. С. 38-40.
12. Есев А.А., Зыкин А.П., Яковлева Е.В., Ткачук А.В., Голосовский М.С. Методика оценки технического уровня очков ночного видения, применяемых в составе оборудования боевых вертолетов. Полет. 2013. № 7. С. 40-46.
Волотов Евгений Михайлович, канд. техн. наук, доцент, [email protected], Россия, Ахтубинск, филиал «Взлет» Московского авиационного института (национальный университет),
Нестеров Сергей Васильевич, канд. техн. наук, доцент, [email protected], Россия, Ахтубинск, филиал ««Взлет» Московского авиационного института (национальный университет),
Митрофанов Игорь Викторович, канд. техн. наук, вед. научн. сотрудник, volotovevgeniiagmail.com, Россия, Ахтубинск, Войсковая часть 15650,
Акименко Татьяна Алексеевна, канд. техн. наук, доцент, tа[email protected], Россия, Тула, Тульский государственный университет,
Ефимов Николай Анатольевич, канд. техн. наук, вед. научн. сотрудник, volotovevgeniiagmail.com, Россия, Ахтубинск, Войсковая часть 15650,
Кокорина Светлана Борисовна, инженер-программист,
volotovevgenii@gmail. com, Россия, Ахтубинск, Войсковая часть 15650
METHOD OF ELIMINA TION OF THE DISTORTIONS OF THE IMAGE BROUGHT AT THE EXPENSE OF THE VIDEO CAMERA LENS DISTORTION
E.M. Volotov, S. V. Nesterov, I. V. Mitrofanov, T.A. Akimenko, A.N. Efimov,
S.B. Kokorina
Now more and more various systems of video surveillance are widely adopted. As video cameras aren't measuring instruments, different distortions are more inherent in them. Therefore the problem of elimination of the distortions of the image brought at the expense of a video camera lens distortion becomes relevant.
Basic data for the considered method are images from the video camera which lens is subject to radial and tangential distortions. The offered method has allowed to repair the image video cameras distorted by imperfection of a lens. The adequacy of the developed method is confirmed by the experimental data obtained at the stand in vitro.
Key words: video camera, lens, distortion, radial distortion, tangential distortion.
Volotov Evgenij Mikhaylovich, candidate of technical sciences, professor, vo-lotovevgenii@,gmail. com, Russia, Akhtubinsk, Moscow Aviation Institute (National Re-searchUniversity), branch «Vzlet» in Akhtubinsk,
Nesterov Sergey Vasilyvich, candidate of technical sciences, professor, volotovevge-nii@,gmail.com, Russia, Akhtubinsk, Moscow Aviation Institute (National ResearchUniversi-ty), branch «Vzlet» in Akhtubinsk,
Mitrofanov Igor Viktorovich, candidate of technical sciences, leading researcher, vo-lotovevgenii@,gmail. com, Russia, Akhtubinsk, Military unit 15650,
Akimenko Tatiana Alekseevna, candidate of technical sciences, docent, tantan 72@mail. ru, Russia, Tula, Tula State University,
Efimov Nikolay Anatolyevich, candidate of technical sciences, leading researcher, volotovevgenii@gmail. com, Russia, Akhtubinsk, Military unit 15650,
Kokorina Svetlana Borisovna, engineer-programmer, volotovevgenii@gmail. com, Russia, Akhtubinsk, Military unit 15650
