Определение внешних параметров калибровки камеры системы технического зрения Текст научной статьи по специальности «Механика и машиностроение»

ИРКУТСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ ПУТЕЙ СООБЩЕНИЯ

7 1 1 1 1 < 4

8 < 4

9 1 1 1 1 < 4

10 1 1 1 1 < 4

11 < 0

12 < 0

3 2 3 2 2 2 2 3 2 3 2 2

Заключение

Результирующая совмещенная матрица учитывает реализацию всех введенных выше ограничений задачи ЛП, которые обусловлены практическими требованиями при составлении планов-графиков работы средств неразрушающего контроля железнодорожного пути.

Полученная модель соответствует постановке задачи и является основой для создания программного продукта, обеспечивающего автоматизацию управления ресурсами предприятия железной дороги по дефектоскопии.

БИБЛИОГРАФИЧЕСКИЙ СПИСОК

1. Балдин К.В., Воробьев С.Н. Управленческие решения: теория и технология принятия. М. : Проект, 2004. 496 с.

2. Гасс С. Линейное программирование. М. : Физ-матлит, 1961. 300 с.

3. Емельянов С.В., Ларичев О.И. Многокритериальные методы принятия решений. М. : Высшая школа, 1985.

4. Инструкция по текущему содержанию железнодорожного пути. ЦП-744/МПС РФ. М. : Транспорт, 2000.

5. Карманов В.Г. Математическое программирование. М. : Наука, 1986. 288 с.

6. Ларичев О.И. Теория и методы принятия решений, а также Хроника событий в Волшебных Странах. М. : Логос, 2002. 392 с.

7. Помогаев И.Е., Бутырин О.В. Методика рационального планирования контроля состояния рельсов ручными средствами дефектоскопии // Современные технологии. Системный анализ. Моделирование. 2012. № 4. С. 134-136.

8. Помогаев И.Е., Бутырин О.В. Оптимальное распределение средств дефектоскопии // Путь и путевое хозяйство. 2013. №4. С. 25-27.

9. О совершенствовании системы контроля состояния рельсов средствами дефектоскопии : приказ МПС РФ № 2-ЦЗ от 25.02.1997.

УДК 681.7 Курохтин Вениамин Юрьевич,

ассистент кафедры сопротивления материалов, Восточно-Сибирский государственный университет технологий и управления,

тел. 89243534449, e-mail: kurokhtin91@gmail.com

ОПРЕДЕЛЕНИЕ ВНЕШНИХ ПАРАМЕТРОВ КАЛИБРОВКИ КАМЕРЫ СИСТЕМЫ

ТЕХНИЧЕСКОГО ЗРЕНИЯ

V. Yu. Kurokhtin

DETERMINATION OF EXTERNAL CALIBRATION PARAMETERS OF THE VISION SYSTEM CAMERA

Аннотация. В статье приведена методика калибровки камеры, основанная на математическом аппарате проекционной геометрии. В ходе калибровки определяются внешние параметры камеры: углы ее поворота относительно координатных осей и смещение относительно начала предметной системы координат. Задача решается в два этапа: сначала определяется положение линии горизонта, затем находятся указанные параметры. Линия горизонта определяется по двум точкам, лежащим на условном пересечении продолжений параллельных сторон изображения квадрата. Данное изображение располагается в картинной плоскости. Далее с использованием координат найденных точек определяются углы поворота камеры относительно осей предметной системы координат.

Задача определения смещения камеры относительно начала предметной системы координат сводится к определению координат точки M', лежащей на пересечении оптической оси камеры с картинной плоскостью. Эти координаты определяются с использованием тригонометрических функций углов курса и тангажа камеры, а также значения длины перпендикуляра, опущенного из точки M' на предметную плоскость. Приведены соотношения, позволяющие преобразовывать координаты точек из картинной в предметную систему координат с использованием матриц поворота и переноса. Описанная методика калибровки может быть использована при решении проблем технического зрения.

Ключевые слова: калибровка, картинная плоскость, предметная плоскость, смещение, преобразование координат, угол поворота.

Abstract. The article presents a technique of the camera calibration based on projection geometry mathematical apparatus. During calibration the following external camera parameters are determined: rotation angles relative to coordinate axes and offset relative to object coordinate system origin. The problem is solved in two steps: first the position of the horizon line is determined, then specified parameters are defined. The horizon line is determined by two points lying on the conditional intersection of the extensions of parallel sides of square image. This image is situated in picture plane. Then, using the coordinates offound points camera rotation angles relative to object coordinate system axes are determined. The problem of determining of camera offset relative to object coordinate system origin

вычислительная техника и управление

is reduced to determining of coordinates of point M' which is placed on intersection of camera optical axis and picture plane. These coordinates are determined using trigonometric functions of camera course angle and pitch angle as well as a value of perpendicular length from point M' to the object plane. Relations allowing to transform the coordinates of points from picture coordinate system to object coordinate system using rotation and transfer matrices are given. Described calibration technique can be used to solve problems of technical vision.

Keywords: calibration, picture plane, object plane, offset, coordinates conversion, rotation angle.

Введение

Калибровка камеры - это задача получения внутренних и внешних параметров камеры по имеющимся фотографиям или видео, отснятыми ей. Данная процедура часто используется на начальном этапе решения многих задач компьютерного зрения и в особенности дополненной реальности [1]. Обзор существующих способов калибровки (например, [2-4]) показывает, что они имеют низкую вероятность получения достоверных результатов. Одной из причин этого является использование в расчетных формулах сложных комбинаций тригонометрических функций, что приводит к снижению точности и появлению значительных погрешностей. Задачей исследования является разработка усовершенствованной методики калибровки, основанной на математическом аппарате проекционной геометрии, имеющей повышенную надежность и не содержащую громоздких вычислений.

Общие положения

Задача внешней калибровки камеры имеет своей целью определение внешних параметров камеры (углы ее поворота относительно осей предметной системы координат, а также смещение камеры относительно начала координат этой системы) [5]. Задачу предполагается решить в следующем порядке: определить положение линии горизонта в картинной плоскости; с помощью координат точек, принадлежащих этой линии, найти углы поворота камеры; с помощью этих углов определить смещение камеры. Чтобы решить первую задачу, можно учесть тот факт, что линия горизонта - образ несобственной прямой предметной плоскости (прямой, состоящей из бесконечно удаленных (несобственных) точек). Чтобы найти данную прямую, необходимо определить несколько точек, принадлежащих картинной плоскости. При этом их прообразы в предметной плоскости должны находиться в бесконечности. В работе [6, 7] рассматривают точки, в которых условно пересекаются в бесконечности параллельные стороны шестиугольника. В данной работе линия горизонта определяется по трем точкам. Однако, поскольку прямая может быть определена и по двум точкам, шестиугольник может быть заменен на квадрат. Смещение камеры сводится к опре-

делению координат точки пересечения ее оптической оси с картинной плоскостью в предметной плоскости; данные координаты определяются с использованием тригонометрических функций углов поворота камеры. Преобразование координат точек из картинной в предметную систему производится с использованием матриц вращения и переноса.

Пусть предметная и картинная системы координат ортогональны и задаются соответственно осями xyz иpqr (рис. 1).

Рис. 1. Предметная система координат хуг и картинная система координат pqr

Имеется квадрат Dl D2 Dз D4, располагающийся в координатной плоскости А. Эта плоскость инцидентна осям x и у, назовем ее предметной плоскостью [5]. Стороны квадрата DlD2DзD4 параллельны координатным осям x и у. Изображение квадрата Д1'Д2'Д3'Д4' находится в картинной плоскости Центр проецирования, совпадающий с оптическим центром, размещается в точке F, а ось объектива совпадает с осью г картинной системы. Оси p и q этой системы располагаются в плоскости £ и направлены параллельно границам кадра.

Пусть M' - основание перпендикуляра, опущенного из F на плоскость Эта точка является началом системы координат изображения. Расстояние от F до M' - от центра проецирования до картинной плоскости - обозначим через t. M -точка пересечения оси г с предметной плоскостью.

Расстояние \MM'\ обозначим через d. Пусть к - угол между осью г и предметной плоскостью (угол тангажа) [9] (рис. 2).

Рис. 2. Определение расстояния \¥М\ и координат точки M

Прямые eА и е^ проходят соответственно через точки M и M' параллельно прямой е, по которой пересекаются картинная и предметная плоскости (рис. 3).

Рис. 4. Определение линии горизонта

Чтобы определить углы поворота камеры, необходимо на первом этапе найти коэффициент преобразования п между единицами измерения картинной плоскости и предметной плоскости. В [8] показано, что коэффициент п может быть определен из уравнения

n2 • (и3 • и6 — s • и3 + и4 • и6 + s • и4) + + n • (щ • s — щ • и6 — и3 • и5 — и2 • и6 — — s • и2 — и4 щ5) + щ • щ + и2 • и5 = 0, где и1 = • (FM\ - LM • cos(к)); и2 = |Z2M| • (FM\ + ML| • cos(к)) ;

ML\ • к '•I HM\ • cos (к)

из = J—!—Ч—1-;

к

ILM! • к 'I HM I • cos(k)

и4 =-к-;

и5 = |HM| • sin (k) ; к '•и.

(3)

5

6

к

В свою очередь, расстояние t определяется формулой [8]

к'•n • |HM| • cos(k)

t = -

к

(4)

Рис. 3. Определение прямых вл, в^ и расстояний k, k'

Обозначим буквами K и N точки, лежащие на пересечениях продолжений сторон квадрата DlD2DзD4 с прямой e^. К' и Щ' - соответствующие им точки в картинной плоскости. Расстояние \КЩ обозначим через к, а \К'Щ - через к'. Особенности калибровки Точки J1', J2' , принадлежащие линии горизонта, находятся на пересечении продолжений параллельных сторон квадрата (рис. 4):

Jl '= Д Д2' П Д3Д4'; J 2 '= Д1Д4' П Д2' Д3'. (2)

На рис. 2 расстояние |М'—= |М' —2j = 5 .

Проведя ряд преобразований, описанных в [7], получим окончательную формулу для нахождения угла тангажа:

sin (к) =--¡-———¡—¡-¡-. (5)

W (2 • M-2I - -1-2I) • M • к'

Угол курса X является углом между проекцией оси оптики на предметную плоскость и осью Ox. Его значение может быть найдено из выражения

Х= arctg

( Уl — Уь2 Л

V

(6)

вычислительная техника и управление

где Ll, L2 - точки пересечения прямых, выходящих из оптического центра, с предметной плоскостью (рис. 2).

Угол крена ц - это угол между осью q картинной системы координат и линией горизонта ], определяемый по формуле

(

ц = arctg

J- J

Pj • - PJ •

\

MM' = \FM\ -1.

Пусть точка M ' ;

Mx =

My =

(

M =

cos

(à) sin (à) 0 0 ï

(14)

(7)

- sin (à) cos (à) 0 0 0 0 10

0 0 0 1

\ У

Матрица переноса на вектор M' ( xM,, yM,, zM,) имеет вид

Смещение картинной системы координат относительно предметной определяется координатами точки M' в предметной системе координат. Первоначально определяется расстояние \MM'\. Из треугольника HMF (рис. 2) расстояние \FM\ может быть определено по формуле

\Ш\ = \НМ\ • ео8(к). (8)

Расстояние ММ'|, в свою очередь, может быть найдено по формуле

X =

Г 1

0 0

V xM'

0 1

0

yM'

0 ï 0 0 1

(15)

Формула преобразования от картинной системы координат к предметной системе координат в общем случае имеет вид

(х, у, 2,1) = Мх • Му • М2 • X • (р, д, г, 1) . (16)

Отдельно рассмотрим случай, когда предметная плоскость расположена под прямым углом к оптической оси объектива (рис. 5).

(9)

это ортогональная

проекция точки M' на предметную плоскость (рис. 2). Вычислим расстояние |ММ' д |:

|мм ' д| = Mm '| • sin( к), (10)

тогда координаты точки M' определяются по формулам:

XM' = XM + Mm' Д • sin (я); Ум' = Ум + MM ' cos(X); (11)

zM, = |MM'| • sin (к).

Чтобы найти формулы, по которым координаты точек преобразуются из картинной в предметную систему координат, используем матрицы поворота и переноса.

Матрицы поворота вокруг оси x на угол ц, вокруг оси y на угол к и вокруг оси z на угол X имеют следующий вид:

(1 0 0 0^ 0 cos(^) sin (ц) 0 0 - sin (ц) cos(^) 0 v0 0 0 ly

^ cos(к) 0 sin (к) 0Л 0 10 0 -sin (к) 0 cos( к) 0 0 0 0 1

(12)

(13)

Рис. 5. Случай параллельности картинной и предметной плоскостей

Тогда координаты точек M и M' на плоскости xOy совпадают: xM = xM и yM, = yM . Необходимо определить координату zM,. Это можно сделать из подобия треугольников FMD2 и FM'D2'. Получаем следующую пропорцию:

\fm\ _ \fm\

=\MD\ ' (17)

где |FM"| = t; \FM\ = t + Zm'.

Подставив значения \FM'\ и |FM| в (16) и выразив zM,, получим

t • Md7|

zM= T^-г -1. (18)

m M d2'|

Поскольку картинная и предметная плоскости параллельны, углы тангажа и курса - прямые (к

z

ИРКУТСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ ПУТЕЙ СООБЩЕНИЯ

= X = 90°). Угол крена ц можно определить из выражения

Л, ,, Л

ц = arctg

yD Уо-,

(19)

Преобразование координат точек из картинной системы в предметную проводится, как описано выше.

Заключение

В данной статье получены формулы, позволяющие определить внешние калибровочные параметры камеры - углы поворота относительно координатных осей предметной системы координат и ее смещение относительно начала координат указанной системы. Кроме того, приведены выражения, позволяющие преобразовать координаты точек из картинной системы в предметную. В полученных формулах отсутствуют сложные комбинации тригонометрических функций, что позволяет упростить вычисления и повысить их надежность. Данные соотношения могут быть использованы для определения положения камеры в пространстве, что является необходимым при решении различных задач технического зрения, например при проведении видеосъемки процесса подрастания трещин в изделиях авиационной техники [9].

БИБЛИОГРАФИЧЕСКИЙ СПИСОК

1. Калибровка камеры // Википедия : сайт. URL: https://ru.wikipedia.org/wiki/Калибровка камеры (Дата обращения: 29.11.2016).

2. Yoshihiko N., Michihiro S., Hiroshi N., Atsushi I. Simple calibration algorithm for high-distortion-lens camera // The IEEE transactions on pattern analysis and machine intelligence. 1992. V. 14, № 11. P.1095-1099.

3. Grosky W., Tamburino L. A. A unified approach to the linear camera calibration problem // The IEEE transactions on pattern analysis and machine intelligence. 1990. V. 12, № 7. P. 663-671.

4. Wang L.-L., Tsai W.-H. Camera calibration by Vanishing Lines for 3-D Computer Vision // The IEEE transactions on pattern analysis and machine intelligence. 1991. V. 13, № 4. P. 370-376.

5. Цыдыпов Ц.Ц. Восстановление формы объектов по полутоновой информации : дис. ... канд. техн. наук. М., 1998. 168 с.

6. Horaud R., Mohr R., Lorecki B. On single-scanline camera calibration // IEEE transactions on robotics and automation. 1993. V. 9. № 1. P. 71-75.

7. Gozbenko V.E., Kargapoltsev S.K., Kornilov D.N., Minaev N.V., Karlina A.I. Definition of the main coordinates of the car with two-level spring suspension. International Journal of Applied Engineering Research. 2016. Т. 11. № 20. С. 10367-10373.

8. Бохоева Л. А., Курохтин В. Ю. Определение параметров внутренней калибровки камеры системы технического зрения // Механики XXI веку : материалы XV Всерос. науч.-технич. конф. с междунар. участием. Братск, 2016. С.133-138.

9. Бохоева Л. А., Курохтин В. Ю., Жерлова Е. А. Исследование роста трещин в изделиях авиационной техники на основе натурных испытаний // Механика конструкций и материалов : сб. науч. тр. Вып. 1. Улан-Удэ, 2016. С. 57-68.

х

X

D

D

2 /

УДК 621.391:621.396 Скрыпник Олег Николаевич,

д. т. н., профессор, заместитель директора по учебно-научной работе, Иркутский филиал Московского государственного технического университета гражданской авиации,

тел./факс 8(3952)54-84-37, е-mail: skripnikon@yandex.ru Марюхненко Виктор Сергеевич, д. т. н., профессор, профессор кафедры «Автоматика, телемеханика и связь», Иркутский государственный университет путей сообщения, тел. 89149373090, e-mail: viktor.maryuhnenko@yandex.ru

ПОВЫШЕНИЕ ЭФФЕКТИВНОСТИ НАВИГАЦИОННОГО ОБЕСПЕЧЕНИЯ ТРАНСПОРТНЫХ ОБЪЕКТОВ НА ОСНОВЕ ПРОГНОЗА ТОЧНОСТИ СПУТНИКОВОЙ РАДИОНАВИГАЦИОГННОЙ СИСТЕМЫ

O. N. Skrypnik, V. S. Maryukhnenko

INCREASE IN EFFICIENCY OF NAVIGATION SUPPORT OF TRANSPORT OBJECTS ON THE BASIS OF SATELLITE RADIO NAVIGATIONAL SYSTEM ACCURACY FORECAST

Аннотация. В статье рассматривается проблема улучшения ситуационной осведомленности участников воздушного движения - диспетчеров и экипажей воздушных судов о качестве аэронавигационного обеспечения в предоставляемом воздушном пространстве. В качестве основного средства навигации воздушных судов рассматривается система спутниковой навигации ГЛОНАСС. Для улучшения ситуационной осведомленности предлагается осуществлять прогнозирование ожидаемой точ-