CC BY
42
УДК 519.876.5+004.92
DOI: 10.14529/mmp 180110
АНАЛИЗ ЭФФЕКТИВНОСТИ ФОТОГРАММЕТРИЧЕСКОЙ СИСТЕМЫ МЕТОДАМИ ИМИТАЦИОННОГО МОДЕЛИРОВАНИЯ
С. А. Ту шее, Б.М. Суховилов
Южно-Уральский государственный университет, г. Челябинск, Российская Федерация
Разработана общая имитационная модель фотограмметрических систем (ФИС), использующих искусственные мишени и кодовые марки. Данная модель позволяет выполнять анализ эффективности системы. К оцениваемым показателям эффективности относятся погрешность измерений ФИС, а также ее производительность (масштабируемость). Применение имитационного моделирования позволяет исследовать влияние различных факторов на погрешность и производительность ФИС, изменять их в широком диапазоне, а также существенно снизить временные, организационные и материальные затраты на эксперименты. Предложенная имитационная модель реализована в среде GNU Octave в нескольких конфигурациях. На основе разработанной имитационной модели выполнен ряд вычислительных экспериментов, оценена результирующая погрешность ФИС, получены характеристики зависимости итогового СКО координат контрольных точек от различных погрешностей оценки входных параметров системы. Установлено, что ключевой внутренней характеристикой, влияющей на итоговую погрешность ФИС, является погрешность измерения пиксельных координат центров круговых мишеней. Другие факторы, такие как отклонение параметров модели камеры от лабораторной калибровки или неопределенности первоначального определения положений камер на основе кодовых марок, не оказывают существенного влияния на точность измерений, так как их негативное воздействие устраняется процедурой автоподстройки ФИС. Исследовано влияние размера и инструментальной погрешности масштабной меры на точность измерений. Разработанная имитационная модель также может применяться для верификации популярных алгоритмов компьютерного зрения в условиях, трудно реализуемых в рамках натурных экспериментов.
Ключевые слова: фотограмметрия; имитационное моделирование; оценка погрешности; компьютерное зрение.
Введение
Системы компьютерного зрения и фотограмметрии в настоящее время активно развиваются и получают все большее распространение в промышленности. Ключевыми характеристиками эффективности подобных систем является их точность (погрешность измерений) и производительность (масштабируемость).
На кафедре информационных технологий в экономике ЮУрГУ ведется разработка фотограмметрической измерительной системы (ФИС) [1-5], которая позволя-gt оценивать трехмерные координаты контрольных точек. Принцип работы системы основан на фотографировании цифровой зеркальной камерой измеряемого объекта, оснащенного специальными световозвращающими круговыми мишенями. Центры мишеней должны совпадать с контролируемыми точками. Массив отснятых фотографий обрабатывается и анализируется при помощи разработанного авторами программного обеспечения, которое рассчитывает трехмерные координаты контрольных точек (мишеней), на основе которых могут быть вычислены другие геометрические параметры, такие как расстояния между контрольными точками, параллельность/перпендикулярность элементов конструкций и др.
Существуют экспериментальный и теоретический способы оценки погрешности ФИС. Первый основывается на сравнении данных, полученных от эталонной и проверяемой систем [5, 6]. Для достоверной оценки погрешности проверяемой системы эталонная должна иметь погрешность примерно на порядок меньше, что не всегда возможно обеспечить. Второй способ предполагает теоретическую оценку погрешности на основе анализа математической модели системы. Разрабатываемая ФИС является сложной стохастической системой. На итоговую погрешность ФИС влияет большое количество случайных факторов. Оценить количество факторов приближенно можно по формуле (1):
N = k + 6n + 2mn, (1)
где k - количество внутренних параметров модели камеры, n - количество снимков, m
количество параметров ориентации одного снимка, множитель 2 равен количеству измеряемых координат изображений мишеней на снимках.
При типичных значениях k = 5, n = 50, m = 100 количество случайных факторов составит N = 10305, что делает оценку погрешности аналитическим путем чрезвычайно сложной задачей. В связи с этим предлагается использовать имитаци-онноб моделирование, состоящее в задании известных входных данных ^координаты контрольных точек, расположение фотокамер и т.д.) и симулировании процесса фотосъемки. Рассчитанные системой трехмерные координаты моделируемых контрольных точек сравниваются с исходными^ на основе чего делаются выводы о погретттно~ сти измерения системы. Многократно симулируя случайные погрешности во входных данных системы, возможно получить статистические оценки погрешности ФИС.
Значительным преимуществом имитационного моделирования является возможность оценить влияние на итоговую погрешность измерений каждого из входных параметров системы изолированно от других параметров (независимое изменение параметров не всегда реализуемо в натурном эксперименте). Также это позволяет определить чувствительность системы к погрешностям определения входных параметров, что имеет важное практическое значение для дальнейшей разработки и оптимизации системы. Другой важной характеристикой ФИС является оценка ее масштабируемости. Имитационная модель позволяет с легкостью изменять геометрию сцены, количество контрольных точек и камер в неограниченных пределах, что позволяет существенно снизить затраты на эксперименты, а также получить надежные оценки скорости работы системы в зависимости от сложности фотограмметрической задачи.
В настоящей статье рассматривается имитационная модель фотограмметрической системы. В разделе 1 описана архитектура фотограмметрической системы и некоторые ее ключевые особенности. В разделе 2 рассмотрена имитационная модель, особенности ее реализации и методика проведения вычислительных экспериментов. В разделе 3 приведены результаты выполненных экспериментов. В заключении приведены выводы и предло^кено дальнейшее направление работ.
1. Архитектура фотограмметрической системы 1.1. Модуль обработки изображений
Разрабатываемая ФИС состоит из двух модулей, выполняющих обработку отснятого фотоматериала. Первый программный модуль выполняет обработку фай-
лов изображений, в частности, система измеряет пиксельные координаты {хрх} центров изображений круговых световозвратцаютцих митпеней. Далее модул ь выделяе т на снимках кодовые марки [1], используемые для задания глобальной (опорной) системы координат (см. рис. 1).
Рис. 1. Световозвратцаютцие мишени (контрольные точки) и кодовые марки ФИС
Для каждого снимка система на основе видимости кодовых марок вычисляет положение камеры в опорной системе координат, после чего рассчитываются внешние параметры данной камеры в форме матрицы поворота R и вектора трансляции T [7]. Собранная информация, наряду с параметрами начальной калибровки камеры [3, 8], передается во второй, расчетный модуль системы.
1.2. Расчетный модуль
В основе расчетного модуля лежит итерационная схема поиска соответствующих точек. В начале новой итерации система формирует граф потенциальных соответ~ ствии для изображений точек на основе эпиполярной геометрии [9], который служит в качестве входных данных для эвристических алгоритмов поиска соответствующих точек [1, 9]. Далее система использует триангуляцию найденных трехмерных точек с отсевом выбросов, уравнивание трехмерных координат, положений камер и параметров модели камеры через метод связок (англ. bundle adjustment) [10], с последующим обратным проецированием с целью поиска новых изображений точек на снимках. Данная схема в итоге дает точное решение задачи поиска соответствующих точек и оценивания их пространственных координат за приемлемое время.
2. Методика моделирования
Разработанная имитационная модель симулирует как процесс подготовки сцены и непосредственно фотосъемку, так и работу первого программного модуля, отвечающего за обработку изображений. Процесс фотосъемки основан на математической модели камеры, рассмотренной в разделе 2.1.
2.1. Математическая модель процесса фотосъемки
В разрабатываемой ФИС в качестве математической модели фотокамеры используется т.н. модель камеры-обскуры, общепринятая в современном компьютерном зрении [7, 11]. На рис. 2 приведена трехмерная точка М с координатами (X,Y,Z) в некоторой опорной системе координат XYZ. При фотографировании точки камерой с собственной системой координат OcXcYcZc (где Zc - оптическая ось камеры) происходит ее проецирование на сенсор камеры с двумерной системой координат Opxy.
Yi
X
O
kYc
Z
Oc
X^ ^Д'' rn'
\y у
M
Zc
Ор
Рис. 2. Математическая модель процесса фотосъемки
Для того, чтобы получить пиксельные координаты изображения точки трехмерного пространства М на сенсоре камеры, необходимо:
1. Найти положение точки М в системе координат камеры ОсХсУсZc и спроецировать ее на идеальную плоскость (плоскость с координатой Zc = 1, перпендикулярную оптической оси камеры Zc). Результатом данной операции является вектор нормализованных однородных координат проекции точки [12]
Хп (хп; уп; 1))
2. Учесть влияние оптических искажений в системе (дисторсии объектива), рассчитав вектор нормализованных однородных координат с учетом дисторсии
x
d
(xn; yn; -0)
3. Перевести нормализованные однородные координаты с учетом дисторсии в пиксельные координаты на сенсоре цифровой фотокамеры (ЦФК).
В силу конечности пиксельной сетки координаты проекции точки неизбежно получают искажения при округлении координаты до центра конкретного пикселя. В большинстве задач данной погрешностью можно пренебречь, однако для высокоточных фотограмметрических измерений необходимо компенсировать данные погрешности при восстановлении трехмерной структуры сцены по снимкам.
В рассматриваемой модели переход от нормализованных однородных координат к пиксельным координатам на снимке реализует матрица К, также называемая матрицей внутренних параметров камеры. Данная матрица описывает геометрические и физические параметры системы «камера-объектив> и включает в себя следующие параметры: /х,/у пиксельные фокусные расстояния по вертикальной и горизонтальной осям, (ех, еу) - координаты центральной точки, а - угол между осями пиксельной системы координат на плоскости снимка [12]. Данная матрица имеет следующую форму (2):
/х а • /х сх
K
0 0
fy
0
-
(2)
С
y
Матрица С = [Я Т], называемая также матрицей внешних параметров камеры, описывает преобразование координат из опорной системы координат ХУ Z в систему координат камеры ОсХсУ^с, и в разрабатываемой системе представлена в форме
Г11 Г12 Г13
матрицы размерности 3x4, состоящей из матрицы поворота Я
Г21 Г22 Г23 Г31 Г32 Г33
и
вектора трансляции центра камеры относительно начала опорной системы координат
T = [tl t2 t3]T-
Переход к нормализованным однородным координатам осуществляется при помощи оператора проецирования project, выраженного в виде (3):
project(Pc)
Xc/Z, Yc/Zc 1
(3)
где Рс = (Хс; Ус; Zc) - координаты проецируемой точки в системе координат камеры
0XcYcZc-
В разрабатываемой ФПС используется общепринятая в современном компьютерном зрении [7] модель дисторсии, выраженная в виде (4) и (5):
dist (Хп~) drad + dtan
k
kradial ' xn kradial ' Уп 1
+
2kc3 ■ ХпУп + kc4 ■ (r2 + 2xn kc3 ■ (r + 2yn2) + 2kc4 ■ xnyn
radial
(1 + kc1 ■ r2 + kc2 ■ r4 + kc5 ■ r6) ,
(4)
(5)
где ¿1ап - соответственно радиальная и тангенциальная компоненты дисторсии,
Хп = (хп; уп; 1) - вектор нормализованных однородных координат трехмерной точки, г = \/хп2 + уп2 - радиус-вектор нормализованных однородных трехмерных координат, кс - вектор параметров модели дисторсии. В большинстве задач достаточно пятикомпонентной модели дисторсии оптической системы [13].
Согласно данной модели, пиксельные координаты точки трехмерного пространства на сенсоре камеры могут быть рассчитаны как (6):
xpx
ypx =
1
fx а ■ fx 0 fy 0 0
или в краткой форме:
x
(
dist
(
project
V
r11 r12 r13 t1
r21 r22 r23 t2
r31 r32 r33 t3
X Y Z 1
\
\
(6)
px ypx 1
(
K ■ dist
project
V
с-
V
X Y Z 1
/
(7)
/
где (хрх; урх; 1) - однородные пиксельные координаты точки на снимке, (X; У; Z; 1) - однородные координаты проецируемой точки трехмерного пространства в опорной системе координат.
0
c
x
c
y
1
2.2. Реализация имитационной модели
Разработанная имитационная модель реализована в среде с открытым исходным кодом GNU Octave [14]. На первом этапе система формирует геометрию сцены, включающую в себя координаты контрольных точек {X}, координаты кодовых марок {KM}. При этом возможно использование как предварительно сформированной конфигурации контрольных точек, так и автоматической генерации требуемого числа точек Npoints в заданной области пространства (для оценки масштабируемости системы) . Собственная система координат [2] опорной кодовой марки принимается в качестве глобальной опорной системы координат.
В геометрию сцены также входят матрицы внешних параметров камер {C}. Они рассчитываются на основе моделируемых положений и ориентации камер. В типовом сценарии имитационная модель симулирует фотосъемку сцены, передвигая виртуальную фотокамеру по окружности с радиусом Дкам вокруг сцены с заданным числом позиций (точка взгляда камеры во всех положениях расположена в центре окружности). При этом система выполняет (согласно методическим рекомендациям по работе с ФПС) 2 снимка в каждой позиции, повернутых на 90,0° относительно оси визирования камеры (т.е., в ландшафтной и портретной ориентации). При этом моделируются
особенности реальной фотосъемки человеком (к примеру, неспособность повернуть
°
ФПС рекомендуется делать не менее 16 снимков с 8 позиций для сцены, входящей в кадр целиком. Для повышения точности количество позиций фотосъемки увеличив а ют.
Для каждой камеры Cj, входящей в конфигурацию, система рассчитывает <истинные> пиксельные координаты
Xpx
Xpx Урх
наблюдаемых камерой контрольных точек согласно формулам (4) - (6), с использованием «истинных> параметров модели камеры fx, fy, cx,cy, kc\... kc5. Далее, в зависимости от программы исследований, в значения данных параметров (матрица K, включающая в себя fx, fy, cx, cy, а также вектор kc), в пиксельные координаты точек {Xpx} и параметры положений камер {C} вносятся моделируемые погрешности. Эти данные передаются в расчетный модуль в стандартном формате ФИС. Таким образом достигается прозрачная замена процесса фотосъемки и обработки изображений на имитационную модель.
По окончанию работы расчетного модуля для каждой контрольной точки рассчитывается отклонение AX ее вычисленного положения в пространстве от исходного положения точки в имитационной модели по каждой координате. Кроме того, расчетный модуль предоставляет уточненные значения внутренних параметров модели камеры. Данные величины сохраняются в памяти моделирующей системы для дальнейшего анализа в соответствии с методикой экспериментов.
Псевдокод разработанной имитационной модели (в конфигурации для оценки погрешности измерения ФИС, описанной в разделе 2.3) приведен как рис. 3. Функции Project _ Point и Project_KM реализуют формулы (4) - (6) для симулируемых точек и измерительных частей кодовых марок [2] соответственно.
{X} = Generate_Points(Npoints); ф генерация симулируемых точек {C} = Generate_Cameras(N); ф генерация виртуальных камер {KM} = Generate_KM(); ф генерация кодовых марок for i=l:N
foreach Cj G {C} foreach X G {X}
XpXj = Project_Point(X, Cj, K, kc) + randNormal^O, apx); endforeach
KMpXj = Project_KM({KM}, Cj, K, kc) + randNormalXM(0, Upx);
Cj = C + randNormalcamer^, Ua^, at); endforeach
K' = K + randNormalmatrix(Mk , UK); kc' = kc + randNormalmairjx(Mkc , UkC);
Generate_Session_Files({X'px}, {C}, K', kc', {KMpx}); # экспорт данных
{Xm}, Km, kcm = Launch_Photogrammetric_Calculation(); ^запуск ФИС
AXi={X}-{Xm};
AKi=K-Km;
Akci=kc-kcm;
Lrefi= ||Xrefi—Xref2||; ф вычисление контрольного расстояния endfor
Ux,Uy,Uz, uk, Ukc, uref = Calculate_Stats({AX}, {AK} {Akc}, {Lref});
usys=^Jux+uy+u2;_
Рис. 3. Псевдокод имитационной модели (в конфигурации для оценки погрешности
ФИС)
2.3. Методика оценки погрешности ФИС
Для получения оценки погрешности ФИС используется метод статистических испытан и и Монте - Карло [15, 16]. Анализируемые параметры получают случайную погрешность измерения, распределенную по нормальному закону с заданными значениями математического ожидания M и среднеквадратического отклонения (СКО) a для параметра (функция randNormal(M,a) в псевдокоде, приведенном на рис. 3). Для пиксельных координат центров круговых мишеней M = 0.
После завершения заданного количества запусков ФИС моделирующая программа (МП) выполняет оценку погрешности измерений. Для этого МП рассчитывает СКО контрольного расстояния aref) вычисляет выборочное СКО координат x, y, z для каждой из круговых мишеней (контрольных точек), а также рассчитывает средние значения СКО для каждой координаты UX, Uy, UZ (по всем контрольным точкам) и суммарное СКО системы
I_2 _о _о
asys = у ax + ay + az ■
Также моделирующая программа рассчитывает выборочные СКО для оцененных параметров модели камеры, которые возвращает расчетный модуль ФИС.
В имитационной модели для оценки погрешности ФИС используется типовая конфигурация геометрии измеряемого объекта, включающая 11 контрольных точек,
формирующих несимметричную фигуру, и две кодовые марки. Опорная кодовая марка (КМ) определяет начало системы координат. Вторая КМ имеет ту же пространственную ориентацию и лежит в одной плоскости с первой КМ. Камера передви-
Я
ось всегда направлена в начало координат (см. рис. 4). За контрольное расстояние Ьге^ принято расстояние между 2-мя точками, равное 58,00 см (на рис. 4 показано пунктирной линией). Полная геометрия моделируемой сцены и ряд других данных (в т.ч. матрицы внутренних и внешних параметров камер) доступны по адресу Ьйрэ: / / github.com/tushev / ттр17затр1ес^а.
Для вычисления реального масштаба сцены ФПС использует масштабную меру, линейные размеры которой известны с высокой точностью. В роли данной меры может использоваться как кодовая марка, так и специальная прецизионная линейка, на краях которой располагаются световозвращающие мишени (масштабный жезл).
3. Результаты экспериментов
На основе разработанной авторами имитационной модели был выполнен большой объем экспериментов, имеющих важное значение для дальнейшей разработки фотограмметрической системы. Была оценена результирующая погрешность ФПС, получены характеристики зависимости итогового СКО координат контрольных точек от различных погрешностей оценки входных параметров системы.
В частности, был получен непрогнозируемый результат, связанный с одновременным влиянием инструментальной погрешности масштабной меры и пиксельной погрешности определения центров круговых мишеней. Данный результат представлен на рис. 5. Моделируемая сцена содержит масштабную линейку размером 500 мм с инструментальной погрешностью азса1е, распределенной по нормальному закону в диапазоне 3азса1е = 0... 0, 5 мм. Данная линейка соизмерима с размерами сцены, в частности, контрольным расстоянием (Lref = 58 см). Кроме того, моделируется наличие различных пиксельных погрешностей измерения центров круговых мишеней арх.
Как видно из рис. 5, на итоговую погрешность ФПС оказывают влияние инструментальная погрешность масштабной меры и погрешность определения пиксельных координат центров круговых мишеней. При этом с ростом инструментальной погрешности масштабной меры влияние пиксельной погрешности фотокамеры уменьшается.
Авторами было также выполнено большое количество других экспериментов. К сожалению, объем публикации не позволяет привести все данные, поэтому ниже будет представлена краткая «сумма> результатов экспериментов. Полный набор данных готовится к публикации в виде отдельной работы.
Было установлено, что основной внутренней характеристикой ФПС, влияющей на погрешность измерений, является погрешность измерения пиксельных координат центров круговых мишеней. Другие факторы, такие как отклонение параметров модели камеры от лабораторной калибровки, или ошибки первоначального определения положений камер, не оказывают существенного влияния на точность измерений, так как их негативное воздействие устраняется процедурой автоподстройки ФПС. Также установлено, что благодаря данной процедуре система может успешно работать при отклонении параметров лабораторной калибровки в диапазоне, существенно превышающем встречающиеся на практике значения. Тем не менее, наличие актуальной
► Позиции фотосъемки ■ Кодовые марки
ЭК Круговые мишени (контрольные точки)
Рис. 4. Визуализация модели фотограмметрической сцены
лабораторной калибровки (проведенной непосредственно перед процедурой измерений) способно значительно ускорить работу системы до 1.7 раз.
s 160.0Е-6 ^ 140.0Е-6 120.0Е-6 100.0Е-6 80.0Е-6 60.0Е-6 40.0Е-6 20.0Е-6 000.0Е+0
Рис. 5. Влияние инструментальной погрешности масштабной меры и погрешности определения пиксельных координат центров круговых митттеней на суммарную погрешность ФИС (при Дкам = 2, 5 м, NKaM = 24)
Характеристиками измеряемой сцены, влияющими на погрешность ФИС, являются геометрические размеры объектов и расстояние фотосъемки, а также количество позиций фотосъемки и количество контрольных точек (круговых митттеней). Увеличение количества камер (позиций фотосъемки) и количества круговых митттеней приводит к снижению суммарной погрешности системы, а увеличение геометрических размеров сценьт к возрастанию суммарной погрешности.
Ключевым фактором, влияющим на совокупную то-чность измерений, является размер масштабной меры. Установлено5 что применение прецизионной масштабной линейки с размерами, сопоставимыми с размерами сценьт, позволяет снизить погрешность в разы. Тем не менее, авторами разработана технология [171. позволяющая использовать в качестве масштабной меры кодовые марки и обеспечить при этом погрешность ФИС на уровне 90-100 мкм/м (т.е., сопоставимом с погрешностями при использовании масштабной линейки). В ряде сфер применения, таких как строительство, анализ ДТП и др., такая погрешность измерения является достаточной, что позволяет отказаться от использования дорогостоящей масштабной линейки1 и значительно снизить стоимость системы.
Выполнена оценка масштабируемости и производительности ФИС в диапазоне 100 1000 контрольных точек, в ходе данных процедур было выявлено и устранено несколько «узких мест> в алгоритмах системы.
Финальный эксперимент, моделирующий наиболее типичную ситуацию со следующими параметрами: инструментальная погрешность 500-миллиметровой масштабной ЛИНеЙКИ 3(scale = 0, 2 MM, 3(px = 0, 3 пике., Дкам = 2 м, NKaM = 24, с типовыми погрешностями параметров модели камеры при использовании лабораторной калиб-
1 Стоимость крупногабаритной прецизионной масштабной линейки может достигать 500 000 руб. и более, что превышает совокупную стоимость остальных компонентов ФПС.
Д 3 a= 0.45px О.Зрх
» 3a= 0.15px
—— Без пиксельных nui решненлеи
h- -*--
_____ —
■"
О 0.1 0.2 0.3 0.4 0.5
SCTscale, ММ
ровки, показывает, что суммарное СКО контрольных точек, измеренных при помощи ФИС, составляет изуз = 62 мкм. При этом СКО погрешности измерения контрольного расстояния Ьге/(равного 58,00 см) между двумя выбранными точками составляет аге,/ = 29 мкм.
Заключение
В настоящей работе описана разработанная общая имитационная модель для анализа эффективности фотограмметрических систем, использующих искусственные мишени и кодовые марки. Описана методика оценки погрешности измерения ФИС на основе статистических испытаний методом Монте - Карло. Приведена краткая сумма результатов вычислительных экспериментов.
Полученные результаты имеют большую практическую значимость для дальнейшей разработки ФИС - анализа ее потенциальной точности и масштабируемости. В настоящее время прототип ФИС успешно испытан на моделях перспективных низ-копольных трамваев [4] (контроль геометрических параметров каркаса трамвая и подгонка системы облицовочных панелей и остекления к реальным каркасам). Также прототип ФИС находится на опытном использовании на промышленном предприятии и в ряде строительных компаний.
Предлагаемая архитектура имитационной модели и методика оценки может быть применена ко многим разрабатываемым фотограмметрическим системам, а также различным системам компьютерного зрения, включая в себя т.н. безмаркерные (тагкейевв) системы. В частности, с ее помощью можно проводить имитационное моделирование и статистическую оценку устойчивости различных методов оценки фундаментальной/существенной матриц стереопар, алгоритмов поиска соответствий между точками, методов триангуляции точек и т.д. в широком диапазоне вариации влияющих факторов.
На этапе эксплуатации фотограмметрической системы имитационная модель будет использована как программный инструмент планирования эксперимента. Визуальный редактор позволяет загрузить трехмерную модель измеряемого объекта, разместить все части системы в трехмерной сцене, выбрать оптимальные позиции для фотосъемки с учетом имеющихся ограничений и выполнить симуляцию процесса измерений и оценки погрешностей ФИС. В зависимости от рассчитанных оценок погрешностей координат контрольных точек (круговых мишеней) при установленных конфигурациях сцены (положения кодовых марок, масштабных мер и камер) для различных вариантов мож^но выбрать оптимальный сценарий фотосъемки, тем самым обеспечивая минимальное время реальной фотосъемки и заданную погрешность измерений. В настоящее время коллектив авторов ведет работу над данным программным обеспечением.
В качестве направления дальнейших работ с общенаучным значением авторы видят верификацию устойчивости популярных алгоритмов в области компьютерного зрения в условиях, трудно реализуемых в рамках натурных экспериментов, с помощью разработанной имитационной модели.
Статья выполнена при поддержке Правительства РФ (Постановление .V" ¿11 от 16.03.2013 г.), соглашение № 02.А03.21.0011.
Литература
1. Tushev, S.A. Effective Graph-Based Point Matching Algorithms / S.A. Tushev,
B.M. Sukhovilov // Proceedings of the 2nd International Conference on Industrial Engineering, Applications and Manufacturing (ICIEAM), Chelyabinsk, Russia, May 19-20, 2016. - N.Y.: Institute of Electrical and Electronics Engineers, 2017. - P. 1462-1466.
2. Sukhovilov, B.M. Improving the Accuracy of Determining the Position of the Code Marks in the Problems of Constructing Three-Dimensional Models of Objects / B.M. Sukhovilov, E.M. Sartasov, E.A. Grigorova // Proceedings of the 2nd International Conference on Industrial Engineering, Applications and Manufacturing (ICIEAM), Chelyabinsk, Russia, May 19-20, 2016. - N.Y.: Institute of Electrical and Electronics Engineers, 2017. -P. 1690-1696.
3. Тушев, С.А. Некоторые способы повышения производительности автоматической калибровки цифровых камер / С.А. Тушев, В.М. Суховилов // Молодой исследователь: материалы 2-й научной выставки-конференции научно-технических и творческих работ студентов. - Челябинск: Издательский центр ЮУрГУ, 2015. - С. 434-439.
4. Суховилов, В.М. Разработка фотограмметрической системы измерения пространственных координат элементов конструкций каркаса низкопольного трамвая / В.М. Суховилов, Е.А. Григорова // Наука ЮУрГУ. Материалы 67-й научной конференции. Секции экономики, управления и права. - Челябинск: Издательский центр ЮУрГУ, 2015. -
C. 458-463.
5. Суховилов, В.М. Экспериментальный анализ погрешностей фотограмметрической системы измерения пространственных координат / В.М. Суховилов, Е.А Григорова, Е.М. Сартасов, Е.Н. Горных // Наука ЮУрГУ Материалы 68-й научной конференции. Секции экономики, управления и права. - Челябинск: Издательский центр ЮУрГУ, 2016. - С. 221-228.
6. Brown, J. V-STARS/S Acceptance Test Result. - URL: https://www.geodetic.com/v-stars /papers.aspx (дата обращения: 2 января 2017)
7. Hartley, R. Multiple View Geometry in Computer Vision / R. Hartley, A. Zisserman. -Cambridge: Cambridge University Press, 2004.
8. Zhang, Z. A Flexible New Technique for Camera Calibration / Z. Zhang // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 2000. - V. 22, № 11. - P. 1330-1334.
9. Тушев, С.А. Параллельные алгоритмы для эффективного поиска соответствующих точек в задачах компьютерного зрения / С.А. Тушев, В.М. Суховилов // Вестник ЮУрГУ Серия: Вычислительная математика и информатика. - 2017. - Т. 6, № 2. - С. 49-68.
10. Triggs, В. Bundle Adjustment - A Modern Synthesis / В. Triggs, P. McLauchlan, R. Hartley, A. Fitzgibbon // Vision Algorithms: Theory and Practice. - 2000. - V. 1883. - P. 298-372.
11. Jaime, B. Practical Handbook on Image Processing for Scientific Applications / B. Jaime. -Boca Raton: CRC Press, 1997.
12. Forsyth, D. Computer Vision: A Modern Approach / D. Forsyth, J. Ponce. - New Jersey: Pearson, 2011.
13. Godding, R. Geometric Calibration of Digital Imaging Systems / R. Godding // Computer Vision and Applications. - San Diego: Academic Press, 2000. - P. 153-175.
14. GNU Octave. - URL: https://www.gnu.org/software/octave (дата обращения: 23 мая 2017).
15. Metropolis, N. The Monte Carlo Method / N. Metropolis, S. Ulam // Journal of the American Statistical Association. - 1949. - V. 44, № 247. - P. 335-341.
16. Fishman, G.S. Monte Carlo: Concepts, Algorithms, and Applications / G.S. Fishman. -N.Y.: Springer, 1996.
17. Tushev, S.A. Architecture of Industrial Close-Range Photogrammetric System with MultiFunctional Coded Targets / S.A. Tushev, B.M. Sukhovilov, E.M. Sartasov // Proceedings of the 2017 2nd International Ural Conference on Measurements (UralCon), Chelyabinsk, Russia, October 16-19, 2017. - N.Y.: Institute of Electrical and Electronics Engineers, 2017. -P. 435-442.
Семен Александрович Тушев, аспирант, кафедра «Информационные технологии в экономике:», Южно-Уральский государственный университет (г. Челябинск, Российская Федерация), [email protected]
Борис Максович Суховилов, доктор технических наук, старший научный сотрудник, заведующий кафедрой, кафедра «Информационные технологии в экономике», Южно-Уральский государственный университет (г. Челябинск, Российская Федерация), [email protected].
Поступила в редакцию 17 января 2018 г.
MSC 65C05 DOI: 10.14529/mmpl80110
EFFICIENCY ANALYSIS OF PHOTOGRAMMETRIC SYSTEM BY SIMULATION MODELLING
S.A. Tushev, B.M. Sukhovilov
South Ural State University, Chelyabinsk, Russian Federation E-mail: [email protected], [email protected]
We developed a universal simulation model of photogrammetric systems that utilizes artificial target points and fiducial marks (coded targets). The model allows to analyze the efficiency of the system in particular, measurement errors as well as system performance (scalability). Simulation modeling allows to estimate how different factors influence the measurement error and the performance of the system. It also allows to vary the values of factors easily and in a broad range. It reduces organizational, time, and financial cost of the testing system as well. We have implement the proposed simulation model in several configurations with GNU Octave. We have also run a series of simulation experiments, thus estimating how the measurement error of the system depends on errors in various input factors. It was determined that the measurement error of pixel coordinates of circle targets is the key factor that influences the resulting measurement error of targets' 3D coordinates. Other factors, such as deviations of the parameters of the camera model from its initial calibrations, or uncertainties in estimation of cameras' initial pose, do not influence the resulting measurement error significantly due to effect of system automatic calibration. We have also estimated the impact of the linear size and instrument error of scale bar on system accuracy. The proposed simulation model may be also used for the verification of various algorithms in the field of computer vision in conditions that are hard to implement during the process of natural experiments.
Keywords: photogrammetry; simulation modelling; accuracy estimation; computer vision.
References
1. Tushev S.A., Sukhovilov B.M. Effective Graph-Based Point Matching Algorithms. Proceedings of the 2nd International Conference on Industrial Engineering, Applications and Manufacturing (ICIEAM), Chelyabinsk, Russia, May 19-20, 2016. N.Y., Institute of Electrical and Electronics Engineers, 2017, pp. 1462-1466. DOI: 10.1109/ICIEAM.2016.7911628
2. Sukhovilov B.M., Sartasov E.M., Grigorova E.A. Improving the Accuracy of Determining the Position of the Code Marks in the Problems of Constructing Three-Dimensional Models of Object. Proceedings of the 2nd International Conference on Industrial Engineering, Applications and Manufacturing (ICIEAM), Chelyabinsk, Russia, May 1920, 2016. N.Y., Institute of Electrical and Electronics Engineers, 2017, pp. 1690-1696. DOI: 10.1109/ICIEAM.2016.7911682
3. Tushev S.A., Sukhovilov B.M. Some Ways to Improve the Performance of Automatic Calibration of Digital Cameras. Molodoy issledovatel': materialy 2-y nauchnoy vystavki-konferentsii nauchno-tekhnicheskikh i tvorcheskikh rabot studentov [Young Researcher: Materials of the 2nd Scientific Exhibition-Conference of Scientific, Technical and Creative Works of Students]. Chelyabinsk, Publishing center of South Ural State University, 2015, pp. 434-439. (in Russian)
4. Sukhovilov B.M., Grigorova E.A. Development of a Photogrammetric System for Measuring the Spatial Coordinates of Structural Elements of the Frame of a Low-Floor Tram. Nauka JuUrGU. Materialy 67-y Nauchnoy Konferencii. Sekcii Jekonomiki, Upravleniya i Prava. [Science of SUSU. Materials of the 67th Scientific Conference. Section of Economics, Management and LawJ. Chelyabinsk, Publishing center of South Ural State University, 2015, pp. 458-463. (in Russian)
5. Sukhovilov B.M., Grigorova E.A., Sartasov E.M., Gornyh E.N. Experimental Analysis of Photogrammetry System Errors in Measuring Spatial Coordinates. Nauka JuUrGU. Materialy 68-y Nauchnoj Konferencii. Sekcii Jekonomiki, Upravleniya i Prava. [Science of SUSU. Materials of the 68th Scientific Conference. Section of Economics, Management and LawJ. Chelyabinsk, Publishing center of South Ural State University, 2016, pp. 458-463. (in Russian)
6. Brown J. V-STARS/S Acceptance Test Result. Available at: https://www.geodetic.com/v-stars /papers.aspx (accessed January 02, 2017)
7. Hartley R., Zisserman A. Multiple View Geometry in Computer Vision. Cambridge, Cambridge University Press, 2004. DOI: 10.1017/CB09780511811685
8. Zhang Z. A Flexible New Technique for Camera Calibration. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, vol. 22, no. 11, pp. 1330-1334. DOI: 10.1109/34.888718
9. Tushev S.A., Sukhovilov B.M. Parallel Algorithms for Effective Correspondence Problem Solution in Computer Vision. Bulletin of the South Ural State University. Series: Computational Mathematics and Software Engineering, 2017, vol. 6, no. 2, pp. 49-68. DOI: 10.14529/cmsel70204
10. Triggs B., McLauchlan P., Hartley R., Fitzgibbon A. Bundle Adjustment — A Modern Synthesis. Vision Algorithms: Theory and Practice, 2000, vol. 1883, pp. 298-372. DOI: 10.1007/3-540-44480-7_21
11. Jaime B. Practical Handbook on Image Processing for Scientific Applications. Boca Raton, CRC Press, 1997.
12. Forsyth D., Ponce J. Computer Vision: A Modern Approach. New Jersey, Pearson, 2011.
13. Godding R. Geometric Calibration of Digital Imaging Systems. Computer Vision and Applications, San Diego, Academic Press, 2000, pp. 153-175.
14. GNU Octave. Available at: https://www.gnu.org/software/octave (accessed May 23, 2017).
15. Metropolis N., Ulam S. The Monte Carlo Method. Journal of the American Statistical Association, 1949, vol. 44, no. 247, pp. 335-341. DOI: 10.1080/01621459.1949.10483310
16. Fishman, G.S. Monte Carlo: Concepts, Algorithms, and Applications. N.Y., Springer, 1996. DOI: 10.1007/978-1-4757-2553-7
17. Tushev S.A., Sukhovilov B.M., Sartasov E.M. Architecture of Industrial Close-Range Photogrammetric System with Multi-Functional Coded Targets. Proceedings of the 2017 2nd International Ural Conference on Measurements (UralCon), Chelyabinsk, Russia, October 16-19, 2017. N.Y., Institute of Electrical and Electronics Engineers, 2017, pp. 435-442. DOI: 10.1109/URALCON.2017.8120748
Received January 17, 2018
