CC BY
174
СИСТЕМА РАСПОЗНАВАНИЯ ОБЪЕКТОВ НА ФОТОГРАММЕТРИЧЕСКИХ ИЗОБРАЖЕНИЯХ
Н.Ю. Ильясова, В.И. Костин*, В.В. Котляр, А.В. Куприянов, А.В.Рощин, А.В. Устинов Институт систем обработки изображений РАН * НИИ экспериментальной физики, г. Саров
Аннотация
В статье представлена автоматизированная система обработки цифровых растровых изображений снимков фотограмметрической съемки, вводимых в компьютер путем сканирования. Система предназначена для цифровой компьютерной обработки фотограмметрической информации в научных и технических экспериментах по изучению поведения локальных объектов в двухмерной среде. В статье описаны методы определения геометрических параметров и анализа пространственного положения объектов и алгоритмы получения прецизионных фотограмметрических данных, соответствующих реальным измерительным свойствам обрабатываемых снимков.
Введение
В скоростной фотографии, применяемой для анализа быстропротекающих процессов, существенным моментом является точное (субпиксельное) определение координат подвижных локальных объектов (например, для измерения скорости потока частиц [1] относительно неподвижных опорных объектов (маркеров), расстояние между которыми известно точно. При обработке фотограмметрических изображений необходимо учитывать искажения, которые возникают как при самой съёмке (аберрации, смаз), так и при сканировании фотоснимка.
Массив информации при цифровой фотограмметрической обработке снимка включает три различных по составу группы объектов, наблюдаемых в следующей последовательности: а) перекрестия, б) геодезические репера - геодезические контрольные марки, в) объекты. Центральное перекрестие и перекрестия, регулярно расположенные по площади снимка с шагом 10 мм в горизонтальном и вертикальном направлениях, определяют плоскую систему координат снимка и используются для позиционирования и внутреннего ориентирования обрабатываемого изображения. Под позиционированием понимается преобразование снимаемых координат точек изображения из системы координат сканера к системе координат снимка с началом в Центральном перекрестии с учетом введения поправок за систематическую деформацию пленки. Геодезические репера в количестве от 3 до 50 используются для определения параметров внешней ориентации снимка при решении задачи определения пространственного положения объекта. Объект - аэродинамическая модель - представляет собой осесиммет-ричное тело с замаркированными реперными знаками на боковой поверхности.
Содержанием данной научно-исследовательской работы является разработка и исследование математических методов, алгоритмов и информационных технологий цифровой компьютерной обработки фотограмметрических изображений (ФГИ), а также последующая реализация полученных теоретических результатов в виде прикладного программного обеспечения для персональной ЭВМ.
1. Алгоритмы выделения геометрических признаков объектов ФГИ
Для автоматической идентификации и снятия цифровых координат центров определяемых объектов изображения учитываются их признаки (форма, размеры и тому подобное). Однако понятие формы для элемента изображения, часто не имеющего четких границ, неоднозначно. Поэтому необходимо приближение к "идеальному" изображению для снятия цифровых координат центра объекта на уровне фотограмметрической точности. В отдельных случаях для оцифровки координат точки наблюдаемого объекта достаточно вычислить центр масс изображения данного объекта.
Признаки отдельно взятого объекта ФГИ можно разбить на первичные, которые измеряются непосредственно по изображению процедурой сегментации исходного изображения, и вторичные, которые рассчитываются на их основе. К первичным геометрическим признакам относятся периметр, площадь, протяженность, моментные функции. К вторичным - коэффициенты аспекта, формы, площади и параметры аналитической аппроксимации контура объекта [2].
Исходные геометрические параметры объекта ФГИ (см. рис. 1).
• протяженности объекта в четырех направлениях р = 0° ,45°,90°,135°: —(р). С учетом эффекта дискретизации (рис.1):
—(0) = ¿тах - ¿тт +1
-0(45) = ((/ + Г)тах - (/ + Отп + 2)/л/2,
0(90) =Ттах - Ттп +1,
-(135) = ((/-Т)тах - (г -Т)тп + 2)/<Я;
• периметр. Расчет периметра сильно усложняется для цифровых изображений из-за эффекта дискретизации. Предлагается строить оценку периметра на основе четырехсвязного и восьмисвязного периметра объекта. Экспериментальными исследованиями показано, что использование среднего геометрического из четырехсвязного и восьмисвязного
периметра: Р = ^Р4 Р8 дает наилучшее приближение к истинному периметру объекта;
• моментные функции: цы = ^ Iгк Т,
где — - область объекта.
Рис.1. Иллюстрация определения размеров объекта ФГИ.
В частности, площадь: £ = /и00, и координаты цен-
<10
т0 =
тра тяжести: t0 =
"00
Классификационные
<01 "00
признаки, инвариантные
к сдвигу, масштабу и повороту:
• коэффициент аспекта характеризует вытя-нутость объекта:
K = Dmin
Dmax
где Dmin = min D(p), Dmax = max D(p).
P P
В нашем случае угол р ограничен четырьмя значениями: р = 0°, 45°, 90°, 135°.
• коэффициент формы служит для оценки "извилистости" контура объекта:
K = 4nS / P2.
f
Фактически коэффициент формы равен отношению площади объекта S и максимальной площади при заданном периметре;
• коэффициент площади характеризует выпуклость объекта:
KS = S / Smin ,
где S - площадь объекта, Smin - минимальная площадь выпуклой фигуры, содержащей данный объект (рис. 1). На практике в качестве выпуклой фигуры использовали восьмиугольник, площадь которого может быть вычислена из первичных геометрических параметров:
Smin = а 02 - (a2 + а 22 + аз2 + a4)/2, где с учетом дискретизации изображения:
a0 = (tmax — t min + 1)(Tmax — "min +1), a1 = Tmax — t min + (t — T)min + 1 a2 = tmax + Tmax — (t + T)max + 1 a3 = ^max — Tmin — (t — T)max — 1 a4 = (t + T)min — tmin — Tmin — 1
Выделенные признаки Ka ,Kf, KS являются
безразмерными, изменяются от нуля до единицы и используются в качестве признаков классификации объектов на ФГИ.
Оценивание параметров аналитической аппроксимации контура объекта осуществляется с помощью метода моментов на основе полученных ранее в процедуре сегментации изображения оценок геометрических инвариантов исследуемого объекта (первичных признаков) путём приравнивания измеренных значений выбранных геометрических инвариантов (эмпирических) к теоретическим. В качестве первичных признаков, инвариантных к повороту и сдвигу, использовались площадь £ и сумма центральных моментов второго порядка ¡л = р02 + р20 [3, 4].
Опишем форму выпукло-конического объекта (в осевом сечении), представленного на рис. 2 кривой, состоящей из трёх частей: вертикальной (на
оси Оу), дуги параболы у = а - Ьх2, лежащей во втором квадранте, и дуги, симметричной ей относительно оси Ох .
Левая граница объекта, требуемая при вычислении его моментных функций: хь = -Vа /Ь .
Рис. 2. Выпукло-конический объект ФГИ. Теоретические значения моментов:
„3/2
_ 4a _ a
S = <"00 - , 1/2 ; <10 = ; <01 = 0 ; 3b 2b
= 4a5/2 = 32a'
"20 = Tib377; "02 = 105b72 •
Координаты центра тяжести:
,7/2
3a
1/2
1/2
■; У0 = 0.
8b
Соответственно центральные моменты:
<20 =
19a
5/2
240b
3/2
"02 = "02 .
После приравнивания эмпирических инвариантов теоретическим получим систему уравнений:
19a
5/2
32a
7/2
240b
3/2
105b
1/2
S =
4a
3/2
(1)
3b
1/2
Выразив из второго уравнения b =
16a3
9S
2
подставив его в первое уравнение, получим квад-
2
ратное уравнение относительно переменной x = a :
■35 £х — цх + -^^оо£ = 0 х1,2 = (Р )
16S
D = 1/2 171 S4 D = " - 5600 S
Хп = -
+
и
В качестве решения уравнения необходимо использовать корень со знаком минус, так как плюс соответствует фигуре, у которой дуга параболы во второй четверти повёрнута на 90° по часовой стрелке и зеркально отражена (рис. 3).
Рис. 3. Одно из решений системы (1). Вследствие чего имеем следующее решение:
a =
í 35(М-у[Б) ^1/2 163
ь =
16а3
9 Б 2
Зная а и Ь , можно найти более наглядные величины - основание объекта 2 а и его высоту Vа / Ь .
Рассмотрим объект на ФГИ конусообразной формы (в его осевом сечении).
Форму объекта опишем трёмя отрезками: вертикальным (на оси Оу), отрезком прямой у = а + Ьх , лежащей во II квадранте, и отрезком, симметричным ему относительно оси Ох (рис. 4).
Левая граница объекта, требуемая при вычислении его моментных функций: хь = -а/Ь .
Рис. 4. Объект конусообразной формы. Теоретические значения моментов:
2 3
Б = = а = а3 = 0
Б = М00 = —Т ; Ию = -Т7Т; ^01 = 0 ; ь 3Ь2
4 4
а а
И20 = 77Г; И02 = ТТ. 6Ь 6Ь
Соответственно координаты центра тяжести:
а 0 х0 =-тт; ус =
3Ь
Центральные моменты:
И20 =
а _
18Ь
И02 = И02 •
После приравнивания эмпирических инвариантов теоретическим получаем следующую систему:
И = -
б=а-
ь
4 4
а а
18Ь3 6Ь
2
(2)
Выразив из второго уравнения а = ЬБ и подставив его в первое уравнение, получим следующее квадратное уравнение относительно переменной Ь :
9/и±у1 — /4
3Б 2Ь 2 - 18иЬ + Б 2 = 0,
Ь1,2 ="
■2 -3Б4)
3Б2
— = 4(81и2
Аналогично рассмотренной выше схеме, используем корень со знаком «минус», так как другой соответствует фигуре, у которой отрезок прямой во II четверти повёрнут на 90° по часовой стрелке и зеркально отражён (рис. 5).
Рис. 5. Одно из решений системы (2). Вследствие чего имеем следующее решение: 9и-д/81и2 -3Б4
Ь =
3Б1
= 4ьб .
Зная а и Ь , можно найти более наглядные величины - основание объекта 2а и его высоту а / Ь .
Квадрат описывается параметром а = , где Б - площадь. Прямоугольник и отрезок двумя -длиной а и Ь , следующие оценки которых найдены аналогично методом моментов:
а =
^ 6и + А/36Й
2 - Б4 I / Б;
Ь = Б / а .
где и = И20 + И02 .
В разрабатываемой системе классификации классам присвоены следующие номера: 1 - крест, 2 -объект конусообразной формы, 3 - выпукло-конический объект, 4 - отрезок и прямоугольник, 5 -квадрат, 0 - прочие объекты. Различение объектов по классам производится по геометрическим признакам - максимальному размеру, коэффициенту аспекта и коэффициенту площади.
Максимальный размер используется для отсечения мелких объектов: если размер меньше порогового значения, то объект не подвергается классификации. Для разделения на классы использован
жёстко детерминированныи подход, реализуемый с помощью априорно заданных граничных значений, введённых в ходе экспериментальных исследованиях на основе вычислений для идеальных фигур. Ниже представлена используемая в системе схема классификации: условия принадлежности классам:
• К < 2 и К < 0,5 - объект 1-го класса;
а s ' '
• К > 2 и К < 5 и К < 0,583 - объект 2-го
а а s '
класса;
• К > 2 иК < 4 и К > 0,583 - объект 3-го
а а s '
класса;
• К > 4 иК < 5 иК > 0,583 и К < 0,833 -
а а 5 ' s '
объект 3-го класса;
• К > Л и К > 0,833 - объект 4-го класса;
• к <42 и К > 0,583 - объект 5-го класса;
• признаки не удовлетворяют перечисленным условиям - объект 0-го класса.
Для каждого объекта кроме номера класса фиксируется также его местоположение, угол наклона и параметры, характеризующие его размеры (рис. 6). В качестве координат местоположения объекта используются координаты центра тяжести, кроме класса 1 (крест), для которого в силу нена-
дёжности центра тяжести при искажениях формы центр находится специальным способом.
Учитывая форму объекта, оцениваются координаты точки центра креста на основе координат крайних точек объекта. Угол наклона определяется через моментные функции (см. выше). Для объектов классов 0 и 1 вычисление угла наклона не производится (для объекта типа крест в задаче анализа ФГИ важно точное определение точки перекрестия, для неидеального креста моментные функции вычисляются с большой погрешностью).
2. Программные средства обработки фотограмметрических изображений В автоматизированной системе обработки ФГИ описанный выше алгоритм классификации объектов реализован в специальном режиме - обнаружение, вид графического интерфейса которого показан на рис. 6. На рис. 7 представлена информация об объектах, помещаемая в базу данных. Графический интерфейс разрабатываемого программного обеспечения основан на использовании графической оболочки MS-Windows. Интерфейс даёт возможность получить доступ к любой из многочисленных имеющихся функций обработки и является логичным в смысле группировки методов по их типичным комбинациям, и предлагает рекомендуемые технологии как последовательности методов и значения параметров по умолчанию.
JS]x]
Рис. 6. Иллюстрация одного из режимов работы системы.
№ X ¡ВДЕЯШ Тип Наклон Размер вер. Размер хор.
1 780.65 215.80 треуг. объект 93.09 103.74 24.70
2 403.ЭЕ 481.24 прочее 0.00 0.00 0.00
3 122.98 667.60 прямоугольник 96.92 103.72 90.43
4 407.Э7 653.29 крест 0.00 0.00 0.00
5 662.70 744.66 прямоугольник 98.37 93.05 73.75
6 773.38 868.65 закруг. объект 92.93 100.7Э 20.12
Рис. 7. Информация об объектах ФГИ, помещаемая в БД.
Прикладное программное обеспечение, разработанное в ходе создания системы распознавания объектов на фотограмметрических изображениях ,включает в себя несколько основных программных модулей, используемых для решения конкретных технологических задач, реализуемых в автоматическом и/или автоматизированном режимах. Общая структура программного обеспечения представляется в виде определенной последовательности выполнения основных процессов цифровой фотограмметрической обработки изображений. Управление обработкой производится с помощью иерархически организованного ниспадающего меню системы и инструментальной панелью (рис. 8). В окне задачи отображаются: состояние системы, пиксельные и физические координаты при работе с маркером или выборе отдельных точек изображения.
Осуществляется выделение и восстановление информативных элементов изображения с сохранением в базе данных полученного вида изображения для последующей оцифровки координат точек.
Для каждого снимка производится: устранение яркостной нестабильности, фильтрация шумов, повышение визуального качества и тому подобное. Для этого используются стандартные и разработаны специальные методы улучшения качества изображения фильтрации и поэлементного преобразования яркости (рис. 9). Наблюдение, идентификация и снятие цифровых координат точек изображения осуществляется по визуализированным на мониторе одиночным цифровым снимкам.
Наблюдения выполняются монокулярно, путем позиционирования маркера при помощи манипулятора "мышь" или с помощью клавиатуры на соответствующие изображения определяемых точек объекта. Одно нажатие на клавишу вызывает перемещение маркера на 1/4 пикселя (субпиксельная точность измерений).
Фрагменты текущего изображения можно просматривать при выбранном из списка возможных значений коэффициенте увеличения: от 16:1 (вось-
микратное увеличение) до 1:16 (восьмикратное уменьшение).
Форма, цвет и размеры маркера выбираются в соответствии с наблюдаемой точкой изображения. Существует набор маркеров в виде креста, окружности, кольца, квадрата, ромба и треугольника. Для указания измеряемой точки используется центр маркера. Кроме того, предусмотрена возможность изменения типа и задания номера маркера (Рис. 10) Также обеспечивается мерцание маркера в диапазоне частот 1-10 Гц.
Результатом оцифровки являются пиксельные значения отсчетов наблюдаемых точек изображения и/или физические координаты в системе координат сканера для последующего преобразования их в систему координат цифрового снимка. Реализована возможность повторного просмотра изображения с индикацией позиционирования маркера на оцифрованных точках. Предусмотрена возможность представления результатов оцифровки в произвольной системе координат.
Организована БД, работающая со следующими типами файлов: текст для DOS (с расширением *.snm), Excel, Word. Сохранение таблицы маркеров возможно в любом из указанных форматов. Загрузка полной таблицы (рис. 9), с полной информацией о маркерах, только из Excel-файла, других таблиц (с произвольно выбранной информацией) из любого из указанных форматов (в этом случае параметры маркеров устанавливаются по умолчанию: размер -15 пикселей, тип - крест).
Для идентификации характерных точек контура объекта разработан программный модуль и методика профилирования по горизонтальным или вертикальным сечениям с заданным шагом.
Модуль обеспечивает построение графиков горизонтального и вертикального профилей (эквивалентных результатам измерения денситометра), выбирая удобные пределы и измеряя значение функции яркости в интересующем месте (рис. 12).
1 ^Фотограмметрия -|П|х|
Изображение Обработка ^Таблица Выход
^ - У шшо к В
й*: Фотограмметрия
Изображение Обработка Таблица Выход
& - У
№\Фотогр
[ E2I Предварительная обработка Ik! Гистограмма и преобразование
Геометрические преобразования
Параметры снимка ?{; Обнаружение объектов
X
Y X
Y X
Y
Тон:
3779.00 I
Координаты в пикселях изображения
80.008 Ч^ЕВЪь. fpiii-.'дМ I .
40.028 № ,"." 'I'll
Координаты в миллиметрах
им.мин
40.628
: 21J Выделение | |Щ
Рис. 8. Иллюстрация организации интерфейса системы анализа ФГИ.
Рис. 9. Реализация технологии улучшения качества ФГИ.
шшВНЖН35Я
Рис. 10. Установка и определение параметров маркеров.
Индекс N X, мм мм Вид Размер Заливка Контур Тип
1 0 27.961 1.757 Крест 25 8421376 8388863 Обычный
2 0 7.811 1.715 Крест 25 8421376 8388863 Обычный
3 0 7.768 11.705 Крест 25 8421376 8388863 Обычный
4 0 17.844 11.748 Крест 25 8421376 8388863 Центральный
5 0 27.919 11.79 Крест 25 8421376 8388863 Обычный
6 0 7.726 21.696 Крест 25 8421376 8388863 Обычный
7 0 17.801 21.738 Крест 25 8421376 8388863 Обычный
8 0 27.877 21.738 Крест 25 8421376 8388863 Обычный
9 0 17.907 1.736 Крест 25 8421376 8388863 Обычный
Рис. 11. Основные параметры маркеров снимка.
Рис. 12. Построение графика горизонтального профиля выделенного фрагмента.
3. Расчёт элементов преобразования снимка.
Точка начала и две точки направления произвольной системы координат указываются в процессе наблюдения и оцифровки координат точек изображения, после чего система автоматически производит пересчет изображения на новую систему пикселей, либо эти точки назначаются после полного выполнения оцифровки. В качестве нулевых точек могут быть выбраны как перекрестия регулярной сетки, так и любые точки изображения. В случае выбора перекрестий вычисления, осуществляемые при повороте изображения и пересчете координат к новой системе, осуществляются методом наименьших квадратов (с привлечением всей совокупности наблюдаемых перекрестий) и производятся без потери точности оцифровки (рис. 13).
Рис. 13. Реализация преобразования снимка.
Целью модуля расчета, осуществляемого с применением метода наименьших квадратов, является получение по результатам дискретных измерений, выполняемых автоматически по перекрестиям регулярной сетки или полуавтоматически с предварительным выбором перекрестий четырех элементов преобразования снимка: координат начала (Хо, Го) системы координат снимка в системе координат сканера; взаимного положения двух систем (угла поворота снимка); систематической деформации (Кх, Ку) вдоль осей координат, а также приведение
оцифрованных координат точек изображения из системы координат сканера к системе, определяемой перекрестиями сетки в плоскости цифрового снимка. Расчет элементов преобразования и пересчет изображения на новую систему пикселей производится в автоматическом режиме, сразу же после идентификации и оцифровки группы перекрестий регулярной сетки либо после полного снятия цифровых координат по всем группам наблюдаемых точек изображения.
4. Тестовые испытания системы
Была получена отсканированная копия снимка ФГИ с разрешением 1200x1200 (оптическое 1200x600). Центральный фрагмент этого снимка размером 4000x3000 пикселей был обработан представленной системой (рис. 14).
Получены прецизионные фотограмметрические данные по 45 перекрестиям регулярной сетки. Ниже приведены таблицы параметров преобразования снимков (таблица 1) и преобразованных координат результатов обработки снимка (таблица 2).
Из таблицы 2 видно, что погрешность определения координат крестов по оси Y меньше, чем по оси X. Это связано с различием в горизонтальном и вертикальном разрешении сканера. По оси Y -1200 dpi оптическое разрешение, по оси X - 600 dpi оптическое, которое преобразовано в 1200 интерполяцией с потерей точности, которая выражается в неоднозначности определения центров крестов.
Таблица 1. Параметры преобразования снимков.
Углы преобразования PGI1.bmp Приборные значения
Ось X 0,60478
Ось Y 90,45737
угол между осями 89,85260 89,99868
I Разнер VXD.-rXXrj течек (11.+4 Мб « лшятм)
Рис. 14. Обработка снимка ФГИ (4000х3000 пикселей)
Таблица 2. Преобразованные координаты перекрестий снимка.
PGI1.bmp
N X, мм Y, мм
0011 -19,846 -20,069
0021 9,964 -10,075
0031 -9,934 -10,082
0041 -19,878 -10,078
0051 -19,892 -0,018
0061 -9,97 -0,017
0004 0 0
0071 9,939 0,006
0081 19,877 0,007
0091 19,882 10,055
0101 9,945 10,039
0111 -0,01 10,038
0121 -9,969 10,059
0131 -19,886 10,031
Приборные значения
N X, мм Y, мм
0101 -19,974 -20,008
0041 10,023 -9,948
0061 -9,993 -9,982
0081 -20,014 -10,001
0101 -20,012 -0,077
0031 -9,990 -0,064
0004 0 0
0161 10,010 -0,031
0181 20,000 -0,024
0261 20,007 10,009
0241 10,017 10,006
0221 0,08 10,000
0201 -10,007 9,985
0021 -20,013 9,964
Таким образом, погрешность определения координат в большей степени зависит от погрешности оцифровки снимка. На изображении слайда обнаружено также специфическое нелинейное искажение по оси X, что выражается в изменении расстояния между центрами регулярной сетки. Чем дальше от центра, тем больше расстояние между соседними крестами.
Заключение
Основные полученные результаты: а) разработано прикладное программное обеспечение компьютерной обработки фотограмметрических изображений; б) получены результаты теоретической и экспериментальной оценки эффективности разработанных алгоритмов и информационных технологий, рекомендации по их практическому применению; в) разработаны методы, алгоритмы и информационные технологии цифровой обработки фотограмметрических изображений.
Литература
1. H. Maas, A. Gruen. Digital photogrammetric techniques for high-resolution three-dimensional flow velocity measurements // Opt. Eng., 1995, V.34, No.7. P. 1970-1976.
2. Волкова С. Э., Ильясова Н. Ю., Карпеев С. В., Уваров Г. В., Устинов А. В., Храмов А. Г. Оптико-цифровая система для анализа препаратов крови // Научное приборостроение. Санкт-Петербург. 1993. Т. 3. С. 134-146.
3. Шведов А. М., Шмидт А. A. О полной системе инвариантов для некоторого класса задач распознавания образов // Издание института автоматики и процессов управления: Владивосток, ДВНЦ АН СССР, 1976.
4. Глумов Н.И. Построение и применение момент-ных инвариантов для обработки изображений // Компьютерная оптика, 1995. В. 14-15, Ч. 1, C. 46-54.
