CC BY
31
НАУЧНО-ТЕХНИЧЕСКИИ ВЕСТНИК ИНФОРМАЦИОННЫХ ТЕХНОЛОГИИ, МЕХАНИКИ И ОПТИКИ ноябрь-декабрь 2017 Том 17 № 6 ISSN 2226-1494 http://ntv.i1mo.ru/
SCIENTIFIC AND TECHNICAL JOURNAL OF INFORMATION TECHNOLOGIES, MECHANICS AND OPTICS November-December 2017 Vol. 17 No 6 ISSN 2226-1494 http://ntv.ifmo.ru/en
УДК 535.317.1
ВОССТАНОВЛЕНИЕ ФОРМЫ ТРЕХМЕРНОГО ОБЪЕКТА ПО ДВУХМЕРНЫМ ИЗОБРАЖЕНИЯМ М.В. Самойленко1
a Московский авиационный институт МАИ (национальный исследовательский университет), Москва, 125080,
Российская Федерация
Адрес для переписки: Samoi.Mar@mail.ru
Информация о статье
Поступила в редакцию 31.08.17, принята к печати 30.09.17 doi: 10.17586/2226-1494-2017-17-6-1074-1083 Язык статьи - русский
Ссылка для цитирования: Самойленко М.В. Восстановление формы трехмерного объекта по двухмерным изображениям // Научно-технический вестник информационных технологий, механики и оптики. 2017. Т. 17. № 6. С. 1074-1083. doi: 10.17586/2226-14942017-17-6-1074-1083
Аннотация
Предложен новый метод восстановления формы объекта по изображениям, основанный на томографическом подходе в обработке сигналов. В большинстве существующих методов решения этой задачи требуется либо активный характер системы наблюдения, в которой, помимо регистрации изображений, осуществляется специальная подсветка объекта, либо выявление на изображениях соответственных точек в случае восстановления формы по стереоизображениям, иногда тоже с подсветкой. В предложенном методе ни того, ни другого не требуется. Вместо этого на каждой плоскости изображения достаточно выделить область, занятую непосредственно изображением объекта. Необходимо также знать положение плоскостей изображений. Метод состоит в следующем. Будем полагать, что известна контролируемая область пространства, в которой находится объект. Разобьем ее на множество маленьких объемов - элементов разрешения - и пронумеруем их. Используем описание контролируемой области пространства в виде вектора-оригинала, число компонент которого равно числу элементов разрешения в контролируемой области пространства, а значение каждой компоненты равно единице, если элемент разрешения с номером этой компоненты лежит в теле объекта, и равно нулю, если не лежит. Очевидно, что, зная такой вектор, достаточно просто построить трехмерный объект, составив его из тех элементов разрешения, номера которых равны номерам единичных элементов вектора-оригинала. Таким образом, главным этапом решения задачи является восстановление вектора-оригинала по его отображению. Решается задача с помощью алгебры логики. Отображение формируется по бинарным изображениям. Получены логические выражения, позволяющие восстановить вектор-оригинал, проведено компьютерное моделирование реализации метода, в результате чего получается форма объекта в виде совокупности составляющих его элементов разрешения, что дает возможность «рассматривать» восстановленный объект в любых ракурсах. Ключевые слова
томографический подход в обработке сигналов, вектор-оригинал, отображение, восстановление, форма, изображение
SHAPE RESTORATION OF THREE-DIMENSIONAL OBJECT FROM TWO-DIMENSIONAL IMAGES M.V. Samoilenko1
a Moscow Aviation Institute (National Research University), Moscow, 125080, Russian Federation Corresponding author: Samoi.Mar@mail.ru Article info
Received 31.08.17, accepted 30.09.17
doi: 10.17586/2226-1494-2017-17-6-1074-1083
Article in Russian
For citation: Samoilenko M.V. Shape restoration of three-dimensional object from two-dimensional images. Scientific and Technical Journal of Information Technologies, Mechanics and Optics, 2017, vol. 17, no. 6, pp. 1074-1083 (in Russian). doi: 10.17586/2226-1494-2017-17-6-10741083
Abstract
The paper presents a new method of the object shape restoration based on the tomography approach in signal processing. Most existing methods of solving the problem require either an active surveillance system that besides images registration includes special illuminating of the object, or it is necessary to identify corresponding points in the case of stereo images,
sometimes also with illuminating. The proposed method requires neither of that. Instead, it is enough to allocate the area of the object image on each image plane. It is also necessary to know the image planes positions. The method essence is the following. We assume that the observed space area that includes the object is known. We divide it into a set of small volumes, resolution elements (ReE), and number them. The observed space area is described by the vector-original with the amount of components equal to the amount of ReE and the values of components equal to 1 if the ReE with the same number is inside the object and equal to 0, if it is not inside it. Obviously, if we know such a vector, it is quite simple to receive a three-dimensional object, forming it from ReE with numbers equal to the numbers of the vector-original elements equal to one. Thus, the main stage of solving the problem is the restoration of the vector-original by its mapping. The problem is solved with the aid of logic algebra. The mapping is being formed from binary images. The logical expressions have been obtained that give the possibility to reconstruct the vector-original; computing simulation of the method realization has been performed, and as a result the object shape has been obtained as the set of ReE inside it, that makes it possible to consider the restored object in all angles. Keywords
tomography approach in signal processing, vector-original, mapping, restoration, shape, image
Введение
Задача восстановления формы объекта может возникать в различных областях, связанных с регистрацией изображений. Известно несколько подходов к решению этой задачи. Существует группа методов, которые позволяют получить информацию о форме объекта по косвенным признакам [1], для чего в некоторых случаях достаточно одного изображения. Например, метод определения формы по затенению позволяет оценить наклоны поверхности объекта по распределению освещенности в плоскости его изображения. Другие варианты - это определение формы по текстуре изображения и определение формы по фокусу. Недостатками этих методов являются требования, налагаемые на свойства объектов, к которым эти методы применяются. Так, например, для определения формы по затенению объект должен иметь поверхность с диффузным отражением. Вторая, более распространенная, группа методов определения формы объекта - это ее восстановление по структурированному изображению, которое получается за счет структурированной подсветки. Здесь используются различные вариации, например, муаровая топография [2, 3], использование параллельных световых полос [4] или бинарных паттернов [5].
Недостатками этих методов является, прежде всего, сама необходимость организации подсветки, что является сложным и энергетически затратным механизмом. Кроме этого, работоспособность методов, основанных на структурированной подсветке, связана с условиями естественного освещения и дальностью: при ярком дневном освещении и / или удаленном объекте реализуемость методов оказывается под вопросом.
Третья и наиболее обширная группа - это методы определения формы объекта по стереоизображениям [6-11]. Главная составляющая этих методов - выявление на изображениях соответственных точек и последующее определение расчетным путем их пространственных координат. Различаются эти методы способами выявления соответственных точек и вариантами получаемой информации о форме объекта. Так, в [6] соответственные точки выделяются посредством анализа их окрестностей, в [8] - с помощью стереокурсора, в [10] в качестве соответственных точек выбираются характерные точки сцены, в [11] системы регистрации стереоизображений дополняются лазерной подсветкой, что дает возможность выявлять соответственные точки при неструктурированном изображении объекта. Информация о форме объекта часто представляется в виде карт диспарантности [6, 8] или аппроксимируется стыкующимися треугольниками с использованием аппарата триангуляции [9].
Недостатки методов определения формы объекта по стереоизображениям следующие: во-первых, существенную сложность представляет решение задачи выявления соответственных точек, причем как в принципиальном плане, так и в плане вычислительных затрат; кроме этого, стереоскопичность с малой базой не обеспечивает получения полной информации о форме объекта, поскольку позволяет «видеть» его только с одной стороны.
В настоящей работе предлагается принципиально новый метод восстановления формы объекта по изображениям. Для его реализации не требуется ни подсветки, ни выявления соответственных точек. Метод ориентирован на использование разноракурсных изображений, что позволяет получать наиболее полную, «всестороннюю» информацию о форме. В основе метода - томографический подход в обработке сигналов, как его предложил и начал применять в 1990-х годах д.т.н., профессор В.И. Самойленко.
Работа посвящена обоснованию нового метода, его математической формулировке и демонстрации принципа работы на компьютерной модели. Влияние ошибок и искажений формирования и обработки изображений не рассматривается.
Постановка задачи
Будем полагать, что известна контролируемая область пространства Q , в которой находится интересующий нас объект. Из разных точек пространства регистрируются оптические двухмерные изобра-
жения объекта в видимом или инфракрасном (ИК) диапазоне, причем пространственные положения плоскостей изображения известны. Объект полагаем непрозрачным в видимом диапазоне длин волн.
Ставится задача восстановить форму объекта по набору разноракурсных двухмерных изображений, используя для этого томографический подход в обработке сигналов.
Метод решения
Томографический подход в обработке сигналов [12] основан на решении математической задачи томографии - восстановлении искомой функции-оригинала по множеству значений ее интегралов, полученных при различающихся путях интегрирования и в совокупности образующих отображение оригинала. Этот подход отличается от классической томографии, в частности, тем, что в подынтегральное выражение входит взвешенная искомая функция, а вместо различающихся путей интегрирования используются различающиеся условия интегрирования, которые включают как пути интегрирования, так и весовые функции в подынтегральном выражении. Наконец, томографический подход в обработке сигналов предполагает дискретизацию задачи, т.е. переход от интеграла к интегральной сумме и ряд других преобразований.
Воспользуемся линейной моделью отображения контролируемой области пространства на плоскость изображения (рис. 1), согласно которой распределения интенсивности по контролируемой области пространства /(р) и по плоскости изображения g (г) являются входом и выходом отображателя с характеристикой к (р, г), где р иг - координатные векторы контролируемой области пространства и
плоскости изображения соответственно. Характеристика отображателя определяется условиями распространения оптического излучения, а также свойствами оптической системы и полагается известной.
Область изображения
к(р, г)
объекта
Контролируемая область пространства
Отображатель
Плоскость изображения
Рис. 1. Линейная модель отображения: О - контролируемая область пространства; / (р) - распределение интенсивности излучения по контролируемой области пространства;
Б - плоскость изображения; g (г) - распределение интенсивности по плоскости изображения;
к (р, г) - характеристика отображателя
Сделаем одно допущение, которое позже снимем. Будем полагать, что объект находится в свободном пространстве. Тогда функция / (р) равна нулю везде, кроме области, занятой объектом. Если бы
нам удалось найти функцию / (р), то она дала бы полную информацию о форме объекта: совокупность
всех координат ее ненулевых значений составляет тело объекта, его форму. Отметим возникшее здесь понимание формы объекта как его тела, т.е. заполненного его объема. Именно в этом смысле и решается задача - форма объекта восстанавливается в виде заполненного его объема. Задача, таким образом, заключается в нахождении функции / (р) - функции-оригинала, описывающей контролируемую область пространства. Для решения сформируем отображение этой функции.
Сначала опишем элемент отображения - интегральное отображение / (р) в одну точку г плоскости изображения. Согласно рис. 1,
g(г) = {к(р, г)/(р)ф , (1)
О
где g (г) - элемент интегрального отображения функции-оригинала. Уравнение (1) описывает непрерывно-непрерывное отображение, в котором искомая функция-оригинал / (р) входит в подынтегральное выражение с весовой функцией к (р, г).
Перейдем к дискретно-непрерывному варианту уравнения (1), для чего дискретизируем контролируемую область пространства на маленькие объемы АО - элементы разрешения (ЭР). Уравнение (1) при этом примет вид интегральной суммы
ё (г) = £ АШ (п АО, г) / (п АО) = £кп (г) / , (2)
п=1 п=1
где п - номер ЭР; N - число ЭР в контролируемой области пространства; кп (г) = АОк (п АО, г) - весовой коэффициент, который определяет вклад п-го ЭР в значение интенсивности изображения в точке г, / = / (п АО) - дискретное значение искомой функции-оригинала. В уравнении (2) значение ё (г) известно - это интенсивность изображения в точке г, которую можно измерить. Известны и весовые коэффициенты кп (г). Искомыми являются дискретные значения функции-оригинала. Объединим их в вектор-оригинал f = [[ /2 ... ^], где индекс Т обозначает транспонирование. Этот вектор описывает контролируемую область пространства в дискретном виде.
Перейдем к дискретно-дискретному отображению. Для этого разобьем плоскость изображения на маленькие участки А£ - элементы площади (ЭП) и пронумеруем их в соответствии, например, со строчно-столбцовой разверткой А^, А£2, ... А£К, где К - число ЭП. Дискретно-дискретное отображение вектора-оригинала для одного изображения формируем как совокупность элементов отображения (2) для всех ЭП:
ё (г, ) = Я, =£^/п , к = 1, 2,... К , кпк = кп (г, ) , (3)
п=1
где гк - координатный вектор к-го ЭП; кпк = кп (гк) - коэффициент отображения из п-го ЭР в к-й ЭП.
Выражение (3) описывает отображение вектора-оригинала в виде системы из К линейных уравнений с N неизвестными. Эта система получена по одному изображению и поэтому является недоопреде-ленной: число ЭР больше числа ЭП, так как это отображение трехмерного пространства в двухмерное. Чтобы избавиться от недоопределенности, используем все имеющиеся М стереоизображений и сформируем отображение в виде следующей системы уравнений:
ё (1 =
= £к(1) / , к = 1,2,...К.,
И = 1
(2)=£€» /, к=1,2,...К2
(4)
я(м]=Ъ(:] /, к=1,2,...Км, 11 = 1
где верхний индекс в круглых скобках указывает номер изображения, К1, К2, ... Км - число ЭП на 1-й,
2-й, ... М-й плоскостях изображений соответственно. Формирование отображения, соответствующего системе уравнений (4), показано схематически на рис. 2.
Ранее оговаривалось, что характеристика отображателя полагается известной, т.е. известны весовые коэффициенты к^. Это необходимо для того, чтобы по отображению (4) восстановить вектор-оригинал и тем самым решить задачу. Сделать это можно, например, методом псевдообращения [13]. При этом результатом будет вектор-оригинал, значения компонент которого равны интенсивностям излучений ЭР.
Однако в рассматриваемом случае имеется обстоятельство, не позволяющее прямо использовать систему уравнений (4). Обстоятельство это заключается в неопределенности весовых коэффициентов. В видимом диапазоне эта неопределенность возникает из-за непрозрачности объекта, в результате чего на каждом изображении вклад в распределение интенсивности ёк вносит только видимая часть поверхности объекта, только интенсивности / «видимых» ЭР, а остальные ЭР - не вносят, поскольку заслонены видимой частью объекта. Весовые коэффициенты для «заслоненных» ЭР равны нулю. Это значит, что весовые коэффициенты для каждого изображения оказываются зависящими от видимого ракурса и формы объекта, которые неизвестны. Аналогичная картина получается и в ИК диапазоне: несмотря на прозрачность объекта для ИК излучения, процесс поглощения излучения одного ЭР другими, через которые оно проходит, также как и в случае видимого диапазона, приводит в итоге к зависимости весовых коэффициентов от априори неизвестных видимого ракурса и формы объекта. В дальнейшем будем обозначать те ЭР, которые составляют тело объекта, как элементы разрешения объекта (ЭРО).
1
Рис. 2. Формирование дискретно-дискретного отображения вектора-оригинала: 1 - 1-я плоскость изображения; 2 - 2-я плоскость изображения; 3 - М-я плоскость изображения; к^) - коэффициент отображения из п-го элемента разрешения в к-й элемент площади на т-ом изображении
Для преодоления описанной неопределенности перейдем к бинарной постановке задачи. В основе ее лежит идея избавиться от влияния на конечный результат неопределенности значений весовых коэффициентов. Для этого сделаем следующее.
Приведем весовые коэффициенты к бинарным значениям. Будем полагать
кб [1, если для п-го изолированного ЭР кпк ф 0, пк [0, если для п-го изолированного ЭР кпк = 0.
Здесь и далее рассматриваем изолированные ЭР, что снимает зависимость весовых коэффициентов от положения ЭР, в частности - от заслоненности одних ЭРО другими. Весовые коэффициенты (5) определяют преобразование из контролируемой области пространства в плоскость изображения по положению изолированных ЭР, но не по значению интенсивности их изображений.
Избавимся от значений интенсивности и в контролируемой области пространства. Для этого перейдем к бинарному вектору-оригиналу fб =[/1б /2б ... /^]
дующим образом:
Г1, если п-й ЭР есть ЭРО,
компоненты которого зададим сле-
/б =
(6)
[0, если п-й ЭР не является ЭРО.
Теперь вектор-оригинал характеризует не распределение интенсивности по ЭР, а принадлежность или непринадлежность каждого ЭР телу объекта. Восстановив этот вектор, мы сможем легко выделить номера тех ЭР, которые составляют тело объекта, по позициям единичных значений компонент вектора fб. Совокупность выделенных ЭР составит восстановленный трехмерный объект - его форму (в виде заполненного тела объекта) и положение в пространстве.
Далее перейдем к бинарным изображениям. Для этого преобразуем зарегистрированные изображения следующим образом. Выделим на каждой плоскости изображения собственно область изображения объекта (ОИО) и придадим ЭП в плоскости изображения бинарные значения б |1, если ДБк £ ОИО,
gk = |0, если Д£к г ОИО. (7)
Такое преобразование изображений не только позволяет в дальнейшем восстановить вектор-оригинал fб и решить таким образом задачу, но и снимает принятое ранее допущение о нахождении объекта в свободном пространстве. Теперь это не имеет значения: в любом случае преобразование изображения (7) делает фон объекта нулевым, а на плоскости изображения остается только форма ОИО.
В бинарном варианте при видимом освещении и непрозрачном объекте получается следующая ситуация. Более близкие к плоскости изображения ЭРО заслоняют те, которые находятся за ними. Излучение объекта и, соответственно, распределение интенсивности по ОИО формируется только этими ЭРО, «видимыми» со стороны плоскости изображения. Однако, что касается формы ОИО, то она такая же, как если бы излучение шло ото всех ЭРО. Разница - только в распределении интенсивности, которое из бинарного варианта исключено.
В ИК диапазоне все ЭРО тоже, очевидно, попадут в ОИО. Учесть распределение интенсивности по ОИО довольно сложно ввиду особенностей прохождения ИК излучения через объект, однако форма ОИО обусловлена лишь самим наличием излучений ЭРО, а используем мы в бинарной постановке задачи именно форму ОИО согласно (7).
Это значит, что весовые коэффициенты в бинарном варианте известны, поскольку на них не отражается заслоненность или незаслоненность одних ЭР другими.
Введенные бинарные величины (5), (6), (7) позволяют использовать для нахождения fб алгебру логики. Для этого систему уравнений (4) перепишем в следующем виде: е (1)б = к (1)б . /б + к (1)б . гб + + к (1)б . гб
.51 "и ¿1 ^,121 J2 "б 1 ¿И'
е(1)б = к(1)б . /б + к(1)б . гб + + к(1)б . гб 62 "12 /1 ^"22 J2 "б 2 JN>
^)б = к^ . /б + Аа«б . /б +... + к«6 . /б,
^ к? +:.:+/б?7б,
я 22 )б = А(2 )б. /1б + л22 )б • /2б +...+Аб22)б • /б,
= лК 2б. /1б + /2К6. /2б +...+4К6. /б,
)6 = к(М) ./1б + . /2б +... + О6 . /бб,
где пунктиром разделены уравнения, относящиеся к разным изображениям. В этом и последующих выражениях + обозначает дизъюнкцию (логическое сложение), а точка - конъюнкцию (логическое умножение). Уравнение (8) описывает бинарное отображение бинарного вектора-оригинала. В этих уравнениях
элемент отображения я[т)б - это бинарное значение к-го ЭП т-го изображения. Согласно (6), = 1, если к-й ЭП попадает в ОИО на т-ом изображении, и якт)б = 0 , если не попадает. В то же время, согласно (8), якт)б = 1, если конъюнкция /Пт)б ■ /П = 1 хотя бы для одного п.
Рассмотрим задачу геометрически. Если п-й ЭР является ЭРО, т.е. если /б = 1, то этот ЭР отобразится в ОИО на всех изображениях. Это значит, что если /б = 1, то для всех т существует хотя бы одно к, при котором йПт)б = 1, следовательно, для этого к имеем /¿т)б ■ /П = 1 и якт)б = 1.
Таким образом, если /б = 1, то для всех т найдется хотя бы одно к, для которого = 1 и
якт)б = 1, т.е. Щ '&кт = 1. Следовательно, если /Щ = 1, то для всех т верно равенство ^к()б.я(т) = 1,
к=1
где ^ обозначает дизъюнкцию. Обозначим эту дизъюнкцию как логическую функцию
р(т) = /т)бя1т)б + /т)бя2т)б + ■■■+я£)6. (9)
Поскольку при /П = 1 логическая функция (9) равна 1 для всех т, то будет равна 1 и конъюнкция
дя = ^ ). .... ). (10)
Обратное, вообще говоря, неверно, так как к^)б ■ ) = 1 получится и в случае _/6 = 0 , если п-й ЭР
отображается в к-й ЭП (/Пт)б = 1) и этот ЭП находится в ОИО (якт)б = 1). В этом случае функция (9) будет равна 1. Если такая ситуация реализуется на всех изображениях, то и логическая функция (10) будет равна 1. Это, в конце концов, приводит к тому, что восстановленные ЭРО включают все истинные ЭРО, но могут включать также и лишние ЭР, восстановленные как ЭРО. Однако чем большее число разнора-курсных изображений участвует в формировании отображения, тем менее вероятна такая ситуация.
С другой стороны, если функция (9) равна 0 хотя бы для одного т (если хотя бы на одном изображении п-й ЭР не попал в ОИО), то из этого следует, что этот ЭР не является ЭРО (/П = 0). При этом конъюнкция (10) будет равна 0. Конечно, это верно только для рассматриваемого случая отсутствия ошибок и искажений.
Получается следующее. Необходимым условием того, что /б = 1, является равенство Qn = 1. Достаточным условием того, что /б = 0 , является равенство Qn = 0. Объединяем эти условия в логическое уравнение восстановления п-й компоненты вектора-оригинала:
/■б = Q = р(1)-р(2) • р(() ст
п вос *~>п п п "' п V '
Рассмотрим физический смысл полученного результата.
Рассматриваем п-й ЭР как изолированный, т.е. без учета затенения или заслоненности его другими ЭР. Выражение (9) равно единице, если изображение этого ЭР попадает в ОИО на т-ом изображении и равно нулю, если не попадает. Соответственно, выражение (10) будет равно единице, если рассматриваемый ЭР попадает в ОИО на всех М изображениях. В этом случае, согласно (11), он восстанавливается как ЭРО (/пбвос = 1). Таким образом, за ЭРО, составляющие тело объекта, принимаются те ЭР, которые,
будучи рассматриваемыми как изолированные, отображаются в ОИО одновременно на всех изображениях, и не принимаются за ЭРО те ЭР, которые хотя бы на одном изображении не отобразились в ОИО.
Для восстановления всего вектора-оригинала 1"вбос используем логическое уравнение (11) для всех его компонент:
Г б = р (!) р (2) р (М)
Jl вос ' 1 1 1 ••• 1 1 >
/б = р(') • р(2) • • р(М)
Л 2 вос 22"'2' /Т^Ч
/
^ N
= р«
N вос N
К
(2)
(М)
Логические выражения (12) позволяют получить оценку бинарного вектора-оригинала. После этого остается выделить номера тех его элементов, значения которых получились равными 1: это будут номера восстановленных ЭРО, составляющих тело объекта. Совокупность их составит восстановленную форму объекта в виде его заполненного объема. Согласно вышеизложенному, восстановленная форма может включать лишние ЭРО. При этом добавление к анализу новых изображений позволяет улучшить результат.
Компьютерное моделирование
Для иллюстрации работы предложенного метода было проведено моделирование в среде МЛТЬЛБ. Для того чтобы получить наглядный иллюстративный материал, в модели было использовано небольшое число ЭР в контролируемой области пространства.
Единицы измерения линейных размеров в модели не имеют значения, поскольку моделирование не учитывает параметров оптической системы: модель основана на принципе ортогонального проецирования без учета масштабирования.
Параметры модели следующие. Контролируемая область пространства имеет кубическую форму размером 1,6x1,6x1,6. Число ЭР в контролируемой области пространства задается равным 125. Объектом является пирамида, которая представлена в разных ракурсах на рис. 3, там же показаны кружками ЭРО, которые составляют тело пирамиды.
2 0,5
0
-0,5 -1
1
2 0,5
0
-0,5 -1
1
У
-1 -1
0
У
-1 -1
2 0,5 0
-0,5 -1
1
^0 -1 0,5 0 -0,5 -1 У
1
1
х
Рис. 3. Объект в разных ракурсах и составляющие его элементы разрешения объекта
Было проведено два эксперимента. В первом из них форма объекта восстанавливается по двум изображениям. Положения плоскостей изображений определяются ортогональными к ним векторами.
Первая плоскость изображения ортогональна вектору =[111] , вторая - вектору Я2 = [230] . Изображения приведены на рис. 4, где прозрачными кружками показаны изображения ЭР, не попавших в
ОИО, а закрашенными кружками - попавшие в ОИО. Для наглядности на изображениях дополнительно показаны проекции граней пирамиды.
Восстановленный согласно (12) вектор-оригинал ^бос визуально показан на рис. 5. Единичные значения компонент вектора соответствуют восстановленным ЭРО.
Уиз
1,5 1
0,5 0 -0,5 -1 -1,5
-2
.......... Ог..........................:
^Шы..............1 0ОГ**#!2О° .......... ......"0,5)0 ...................
-1
0
1
Уиз
1,5 1
0,5 0 -0,5 -1 -1,5
-2
5 г | 3 3 <:
-1
б
Рис. 4. Изображения объекта в координатах хи и уиз на плоскостях изображений, ортогональных
векторам К (а) и К 2 (б)
<и «
И
<и
и
го
1
0,8 0,6 0,4 0,2
0
1
х
х
из
из
а
0 20 40 60 80 0 10 120
Номер ЭР
Рис. 5. Визуализация восстановленного вектора-оригинала
Восстановленный объект в разных ракурсах показан на рис. 6. Объект представляется совокупностью восстановленных ЭРО. Для визуальной оценки качества восстановления рисунки дополнены изображением граней пирамиды.
Рис. 6. Восстановленный по двум изображениям объект в разных ракурсах
Как видно из сравнения рис. 3 и 6, все истинные ЭРО восстановились, однако восстановились и лишние ЭР, которые на самом деле ЭРО не являются. В эксперименте истинных ЭРО 19, а восстановленных 26. Таким образом, восстановились 7 ложных ЭРО, что видно на рис. 6.
Увеличение числа разноракурсных изображений позволяет повысить качество восстановления. Так, при добавлении еще одного изображения, плоскость которого ортогональна вектору
Я3 = [5,1 -1,3 1] , число ложных ЭРО становится равным двум. На рис. 7 показаны изображения, по которым восстановлен объект. Первые два изображения совпадают с рис. 4, а третье - это дополнительное изображение.
На рис. 8 показан восстановленный объект в разных ракурсах, что позволяет увидеть ложные ЭРО, появляющиеся при восстановлении.
Как можно заметить, все истинные ЭРО, составляющие тело объекта, восстановились правильно в обоих случаях. И в обоих случаях появились ложные ЭРО, количество которых может быть уменьшено включением в рассмотрение дополнительных изображений. Тем не менее, проведенные эксперименты позволили получить достаточно информативную оценку формы и пространственного положения объекта.
а б в
Рис. 7. Изображения объекта в координатах хи и уи на плоскостях изображений, ортогональных
векторам К (а), К 2 (б) и К 3 (в)
Заключение
В работе предложен новый подход к восстановлению формы объекта по его изображениям, основанный на бинарном варианте томографического подхода в обработке сигналов. Разработанный метод обеспечивает восстановление формы объекта в виде совокупности малых объемов - элементов разрешения объекта, заполняющих его объем. Такое представление позволяет легко просмотреть восстановленный объект в разных ракурсах, как это было сделано при моделировании.
Предложенный метод имеет ряд преимуществ перед известными методами.
1. В отличие от восстановления по стереоизображениям, предложенный метод позволяет восстанавливать форму объекта полностью, «со всех сторон», а не только одностороннюю его поверхность.
2. Метод не использует соответственных точек при восстановлении формы, поэтому эти точки не требуется и выявлять на изображениях, что позволяет избежать необходимости решения достаточно сложной и не всегда однозначной задачи.
3. Не требуется никакой подсветки для реализации предложенного метода, что позволяет восстанавливать форму объекта в пассивной системе наблюдений. Это делает метод работоспособным при дневном ярком освещении, а также при анализе объектов, расположенных на больших дальностях от системы наблюдения, что проблематично при использовании подсветки.
4. Метод не чувствителен к параметрам освещения, поскольку на изображениях информативной является только сама область изображения объекта. Соответственно, понижаются требования к качеству регистрируемых изображений.
Все это позволяет надеяться на перспективность применения предложенного метода обработки изображений для восстановления формы объекта.
Литература References
1. Аленин В.А. Трехмерная реконструкция объектов из 1. Alenin V.A. Three-dimensional reconstruction of objects from последовательности изображений // Молодой ученый. 2011. images sequence. Molodoi Uchenyi, 2011, no. 3-1, pp. 33-35.
№ 3-1. С. 33-35.
2. Meadows D.M., Johnson W.O., Allen J.B. Generation of surface contours by moire patterns // Applied Optics. 1970. V. 9. N 4. P. 942-947. doi: 10.1364/ao.9.000942
3. Asundi A., Yung K.U. Phase shifting and logical moire // Journal of the Optical Society of America A. 1991. V. 8. N 10. P. 1591-1600. doi: 10.1364/josaa.8.001591
4. Котляр В.В., Залялов О.К. Итеративный алгоритм восстановления трехмерной формы объекта // Компьютерная оптика. 1996. Т. 16. С. 71-74.
5. Щекин С.Б. Восстановление формы трехмерных объектов методами структурированного освещения // Научно-технический вестник информационных технологий, механики и оптики. 2007. № 43. С. 301-307.
6. Волкович А.Н., Жук Д.В., Тузиков А.В. Восстановление трехмерных моделей объектов по стереоизображениям с учетом распараллеливания // Научно-технический вестник информационных технологий, механики и оптики. 2008. № 58. С. 3-10.
7. Schartstein D., Szeliski R. A taxonomy and evaluation of dense two-frame stereo correspondence algorithms // International Journal of Computer Vision. 2002. V. 47. N 1-3. P. 7-42.
8. Афанасьева А.Е., Игнатенко А.В. Способы реализации механизма скользящего стерео-курсора в реальном времени // Новые информационные технологии в автоматизированных системах. 2013. № 16. С. 25-30.
9. Тупицын И.В. Реконструкция трехмерной модели объекта на основе стереопары при решении задач 3D моделирования // Вестник СибГАУ 2011. № 3 (36). С. 88-92.
10. Свешникова Н.В., Юрин Д.В. Восстановление трехмерных сцен с помощью методов факторизации: принцип работы и оценка погрешностей // Труды II научной конференции СИМ'2005. Москва, 2005. С. 207-222.
11. Коротаев В.В., Джамийков Т.С., Нгуен Х.В., Ярышев С.Н. Метод определения пространственных координат в активной стереоскопической системе // Научно-технический вестник информационных технологий, механики и оптики. 2014. № 6 (94). С. 48-53.
12. Самойленко М.В. Обработка сигналов в задачах локационных измерений и оценивания. М.: Спектр, 2016. 260 с.
13. Самойленко В.И., Пузырев В.А., Грубрин И.В. Техническая кибернетика: Учеб. пособие. М.: МАИ, 1994. 280 с.
Авторы
Самойленко Марина Витальевна - кандидат технических наук, доцент, доцент, Московский авиационный институт МАИ (национальный исследовательский университет), Москва, 125080, Российская Федерация, Samoi.Mar@mail.ru
(In Russian)
2. Meadows D.M., Johnson W.O., Allen J.B. Generation of surface contours by moire patterns. Applied Optics, 1970, vol. 9, no. 4, pp. 942-947. doi: 10.1364/ao.9.000942
3. Asundi A., Yung K.U. Phase shifting and logical moiré. Journal of the Optical Society of America A, 1991, vol. 8, no. 10, pp. 1591-1600. doi: 10.1364/josaa.8.001591
4. Kotlyar V.V., Zalyalov O.K. Iterative algorithm for restoring 3D shape of an object. Computer Optics, 1996, vol. 16, pp. 71 -74. (In Russian)
5. Shchekin S.B. Reconstructing the shape of 3D objects using structured lighting methods. Scientific and Technical Journal of Information Technologies, Mechanics and Optics, 2007, no. 43, pp. 301-307. (In Russian)
6. Volkovich A.N., Zhuk D.V., Tuzikov A.V. Three-dimensional model reconstructing by means of stereo images considering its multisequencing. Scientific and Technical Journal of Information Technologies, Mechanics and Optics, 2008, no. 58, pp. 3-10. (In Russian)
7. Schartstein D., Szeliski R. A taxonomy and evaluation of dense two-frame stereo correspondence algorithms. International Journal of Computer Vision, 2002, vol. 47, no. 1-3, pp. 7-42.
8. Afanas'eva A.E., Ignatenko A.V. Methods for realizing the sliding stereo cursor mechanism in real time. Novye Informatsionnye Tekhnologii v Avtomatizirovannykh Sistemakh, 2013, no. 16, pp. 25-30. (In Russian)
9. Toupitsyn I.V. Reconstruction of three-dimensional model of the object by stereopair for solving 3D modelling tasks. Vestnik of SibGAU, 2011, no. 3, pp. 88-92. (In Russian)
10. Sveshnikova N.V., Yurin D.V. Restoration of 3D-scenes by factorization methods: principle and the errors estimation. Proc. 2nd Conf. on SIM. Moscow, 2005, pp. 207-222. (In Russian)
11. Korotaev V.V., Dzhamiykov T.S., Nguyen H.V., Yaryshev S.N. Method for determining the spatial coordinates in the active stereoscopic system. Scientific and Technical Journal of Information Technologies, Mechanics and Optics, 2014, no. 6, pp. 48-53. (In Russian)
12. Samoilenko M.V. Signal Processing in Problems of Location Measurements and Estimation. Moscow, Spectr Publ., 2016, 260 p. (In Russian)
13. Samoilenko V.I., Puzyrev V.A., Grubrin I.V. Technical Cybernetics: Textbook. Moscow, MAI Publ., 1994, 280 p. (In Russian)
Authors
Marina V. Samoilenko - PhD, Associate Professor, Associate
Professor, Moscow Aviation Institute (National Research
University), Moscow, 125080, Russian Federation,
Samoi.Mar@mail.ru
