Метод наведения 3D-модели объекта на 2D-изображение на основе инвариантных моментов

Нгуен Зуй Тхань; Хачумов Михаил Вячеславович

ISSN 2079-3316 ПРОГРАММНЫЕ СИСТЕМЫ: ТЕОРИЯ И ПРИЛОЖЕНИЯ №4(35), 2017, с. 209-220

УДК 004.93

З. Т. Нгуен, М. В. Хачумов

Метод наведения 3Ю-модели объекта на 2Ю-изображение на основе инвариантных моментов

Аннотация. Решение задачи наведения сводится к оптимизации ориентации 30-модели объекта для достижения максимального совпадения ее проекции с предъявленным изображением. Критерием близости служит аддитивная свертка квадратов разностей инвариантных моментов сравниваемых 2D- изображений. В принятой постановке проекция 30-модели есть полутоновое изображение, в котором яркость пикселя определяется глубиной его расположения относительно плоскости наблюдения

Ключевые слова и фразы: ЭЭ-модель объекта, дальностное изображение, проекция, сравнение, управление ориентацией, инвариантные моменты.

Введение

В задачах распознавания графических образов возникает необходимость манипулирования 3Б-моделями объектов для получения проекции, наиболее близкой, в смысле некоторого критерия, к заданному изображению. Пусть заданы пространственная точка М с координатами (x,y,z) и ее ортогональная проекция т на плоскость наблюдения z = 0 с координатами (х,у). Под дальностным изображением (range image) будем понимать цифровое изображение, в каждой точке которого яркость f (х, у) принимает неотрицательные целые значения, равные величине расстояния от точки М до точки то. Предполагается, что дальностное изображение можно преобразовать во множество точек, являющееся 3Б-моделью наблюдаемого объекта.

Для корректного сравнения графических образов могут быть применены различные дескрипторы, метрики и методы управления 3Б-моделями. Ранее была рассмотрена задача распознавания лиц

DOI: 10.25209/2079-3316-2017-8-4-209-220

с применением инвариантных моментов Hu в качестве признаков для выполнения корректного сравнения 2Б-изображений [1]. В настоящей работе предложено расширение этой задачи на трехмерный случай с применением альтернативных инвариантных моментов. Введем некоторые необходимые определения.

Определение 1. Под ЗБ-изображением понимается кусочно-непрерывная функция f (х, у, z) трех переменных, определенная на компактном носителе D С R х R х R и имеющая конечный ненулевой интеграл.

Примером подобной функции служит функция яркости f (х, у, z), которая имеет целочисленные значения при целых (х, у, z) и хранится в компьютере в виде трехмерного массива. Каждый элемент этого массива представляет собой пиксель с интенсивностью, находящейся в диапазоне от 0 до L — 1. Величина L обычно является степенью двойки (например, 64, 256) и называется глубиной изображения.

Определение 2. Моменты ЗБ-изображения (image moments) есть отображения кусочно-непрерывной функции f (х, у, z) в полиномиальный базис — множество многочленов, определенных на компактном носителе D С R х R х R.

Примером служат моменты изображения

где Р1тп~ полиномиальный базис функций определенных на И; I, то, п — неотрицательные целые; г = I + то + п - порядок момента.

Определение 3. Инвариант - функционал I(Р), определенный на изображении Р таким образом, что I(Р) = I(И(Р)) для пространства всех допустимых преобразований И, в том числе операторов яркостных и аффинных преобразований изображения Р.

Для распознавания важно, чтобы I(Р1), I(Р2) были «достаточно различны» для разных изображений Р1, Р2.

Определение 4. Яркостным инвариантом будем называть дескриптор изображения устойчивый к аддитивным и/или мультипликативным изменениям яркости.

Определение 5. Геометрическим инвариантом будем называть дескриптор, который является устойчивым к группе аффинных преобразований изображения.

Рассмотрим задачи сравнения изображений, основанного на применении инвариантных моментов.

1. Сравнение Эй-изображений на основе инвариантных моментов

Пусть ](х,у,г) есть непрерывная функция, описывающая значение яркости точек с координатами (х, у, г) в трехмерном пространстве. 3Б-моменты определяются путем вычисления следующего интеграла [2]:

/ + Ж р + Ж р + Ж

/ / х1утгп/(х,у,х) ¿хйуйг

-ж ^—ж —ж

Моменты всех порядков существуют, если функция f (х, у, г) кусочно-непрерывна и ограничена в конечной области в 3Б-Евклидовом пространстве. Центральные моменты вычисляются следующим образом:

/+ж г+ж г+ж

(х - х)1, (у - у)т, (г - г)п/(х,у,х) д,хд/уд,г.

ж —ж —ж

Для дискретного случая (цифрового изображения), который имеет место в нашем случае:

^1тп = ^ ^ ^(х - х)1(у - у)т(г - г)п/(х, у, г), х у г

где Х,У, Z - область определения координат точек (пикселей) изображения; (х,у, г) - геометрический центр 3Б-объекта.

Для решения задач распознавания требуется построить моменты, инвариантные к операциям поворота, сдвига и масштабирования. Исходя из практической целесообразности, ограничимся в дальнейшем 3Б-моментами с порядком г ^ 3. В соответствии с проведенным

ТАБЛИЦА 1. Чувствительность ЗБ-инвариантов

Момент II 12 13 И Е2 Е3 Е4 Е5

Чувствительность ¿2 ¿4 ¿6 ¿6 ¿4 ¿6 ¿6 ¿6

поиском из различных источников [2-4] были выбраны следующие моменты:

1\ =М200 + №о + М002;

222 ^2 =М200 М020 + М200 М002 + М020 М002 — М101 — М110 — М011

222 ^3 =М200 М020 М002 — М002 М110 — М020 М101 — М200 М011

+ 2^110 М101 М011 — М011 — М101

л =М003 + 6М012 + 6М021 + 6М030 + 6М102 + 15 М111 — 3^102^120

+ 6м220 — 3^021 М201 + 6^01 — 3^003 (М021 + М201) — 3^030 М210

+ 6м2ю — 3М012 (М030 + М210) — 3М102 М300 — 3М120 М300 + М300;

=М200 + М020 + М002 + 2Ми0 + 2Мю1 + 2МОИ5 =М200 + 3М200 М110 + 3М200 М101 + 3М110 + 3М101М020 + 3М101М002 + М020 + 3^020 М011 + 3^011^002 + М002 + 6^110 М101 М011;

=М300 + М030 + М003 + 3М210 + 3М201 + 3М120

+ 3М102 + 3М°21 + 3М012 + 6Мш5

=М000 + 2М300 М120 + 2М300 М102 + 2М210 М030 + 2М210 М030

+ 2^201 М003 + М030 + 2^030 М012 + 2^021 М003 + Мто3 + м2ю

+ 2М210 М012 + 2М201 М021 + М120 + 2М120 М102 + М102 + Мо21 + Р^Ю ■

Моменты 11, ■■■ ,¥5 являются 3Б-инвариантами к операциям поворота и сдвига.

Воздействуя на координаты (х, у, г) можно установить чувствительность 3Б-инвариантов к линейным искажениям изображений. Оценка теоретической чувствительности 3Б-инвариантов к геометрическим искажениям с коэффициентом 6 представлена в таблице 1.

Для получения инвариантов к масштабированию достаточно положить: 6 = л/я-200 + М020 + М002 и выполнить нормирование путем

деления моментов ... на соответствующие значения коэффициентов таблице 1. Нормированные моменты /i,...,F5 являются ЗБ-инвариантами к операциям поворота, сдвига и масштабирования. Свойства инвариантности можно проверить путем непосредственной подстановки в выражения для моментов формул аффинных преобразований координат изображения и приведения результата к исходному виду.

Для сравнения ЗБ-изображений при одинаковых условиях освещенности можно применять их ЗБ-инварианты и построенные на них метрики, например расстояние Евклида.

2. Сравнение 2й-изображений на основе инвариантных моментов

Полагая п = 0 в формулах для ЗБ-инвариантов, получим 2D-инварианты (Mi,..., Ms) изображения для плоскости XOY:

Ml =^20 + М02 + Мею;

М2 =^20М02 + М20М00 + М02М00 — М20 — Ми — Moi;

Мз =М20М02М00 — М00МИ — М02М20 — М20М01 + 2Ml 1Ml 0М01 — Moi — М20;

м4 =М00 + 6М01 + 6М02 + 6м0з + 6М20 + 15^11 — 3Mi0Mi2 + 6М?2

— 3^02^20 + 6м°0 — 3М00(М02 + М20) — 3М03М21 + 6^2i1

— 3^01(^03 + М21) — 3^10^30--3^12^30 + М30;

М5 =^20 + М02 + М00 + 2М?1 + 2^10 + 2^01;

Мб =^203 + 3М2 0М?1 + 3^ 0М?0 + 3^11 + 3^102^02 + 3^102^00 + м02 + 3М02Мо1 + 3М°1М00 + М003 + 6М11М10М01;

=М30 + М03 + М00 + 3м21 + 3^20 + 3М12 + 3М20 + 3М02 + 3М01

+ 6м21;

^8 =М30 + 2^30^12 + 2^30^10 + 2^21^03 + 2^21^03 + 2^20^00 + М03 + 2^03^01 + 2^02^00 + М00 + м21 + 2^21^01 + 2^20^02 + М12 + 2М12М10 + М20 + М02 + Мо1.

Полученные моменты (М1, ■ ■ ■, М%) являются альтернативными по отношению к известным инвариантным моментам Ни [1]. Аналогично можно построить инварианты для плоскостей XOZ, YOZ. Далее можно применить полученные моменты для сравнения проекций 3Б-модели с предъявленным изображением.

3. Задача наведения Эй-модели объекта на 2й-изображение

Пусть /т = /т(х,у) — проекция модели трехмерного объекта на плоскость ХОУ, ] = f (х, у) — заданное полутоновое изображение. В качестве расстояния между предъявленным изображением Л и проекцией Лт будем использовать величину

Ш (Р) =

^(М/ — М/т )2,

i=2

а в качестве параметров управления [5] — углы поворота 3Б-модели вокруг осей Р = (р1,р2,р3). Задачу оптимального наведения целесообразно решать методом градиентного спуска Р= М(Р)), где к -номер итерации. Для этого полагаем известными начальные значения углов положения (р^рО0,-^0). Значения параметров приближения вычисляют по формулам

= + АД^ , ДрИ = — ^) — ^ [к](Р),

Рг Рг + Рг , Рг ^ (р) ,

где: (Р) = (Р^; к = 0Л, ■■■ — номер итерации; Др^ — шаг к-ой итерации; А — нормирующий коэффициент.

В основе решения задачи лежит гипотеза о монотонности и унимодальности функции Ш (Р) по каждому из параметров управления (р1,р2,р3), выполнение которой упрощает практическую реализацию метода. Для получения оптимума в этом случае достаточно последовательно решить задачи оптимизации по каждому из параметров. Расширением подхода служит метод последовательных уступок.

Метод наведения ЭО-модели объекта на 20- изображение ТАБЛИЦА 2. Значения инвариантных моментов

Момент

Варианты расположения 3D-мзоЯрнженмя лоца

0.22245

0.01283

6.255е-06

К

0.55510

К

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

0.37115

К

5.52475е-06

К

5.03792е-06

1

I

2

I

Таблица 3. Экспериментальное исследование <5 как индикатора масштабировання

Коэффициент Значение 6 до Значение 6 после Отношение

масштабирования масштабирования масштабирования значений 6

2 10099.4 20198.8 2

3 10099.4 30298.2 3

0.5 10099.4 5049.69 0.5

0.25 10099.4 2524.85 0.25

4. Экспериментальные исследования

Эксперименты были проведены на примере наведения 3Б- модели лица на одну из его случайных проекций. В Таблице 2 в качестве примера приведены расчетные значения демонстрирующие инвариантность моментов для трех положений модели 3Б- поверхности лица.

В Таблице 3 приведены значения чувствительности инвариантов и коэффициентов масштабирования для выбранной модели 3Б-

Рис. 1. Последовательность проекций 3¿-модели

поверхности лица.

Без потери общности рассмотрим однопараметрическую задачу наведения р1 = ащшт(Ш(р 1)) путем последовательного вращения 3Б-модели вокруг одной оси.

Серия полученных проекций на плоскость ХОУ в процессе поворота показана на рис. 1.

Моменты (М2,..., М$) предварительно нормируются в соответствии с таблицей 1, причем момент М1 как наименее информативный в дальнейших расчетах не участвует. Характер изменения целевых функций Ш(р1) и Ш(Р2) в процессе последовательного поворота модели на Др 1 = 5 и Др2 = 5 градусов отображен на рис. 2 и рис. 3.

Вид функций говорит об их монотонности и унимодальности по параметрам (р 1, р2), отражающим практически важные для генерации ракурсов изображения повороты вокруг оси ОУ и ОХ соответственно, что соответствует выдвинутой гипотезе.

Полагаем, например, что начальное положение 3Б-модели, определяется как ( р1°] = 0, р2° = 0, р3° = 0)- Исходя из особенностей задачи,

Рис. 2. Зависимость критерия "ш(р) от параметра

Рис. 3. Зависимость критерия "ш(р) от параметра р2

за основу был однопараметрический подход градиентного спуска (для Р1 ). Производные вычислялись с помощью их конечно-разностных

- ллп пол — w [к+1](РИ (Р) представлений (Р) «-р[к+1]-р[к] .

Для визуализации этапов наведения был применен простой гра-

Рис. 4. Графический интерфейс системы наведения и сравнения

фический интерфейс (рис. 4), в котором проекция ЭБ-модели сравнивалась с изображением, представленным справа с применением установленного критерия. Вычисления останавливались, когда значение функции Ш (Р) по абсолютной величине становилась меньше наперед заданного малого числа е.

Заключение

Представленный метод наведения ЭБ-модели объекта на 2Б- изображение на основе инвариантных моментов имеет несколько преимуществ:

(1) становится возможным анализ и распознавание изображений, полученных практически при произвольных ракурсах наблюдения объектов;

(2) упрощается сама процедура сравнения изображений (проекции ЭБ-модели и 2Б-изображения), поскольку пространство признаков сжимается до семи, а наличие инвариантов снимает проблему изменения положения изображения в плоскости наблюдения;

(3) упрощается в целом процедура наведения за счет учета монотонности и унимодальности целевой функции, выбранной в качестве критерия качества.

Список литературы

[1] З. Т. Нгуен, М. В. Хачумов. «Распознавание лиц по фотографиям на основе инвариантных моментов», Современные проблемы науки и образования, 2015, №2-2, с. 187, URL: http://www. science-education.ru/129-23235 t 210,214

[2] N. M. Thakare, V. M. Thakare. "A Supervised Hybrid Methodology for Pose and Illumination Invariant 3D Face Recognition", International Journal of Computer Applications, 47:25 (2012), pp. 24-29. [ 211,212

[3] I. Sommer, O. Miiller, F. S. Domingues, O. Sander, J. Weickert, T. Lengauer. "Moment invariants as shape recognition technique for comparing protein binding sites", Bioinformatics, 23:23 (2007), pp. 3139-3146. t 212

[4] T. Suk, J. Flusser, B. Zitova. 3D rotation invariants, URL: http://zoi.utia.cas.cz/3DRotationInvariants t

[5] З. Т. Нгуен. «О задаче корректного сопоставления 3Б-модели объекта с 2Б-изображением», Труды IV Всероссийской научной конференции молодых ученых с международным участием «Информатика, управление и системный анализ», ИУСА-2016 (г. Тверь, 8-11 июня 2016 г.), с. 50-53. t 214

Рекомендовал к публикации

д.ф.-м.н. Расина

Пример ссылки на эту публикацию:

З. Т. Нгуен, М. В. Хачумов. «Метод наведения 3Б-модели объекта на 2Ю-изображение на основе инвариантных моментов», Программные системы: теория и приложения, 2017, 8:4(35), с. 209-220. URL: http://psta.psiras.ru/read/psta2017_4_209-220.pdf

Об авторах:

Зуй Тхань Нгуен

Аспирант Российского университета дружбы народов. Окончил Томский политехнический университет в 2008 году. Область научных интересов: искусственный интеллект, распознавание образов, информационные технологии и системы. Автор 6 печатных научных работ

e-mail:

nguyenduythanh1410@gmail.com

Михаил Вячеславович Хачумов

Окончил Российский университет дружбы народов в 2009г., к.ф.-м.н. (2012). Научный сотрудник ИСА ФИЦ ИУ РАН. Область научных интересов: искусственный интеллект, интеллектуальное управление, кластерный анализ слабоструктурированных данных, обработка изображений и распознавание образов. Автор более 50 научных работ

e-mail: khmike@inbox.ru

Duy Nguyen, Mikhail Khacumov. The method of comparing a 3D object model with a 2D image based on invariant moments.

Abstract. The solution of the comparison problem comes down to that of optimizing the orientation of the 3D object model in order to achieve maximum matching of its projection to the presented image. The closeness measure is the

Euclidean distance between invariant moments of the compared 2D images. In the presented formulation, the projection of the 3D model is a grayscale image and the brightness of the pixel is determined by the distance to the viewing plane. (In Russian).

Key words and phrases: 3D object model, range image, projection, comparison, orientation control, invariant moments..

References

[1] Z. T. Nguyen, M. V. Khachumov. "Raspoznavaniye lits po fotografiyam na osnove invariantnykh momentov", Sovremennyye problemy nauki i obrazovaniya, 2015, no.2-2, pp. 187, URL: http://www.science-education.ru/129-23235

[2] N. M. Thakare, V. M. Thakare. "A Supervised Hybrid Methodology for Pose and Illumination Invariant 3D Face Recognition", International Journal of Computer Applications, 47:25 (2012), pp. 24-29.

[3] I. Sommer, O. Müller, F. S. Domingues, O. Sander, J. Weickert, T. Lengauer. "Moment invariants as shape recognition technique for comparing protein binding sites", Bioinformatics, 23:23 (2007), pp. 3139-3146.

[4] T. Suk, J. Flusser, B. Zitova. 3D rotation invariants, URL: http: //zoi.utia.cas.cz/3DRotationInvariants

[5] Z.T. Nguyen. "O zadache korrektnogo sopostavleniya 3D-modeli ob"yekta s 2D-izobrazheniyem", Trudy IV Vserossiyskoy nauchnoy konferentsii molodykh uchenykh s mezhdunarodnym uchastiyem "Informatika, upravleniye i sistemnyy analiz", IUSA-2016 (g. Tver', 8-11 iyunya 2016 g.), pp. 50-53.

Sample citation of this publication:

Duy Nguyen, Mikhail Khacumov. "The method of comparing a 3D object model with a 2D image based on invariant moments", Program systems: Theory and applications, 2017, 8:4(35), pp. 209-220. (In Russian). URL: http://psta.psiras.ru/read/psta2017_4_209-220.pdf

(c RUDN University!1, 2017

DOI: 10.25209/2079-3316-2017-8-4-209-220

Метод наведения 3D-модели объекта на 2D-изображение на основе инвариантных моментов Текст научной статьи по специальности «Математика»

Аннотация научной статьи по математике, автор научной работы — Нгуен Зуй Тхань, Хачумов Михаил Вячеславович

Похожие темы научных работ по математике , автор научной работы — Нгуен Зуй Тхань, Хачумов Михаил Вячеславович

The method of comparing a 3D object model with a 2D image based on invariant moments

Текст научной работы на тему «Метод наведения 3D-модели объекта на 2D-изображение на основе инвариантных моментов»