CC BY
11ИССЛЕДОВАНИЕ И РАЗРАБОТКА АЛГОРИТМОВ ПОСТРОЕНИЯ ТРЕХМЕРНЫХ КОМПЬЮТЕРНЫХ МОДЕЛЕЙ РЕАЛЬНЫХ ОБЪЕКТОВ ДЛЯ СИСТЕМ ВИРТУАЛЬНОЙ
РЕАЛЬНОСТИ
Кашаганова Гульжан Бахытовна
PhD, доцент Университет «ТУРАН» г. Алматы
Мергазиев Цалибек Цалиолдаулы
Магистрант Университет «ТУРАН» г. Алматы
RESEARCH AND DEVELOPMENT OF ALGORITHMS FOR CONSTRUCTING THREE-DIMENSIONAL COMPUTER MODELS OF REAL OBJECTS FOR VIRTUAL REALITY SYSTEMS
Kashaganova Gulzhan
PhD, lecturer "TURAN" University, Almaty Mergaziyev Kalibek
Undergraduate "TURAN" University, Almaty
Аннотация
В данной статье проведено исследование и разработка алгоритмов построения трехмерных компьютерных моделей реальных объектов для систем виртуальной реальности.
Задача сформулирована следующим образом: на вход подается пара фотографий анфас и в профиль, необходимо найти координаты ряда точек, описывающих характерные черты лица человека. По результатам проведенного обзора области для решения поставленной задачи был выбран подход на основе несвободных локальных моделей, сочетающих в себе преимущества активных моделей формы и активных моделей внешнего вида, и демонстрирующих по сравнению с ними существенно более точные результаты.
Для обучения и тестирования несвободных локальных моделей были использованы фотографии анфас из базы лиц MUCT и подмножество незагороженных лиц без эмоций из базы BioID. Для обучения модели лица в профиль была произведена ручная разметка базы из 705 фотографий лиц разных возрастов, рас и пола.
Используется алгоритм обнаружения точек одновременно на паре изображений, учитывающий внутренние энергии, штрафующие сложные деформации модели, внешние энергии, характеризующие невязки искомых точек с картами отклика на фотографиях, и взаимную невязку моделей анфас и в профиль.
Проведено сравнение с коммерческими системами AvMaker от CyberExtruder Inc. и FaceGen от Singular Inversions Inc., показавшее, что с помощью предложенной системы можно создавать модели человека аналогичного либо более высокого качества, затрачивая при этом в 2—3 раза меньше времени.
Abstract
In this article, research and development of algorithms for constructing three-dimensional computer models of real objects for virtual reality systems was carried out.
The task is formulated as follows: a couple of full-face and profile photos are fed to the input, you need to find the coordinates of a number of points that describe the characteristic features of a person's face. Based on the results of the region's review, in order to solve the problem, an approach was chosen based on proprietary local models that combine the advantages of active shape models and active appearance models and demonstrate significantly more accurate results compared to them.
For training and testing of non-free local models, full-face photographs from the MUCT face database and a subset of non-blocked individuals without emotions from the BioID database were used. To train a model of a person in profile, a manual marking of the base was made of 705 photographs of people of different ages, races and sex.
An algorithm for detecting points simultaneously on a pair of images is used, taking into account internal energies that penalize complex model deformations, external energies that characterize the residuals of the desired points with response maps in photographs, and the mutual residuals of the full-face and profile.
Compared with commercial AvMaker systems from CyberExtruder Inc. and FaceGen from Singular Inversions Inc., which showed that using the proposed system it is possible to create human models of similar or higher quality, while spending 2-3 times less time.
Учитывая, что человек уделяет лицам больше изображении (см. рисунок 2—3), наиболее сложная внимания, чем любым другим объектам на и важная часть процесса построения модели
человека — построение модели головы. Именно этой теме посвящена эта статья.
Рисунок 1. (а), (б) — входные фотографии, (в) — построенная трехмерная модель
Рисунок 2. Траектория взгляда при свободном анализе изображения (А. Л. Ярбус, ДАН [11])
Рисунок 3. Карта концентрации внимания при свободном анализе изображения (Т.Туллис и др., CHI, 2009- СССР, 1954 [10])
Трехмерная модель головы может быть представлена картой глубины, облаком точек, полигональной моделью, параметрической моделью, описывающей антропометрические характеристики головы человека. Построение трехмерной модели головы человека может
производиться с помощью активных (облучающих) систем, либо с помощью пассивных.
Основными пассивными методами построения трехмерной модели головы человека являются фотометрические (дающие оценку нормалей к поверхности при наблюдении объекта в разных
условиях освещенности), стереоскопические (строящие карту глубины с помощью оценки диспаритета между точками одного изображения стереопары и точками второго изображения), фотограмметрические (оценивающие трехмерные координаты вершин объекта по характерным точкам набора изображений), методы подгонки параметрической модели напрямую к изображению, а также методы оценки параметров трехмерной модели головы человека с учетом обнаруженных на входных изображениях антропометрических точек лица.
Однако первые два подхода позволяют моделировать только лицо, тогда как в системах виртуальной реальности требуется построение всей модели головы. Кроме того, построение модели высокой точности, как по стереопаре, так и с использованием фотометрических методов, требует откалиброванной аппаратуры, что сильно ограничивает практическую применимость подобных подходов. Также фотограмметрия, стерео сопоставление и фотометрия являются общими методами построения трехмерных моделей по изображениям, не учитывающими особенности модели головы человека.
Задача заключается в следующем. На вход подается пара изображений лица человека анфас и в профиль. Необходимо найти координаты определенного количества антропометрических точек лица, при этом должна обеспечиваться согласованность положения одних и тех же точек лица, присутствующих как на фотографиях анфас, так и на фотографиях в профиль.
Антропометрическая точка представляет собой характерную особенность, присутствующую на большинстве рассматриваемых входных изображений, например, уголок левого глаза, правый уголок рта, кончик носа и т. п.
Можно выделить следующие категории существующих алгоритмов:
— несвободные локальные модели (являющиеся обобщением активных моделей формы);
— активные модели внешнего вида;
— регрессионные алгоритмы;
— алгоритмы, основанные на графических моделях;
— алгоритмы совместного детектирования;
— независимые детекторы черт лица;
— алгоритмы на основе глубокого обучения (также именуемого в ряде русскоязычных источников глубинным обучением);
Форма — массив размера п*2, содержащий координаты (х, у) антропометрических точек лица. Стоит отметить, что для лучшего восприятия некоторые антропометрические точки соединены ребрами, однако ребра не входят в модель и служат только целям наглядности.
Модель формы определяет набор допустимых форм. Допустимость определяется с помощью модели точечного распределения :
х, = + +
где XI — координаты {-й антропометрической точки, Ь — параметры деформируемой модели, 5 — коэффициент масштабирования, 5 — матрицы поворота, I — вектор переноса, XI — среднее значение положения ьй антропометрической точки модели, а Ф[ — относящаяся к {-й точке подматрица матрицы Ф, состоящей из собственных векторов, соответствующих наибольшим собственным значениям.
Входные данные: изображение лица, обнаружить лицо на изображении и сгенерировать начальную форму цикл построить карту отклика в окрестности каждой точки, оценить параметры формы с учетом карт отклика, пока не достигнута сходимость
Выходные данные: координаты
антропометрических точек лица.
Алгоритм сходится при достижении одного из условий:
1) сумма смещений точек на очередной итерации меньше заданного порога;
2) достигнуто максимальное число итераций. Иллюстрация шагов алгоритма приведена на рисунке 11.
Рисунок 11. Несвободная локальная модель лица. Справа — модель формы лица, по центру -карты отклика, слева — окна поиска и подогнанные антропометрические точки
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ
1.Bishop G., Bricken W., Brooks F., Brown M., Burbeck C., Durlach N., Ellis S., Fuchs H., Green M., Lackner J., et al. Research Directions in Virtual Environments // Computer Graphics, Vol. 26, No. 3, 1992. P. 153—183.
2.Гебель М., Клименко С.В. Научная визуализация в виртуальном окружении // Программирование, Т. 4, 1994. С. 29—46.
3.Афанасьев В.О., Байгозин Д.А., Батурин Ю.М., Даниличева П.П., Долговесов Б.С., Еремченко Е.Н., Казанский И.П., Клименко А.С., Клименко С.В., Леонов А.В. и др. Системы визуализации и виртуального окружения в задачах исследования космоса: настоящее и будущее // В кн.: Космонавтика XXI века. Попытка прогноза развития до 2101. РТСофт, 2010. С. 185—256.
4.Baturin Y.M., Danilicheva P.P., Klimenko S.V., Serebrov A.A. Virtual Space Experiments and Lessons from Space // Proceedings of ED-MEDIA 2007. Vancouver BC. 2007. Vol. 1. P. 4195—4200.
5.Даниличева П.П., Фомин С.А., Клименко С.В., Батурин Ю.М., Серебров А.А., Щербинин Д.Ю. Виртуальное повествование как инновационная образовательная технология // Труды Первой международной конференции «Трехмерная визуализация научной, технической и социальной реальности. Кластерные технологии моделирования». Ижевск. 2009. Т. 2. С. 123—125.
6.Клименко С.В., Никитин И.Н., Никитина Л.Д. Аванго: система разработки виртуальных
УДК 681.396.473+681.516
окружений. Москва—Протвино: Институт физико-технической информатики, 2006. 252 с.
7.Cerf M., Harel J., Einhauser W., Koch C. Predicting human gaze using low-level saliency combined with face detection // Advances in neural information processing systems. 2008. P. 241—248.
8.Palermo R., Rhodes G. Are you always on my mind? A review of how face perception and attention interact // Neuropsychologia, Vol. 45, No. 1, 2007. P. 75—92.
9.Chien S.H.L. No more top-heavy bias: Infants and adults prefer upright faces but not top-heavy geometric or face-like patterns // Journal of Vision, Vol. 11, No. 6, 2011. P. 1—14.
10.Ярбус А.Л. Исследование закономерностей движений глаз в процессе зрения // Доклады АН СССР, № 4, 1954. С. 89—92.
11.Tullis T., Siegel M., Sun E. Are people drawn to faces on webpages? // CHI'09 Extended Abstracts on Human Factors in Computing Systems. 2009. P. 4207—4212.
12.Файн В.С. Опознавание изображений. Основы непрерывно-групповой теории и ее приложения. Москва: Наука, 1970. 295 с.
13.Файн В.С. Алгоритмическое моделирование формообразования. Москва: Наука, 1975. 141 с.
14.Parke F.I. Computer generated animation of faces // Proceedings of the ACM annual conference — Volume 1. 1972. P. 451—457.
МЕТОД АДАПТИВНОГО СКАНИРОВАНИЯ ПОДСТИЛАЮЩЕЙ ПОВЕРХНОСТИ ЛУЧОМ ЛАЗЕРНОГО ЛОКАТОРА В РЕЖИМЕ ИНФОРМАЦИОННОГО ОБЕСПЕЧЕНИЯ МАЛОВЫСОТНОГО ПОЛЕТА БЕСПИЛОТНОГО ТРАНСПОРТНОГО СРЕДСТВА*
Лисицын В.М.
кандидат технических наук Мужичек С.М. доктор технических наук Обросов К.В.
кандидат технических наук ФГУП «ГосНИИАС», г. Москва
THE METHOD OF ADAPTIVE SCANNING OF THE UNDERLYING SURFACE LASER LOCATOR BEAM IN THE MODE OF INFORMATION SUPPORT OF LOW-ALTITUDE FLIGHT OF AN
UNMANNED VEHICLE
Lisitsyn V.M. candidate of technical sciences Muzhichek S.M. doctor of technical sciences Obrosov K. V. candidate of technical sciences State Research Institute of Aviation Systems DOI: 10.31618/nas.2413-5291.2020.1.56.230
* Работа выполнена при финансовой поддержке РФФИ (проект № 19-29-06077 мк.)
