Научная статья на тему 'Использование антропометрических точек для внесения ограничений в синтез трехмерной модели тела человека с помощью SMPL'

Использование антропометрических точек для внесения ограничений в синтез трехмерной модели тела человека с помощью SMPL Текст научной статьи по специальности «Компьютерные и информационные науки»

CC BY
25
4
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
генерация модели тела человека / SMPL / антропометрические точки / распознавание ключевых точек / трехмерная модель поверхности / generation of human body model / SMPL / anthropometric points / keypoint recognition / 3d mesh model

Аннотация научной статьи по компьютерным и информационным наукам, автор научной работы — Александр Владимирович Кугаевских, Максим Антонович Большим, Ильдар Фагимович Саттаров

Введение. Генерация реалистичной трехмерной модели тела человека является очень трудоемкой задачей. Даже при наличии необходимых вычислительных ресурсов возникают ошибки генерации на фигурах людей, отличающихся от среднего телосложения. В работе предложен экспериментальный алгоритм считывания антропометрических данных с двух фотографий, сделанных в анфас и в профиль. Метод. Предлагаемое решение проблемы генерации с помощью выделения антропометрических точек предполагает задание ограничений модели Skinned Multi-Person Linear Model (SMPL). Для сегментации тела человека на основе эмпирических исследований применена модификация полносвязной сверточной нейронной сети Fully connected (FCN) ResNet101, обученная на наборе данных Common Objects in Context (COCO) Segmentation 2017. С ее помощью получена основа для детекции антропометрических точек на фотографии человека в анфас и в профиль. Погрешность в определении антропометрических точек составила от 2 до 5 % в зависимости от их расположения. Ограничения для модели рендеринга SMPL вычислены с использованием алгоритма Левенберга–Марквардта. Для его корректной работы предложена специальная функция стоимости, учитывающая особенности данной задачи. Основные результаты. Собранный авторами статьи набор данных (117 человек разного телосложения и роста) показал, что предложенный метод позволяет получить малую среднюю абсолютную ошибку (MAE = 0,0395 м) и высокий коэффициент детерминации (R2 = 0,913). Обсуждение. Граф антропометрических точек задает более строгие условия генерации фигуры и любое отклонение от графа является следствием большой ошибки генерации. Предложенное решение позволило достаточно точно сгенерировать модель тела человека. При этом сохранены невысокие требования к вычислительным ресурсам и качеству первоначальных фотографий пользователей. Представленный подход может найти применение в онлайн-примерочных, что дает возможность восстановить фигуру всего по двум снимкам, а также точно воспроизвести особенности мужских и женских фигур.

i Надоели баннеры? Вы всегда можете отключить рекламу.

Похожие темы научных работ по компьютерным и информационным наукам , автор научной работы — Александр Владимирович Кугаевских, Максим Антонович Большим, Ильдар Фагимович Саттаров

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

The use of anthropometric points to introduce restrictions into the synthesis of a 3D model of the human body using SMPL

Generating a realistic three-dimensional model of the human body is a very time-consuming task. Even with the necessary computing resources, generation errors occur on the figures of people who differ from the average physique. In this paper, an experimental algorithm for reading anthropometric data from only two full-face and profile photographs is proposed. The proposed solution to the problem of generation using the selection of anthropometric points involves setting the constraints of the SMPL (Skinned Multi-Person Linear Model) model. For segmentation of the human body based on empirical studies, a modification of the Fully Connected Convolutional Neural Network (FCN) ResNet101, trained on the COCO Segmentation 2017 dataset, was used. With its help, the basis for the detection of anthropometric points in full-face and profile photos was obtained. The error in determining anthropometric points ranges from 2 to 5 % depending on their location. The constraints for the SMPL rendering model are calculated using the LevenbergMarquardt algorithm. For its correct operation, a special cost function is proposed, taking into account the features of this task. The dataset collected by the authors of the article (117 people of different physiques and height) shows that the proposed method allows you to obtain a small average absolute error (MAE = 0.0395 m) and a high coefficient of determination (R2 = 0.913). The graph of anthropometric points sets stricter conditions for generating a figure and any deviation from the graph is a consequence of a large generation error. The proposed solution allows you to accurately generate a model of the human body. At the same time, low requirements for computing resources and the quality of users’ initial photos remain. The proposed solution can be used in online fitting rooms, which adds additional complexity to the task due to the requirements to restore the figure from only two pictures as well as the need to accurately reproduce the features of male and female figures.

Текст научной работы на тему «Использование антропометрических точек для внесения ограничений в синтез трехмерной модели тела человека с помощью SMPL»

НАУЧНО-ТЕХНИЧЕСКИЙ ВЕСТНИК ИНФОРМАЦИОННЫХ ТЕХНОЛОГИЙ, МЕХАНИКИ И ОПТИКИ сентябрь-октябрь 2023 Том 23 № 5 http://ntv.ifmo.ru/

I/ITMO SCIENTIFIC AND TECHNICAL JOURNAL OF INFORMATION TECHNOLOGIES, MECHANICS AND OPTICS ИНФОРМАЦИОННЫХ ТЕХНОЛОГИЙ, МЕХАНИКИ И ОПТИКИ

September-October 2023 Vol. 23 No 5 http://ntv.ifmo.ru/en/

ISSN 2226-1494 (print) ISSN 2500-0373 (online)

doi: 10.17586/2226-1494-2023-23-5-935-945 УДК 004.89

Использование антропометрических точек для внесения ограничений

в синтез трехмерной модели тела человека с помощью SMPL

Александр Владимирович Кугаевских1®, Максим Антонович Большим2, Ильдар Фагимович Саттаров3

Университет ИТМО, Санкт-Петербург, 197101, Российская Федерация 3 ООО «Студия 42», Тюмень, 625007, Российская Федерация

1 a-kugaevskikh@yandex.rus, https://orcid.org/0000-0002-6676-0518

2 javamaxit@gmail.com, https://orcid.org/0009-0009-3037-9852

3 sattarov@42dev.ru

Аннотация

Введение. Генерация реалистичной трехмерной модели тела человека является очень трудоемкой задачей. Даже при наличии необходимых вычислительных ресурсов возникают ошибки генерации на фигурах людей, отличающихся от среднего телосложения. В работе предложен экспериментальный алгоритм считывания антропометрических данных с двух фотографий, сделанных в анфас и в профиль. Метод. Предлагаемое решение проблемы генерации с помощью выделения антропометрических точек предполагает задание ограничений модели Skinned Multi-Person Linear Model (SMPL). Для сегментации тела человека на основе эмпирических исследований применена модификация полносвязной сверточной нейронной сети Fully connected (FCN) ResNet101, обученная на наборе данных Common Objects in Context (COCO) Segmentation 2017. С ее помощью получена основа для детекции антропометрических точек на фотографии человека в анфас и в профиль. Погрешность в определении антропометрических точек составила от 2 до 5 % в зависимости от их расположения. Ограничения для модели рендеринга SMPL вычислены с использованием алгоритма Левенберга-Марквардта. Для его корректной работы предложена специальная функция стоимости, учитывающая особенности данной задачи. Основные результаты. Собранный авторами статьи набор данных (117 человек разного телосложения и роста) показал, что предложенный метод позволяет получить малую среднюю абсолютную ошибку (MAE = 0,0395 м) и высокий коэффициент детерминации (R2 = 0,913). Обсуждение. Граф антропометрических точек задает более строгие условия генерации фигуры и любое отклонение от графа является следствием большой ошибки генерации. Предложенное решение позволило достаточно точно сгенерировать модель тела человека. При этом сохранены невысокие требования к вычислительным ресурсам и качеству первоначальных фотографий пользователей. Представленный подход может найти применение в онлайн-примерочных, что дает возможность восстановить фигуру всего по двум снимкам, а также точно воспроизвести особенности мужских и женских фигур. Ключевые слова

генерация модели тела человека, SMPL, антропометрические точки, распознавание ключевых точек, трехмерная модель поверхности

Ссылка для цитирования: Кугаевских А.В., Большим М.А., Саттаров И.Ф. Использование антропометрических точек для внесения ограничений в синтез трехмерной модели тела человека с помощью SMPL // Научно-технический вестник информационных технологий, механики и оптики. 2023. Т. 23, № 5. С. 935-945. doi: 10.17586/2226-1494-2023-23-5-935-945

© Кугаевских A.B., Большим М.А., Саттаров И.Ф., 2023

The use of anthropometric points to introduce restrictions into the synthesis

of a 3D model of the human body using SMPL

Alexander V. Kugaevskikh1«, Maksim A. Bolshim2, Ildar F. Sattarov3

ITMO University, Saint Petersburg, 197101, Russian Federation 3 Studio 42 LLC, Tyumen, 625007, Russian Federation

1 a-kugaevskikh@yandex.ru«, https://orcid.org/0000-0002-6676-0518

2 javamaxit@gmail.com, https://orcid.org/0009-0009-3037-9852

3 sattarov@42dev.ru

Abstract

Generating a realistic three-dimensional model of the human body is a very time-consuming task. Even with the necessary computing resources, generation errors occur on the figures of people who differ from the average physique. In this paper, an experimental algorithm for reading anthropometric data from only two full-face and profile photographs is proposed. The proposed solution to the problem of generation using the selection of anthropometric points involves setting the constraints of the SMPL (Skinned Multi-Person Linear Model) model. For segmentation of the human body based on empirical studies, a modification of the Fully Connected Convolutional Neural Network (FCN) ResNet101, trained on the COCO Segmentation 2017 dataset, was used. With its help, the basis for the detection of anthropometric points in full-face and profile photos was obtained. The error in determining anthropometric points ranges from 2 to 5 % depending on their location. The constraints for the SMPL rendering model are calculated using the LevenbergMarquardt algorithm. For its correct operation, a special cost function is proposed, taking into account the features of this task. The dataset collected by the authors of the article (117 people of different physiques and height) shows that the proposed method allows you to obtain a small average absolute error (MAE = 0.0395 m) and a high coefficient of determination (R2 = 0.913). The graph of anthropometric points sets stricter conditions for generating a figure and any deviation from the graph is a consequence of a large generation error. The proposed solution allows you to accurately generate a model of the human body. At the same time, low requirements for computing resources and the quality of users' initial photos remain. The proposed solution can be used in online fitting rooms, which adds additional complexity to the task due to the requirements to restore the figure from only two pictures as well as the need to accurately reproduce the features of male and female figures. Keywords

generation of human body model, SMPL, anthropometric points, keypoint recognition, 3d mesh model For citation: Kugaevskikh A.V., Bolshim M.A., Sattarov I.F. The use of anthropometric points to introduce restrictions into the synthesis of a 3D model of the human body using SMPL. Scientific and Technical Journal of Information Technologies, Mechanics and Optics, 2023, vol. 23, no. 5, pp. 935-945 (in Russian). doi: 10.17586/2226-1494-2023-23-5-935-945

Введение

В последнее время инженеры все более заинтересованы в автоматической генерации трехмерных моделей тел людей для решения задач в разных отраслях. Например, в игровой или дизайнерской отраслях в игровых средах используют модели героев, не созданные дизайнерами, а выполненные на основе реальных тел актеров при помощи нейронных сетей.

В дизайнерских студиях создаются аватары людей и далее их используют в виртуальной примерочной. Также данные методики помогают людям, которые проводят антропометрические исследования конкретного человека или группы людей.

Задача построения фотореалистичной трехмерной модели поверхности тела человека все еще актуальная и сопряжена с некоторыми трудностями. Можно выделить несколько подходов к ее решению. На этапе сбора первоначальных данных это могут быть фотографии с разных сторон или применение RGB-D-сканера для получения трехмерного облака точек. Каждый из этих подходов предполагает использование особого инструментария.

Настоящая работа направлена на получение трехмерной модели поверхности тела человека, применимой в онлайн виртуальных примерочных. При этом необходимо учесть следующие условия: нельзя опираться на методы получения трехмерного облака точек;

необходимо сократить до минимума количество разных фотографий человека, при этом важно учесть, что фотографии делает сам пользователь на свой телефон, что может вносить искажения; необходимо сократить время выполнения всего конвейера. Исходя из этих решений, конвейер целесообразнее строить на базе нейронных сетей.

На сегодняшний день уже существуют все необходимые инструменты для качественной генерации моделей тел, но конечных решений, которые давали бы высокую точность, до сих пор нет. Этому мешает неточное распознавание нейросетью контекста изображения, а также отсутствие полных наборов данных, которые могли однозначно аппроксимировать задачу генерации 3D-моделей. Все существующие наборы данных неполноценны или имеют размеченные данные с огромными погрешностями. В рассматриваемом случае неполный набор данных приводит к ковариационному сдвигу из-за чрезмерной ориентации на среднестатистическую фигуру (средний рост, нормальное телосложение).

Существуют решения на основе нейронных сетей и простых математических алгоритмов, способные воссоздавать трехмерную модель человека с фотографии. Но из-за наличия ковариационного сдвига возникающие серьезные погрешности не позволяют проводить полноценный анализ полученной модели.

Цель работы—разработка нового подхода генерации трехмерной модели тела человека, используя антропом-

етрические данные человека с фотографии. Предложен экспериментальный метод, предлагающий реализацию считывания антропометрических данных только с двух фотографий, сделанных в анфас и в профиль.

Сопутствующие работы

Генерация и обработка 3D-форм является уже достаточно старой задачей, и первые наборы данных, призванные решить проблему генерации модели тела человека, начали появляться в 2000-х годах. Первым был проект Civilian American and European Surface Anthropometry Resource (CAESAR) [1], содержащий около 4500 трехмерных сканирований тел жителей Америки и Европы. На наборе CAESAR и на позднее созданных наборах данных начали создавать первые инструменты, которые могли бы генерировать любую модель тела с заданными параметрами. На сегодняшний день самыми известными алгоритмами генерации трехмерных моделей тел являются Shape Completion and Animation of People (SCAPE) [2], BlendSCAPE [2] и Skinned Multi-Person Linear Model (SMPL) [3]. Наиболее предпочтительна SMPL-модель по следующим причинам: 1) производительность и простота математических операций по сравнению с аналогами; 2) исправлены недочеты предыдущих аналогов в генерации (модель не допускает «артефактов» и нереалистичных форм тела).

Модель SMPL является простой по вычислению, поскольку все необходимые предобработки уже были сделаны на этапе обучения. Набор данных модели — модифицированный институтом Макса Планка набор данных CAESAR. Основное отличие от оригинального набора данных заключается в том, что 3D-сканирования оптимизированы и каждое сканирование содержит 6890 вершин. Все сканирования обрабатываются методом главных компонент (PCA) [4]. Главные компоненты в некотором смысле — «главные» признаки каждого тела в полученном пространстве — являются расширениями среднестатистического тела вдоль выбранного направления и могут легко интерпретироваться. Первые главные компоненты можно интерпретировать как параметры роста, веса, ширины талии, бедер, плеч, отношение длины рук к ногам и туловищу и т. д. Чем больше главных компонент выделено, тем более точная генерация данной модели.

Human Mesh Recovery (HMR) [5] — нейросеть для восстановления полной 3D-сетки человеческого тела из одного RGB-изображения. В работе [5] рассмотрена известная проблема, что большинство наборов данных, по которым можно было бы обучить модель, используют двумерную разметку позы человека, что для SMPL-модели не является пригодной. Предложено обучать нейросеть и проецировать 2D-точки позы человека в 3D, используя неполноценные данные. Основная их цель состоит в том, чтобы свести к минимуму потерю ключевых точек при перепроектировании, что позволяет обучить модель с использованием изображений в реальной эксплуатации, которые имеют только двухмерную проекцию позы. Тем не менее, потери при повторном проецировании неизбежны. В работе [5] данная проблема решена с помощью добавления

противника — состязательной нейросети, обученной определять, является ли сгенерированный параметр человеческого тела реальным или нет, и используя большую базу данных 3D-сеток моделей тел. Входное изображение обрабатывается энкодером, который выявляет главные признаки тела человека на фотографии. Стандартный энкодер для HMR-модели — модифицированный предобученный на наборе данных Common Objects in Context (COCO) Keypoint Recognition 2017 [6] ResNet50 [7], в котором удалены последние два полносвязных слоя. Благодаря такой модификации ResNet передает карту полученных признаков в рекуррентный полносвязный регрессор, который и вычисляет 3D-вектор позы 9 и вектор формы тела ß, а также пробует вычислить проекцию камеры, расстояние камеры до человека и угол поворота. Затем первые два вектора передаются в SMPL-модель, которая поступает в пре-добученный дискриминатор для определения, является ли сгенерированная 3D-сетка тела реалистичной или нет. Для решения этой задачи в настоящей работе были скомбинированы различные наборы данных в один: Human3.6m [8], Leeds Sports Pose (LSP) и LSP Extended [9], COCO Keypoint Recognition 2017 [6], Motion and Shape capture (MoSh) [10], Max Plank Institut Informatik (MPII) Human Pose [11], Max Planck Institute for Informatics 3D Human Pose (MPI-INF-3DHP) [12]. Точность полученной нейросети в определении формы тела является приемлемой, но проведенные эксперименты показали, что из-за недостатка наборов данных нейросеть очень часто создает людей с «излишним весом» и плохо натренирована на людях с телом с явными отклонениями от среднестатистических показателей, например людей с явным спортивным телосложением, из-за чего спортивные люди выглядят не спортивными на выходе модели.

В модели BodyNet [13] изучена идея распознавания параметров SMPL-модели и заимствованы некоторые идеи из ShapeNet [14]. Оценена форма тела с помощью вексельной сетки, которую можно наложить на фотографию человека по силуэту. В результате выполнена оценка качества проецируемого силуэта. Вычислена -оценка для пикселов переднего плана и глобальной точности (соотношение правильно предсказанных пикселов переднего плана и фона). Далее минимизировано расстояние между истинной неизвестной трехмерной моделью тела человека SMPL и вексельной сеткой, т. е. оценено качество подобранной модели SMPL путем измерения средней ошибки в миллиметрах между соответствующими вершинами в сетке подгонки и истинной сетки. Полученное решение имеет некоторые преимущества перед HMR-моделью, однако точность снижается из-за того, что набор данных является объединением Synthetic hUmans foR REAL tasks (SURREAL) [15] и United People in 3D (UP3D) [16]. Набор данных SURREAL — база данных, на основе которой можно провести рендеринг синтетических моделей людей на разных фонах в разных сценах с разной одеждой. Но такой набор данных построен на «идеальных условиях», когда контекст не искажает изображение, что очень вредит, когда нейросеть отправляется в реальную эксплуатацию. UP3D построен на вручную размеченных

данных и автоматически размеченных изображениях при помощи алгоритма SMPLify [17], но значения автоматической разметки при ручной проверке оказались с огромными погрешностями, что непозволительно для рассматриваемой задачи.

В алгоритме SMPLify основная генерация происходит при помощи аппроксимации формы тела, а не нейронных сетей. В работе [18] применена сверточная нейросеть DeepCut Convolutional Neural Networks, которая вычисляет облака точек людей на фотографиях. Затем выполняется приближение формы тела с помощью «капсул». Облака точек представляют фактические вершины аппроксимируемой модели. В аппроксимации использована прокси-геометрия для эффективного вычисления коллизий [19], на основе которых поверхность тела человека приближена к набору «капсул», каждая из которых имеет радиус и длину оси. Далее происходит обучение регрессора от параметров формы модели к параметрам «капсулы» (длина оси и радиус) и «капсулы» размещаются в соответствии с вращением, вызванным кинематической цепью позы. В итоге поставлена задача не вычислять сразу позу человека на фотографии и мгновенно пытаться аппроксимировать фигуру, а найти такие параметры SMPL-модели, отображение которой на фотографии было бы наилучшим. Данный алгоритм прекрасно справляется с аппроксимацией позы тела человека и имеет высокую точность, однако все еще страдает общей с остальными аналогами проблемой «лишнего веса» у модели, и сильно уступает по производительности предыдущему аналогу.

Существует еще множество различных методов, но они все повторяют идеи основных реализаций (BodyNet, HMR и SMPLify), но с некоторыми модификациями: сменой или дополнительной обработкой набора данных; переосмыслением аппроксимации 3D-сетки SMPL к реальному силуэту; изменением топологии нейросети.

В табл. 1 представлено сравнение основных подходов по параметрам точности и среднего времени выполнения.

В настоящей работе выполнено тестирование на наборе данных LSP, результаты достоверности (по метрике accuracy), опубликованные в [13], были подтверждены. За основу моделей взята авторская реализация на GitHub. Как показала проверка, все методы хорошо аппроксимируют 3D-позу человека, руки и ноги, но с туловищем наблюдаются серьезные проблемы в виде «излишнего» или «недостающего» веса. Поскольку BodyNet использует другой подход к генерации фигу-

Таблица 1. Оценка эффективности BodyNet, HMR и SMPLify

Table 1. Evaluating the effectiveness of BodyNET, HMR and SMPLify

Метод Достоверность (accuracy), %

BodyNet 92,75

HMR 91,30

SMPLify with DeepCut 91,89

ры, не основанный на SMPL и не совсем подходящий для решаемой задачи в силу генерации статической модели без возможности оперирования над ней, далее рассматриваться она не будет.

Также одна из причин подобных погрешностей — все аналоги, которые пытаются аппроксимировать SMPL-модель под тело человека, ориентируются на формы сгенерированной модели, а также на положение и пересечение полигонов с заданной фигурой, но не на природу того, как деформируется сгенерированное SMPL-тело в зависимости от параметров. Другими словами, уделено мало внимания главным компонентам пространства тел SMPL, благодаря которым происходит деформация фигуры тела.

Отметим, что для задач, где предполагается воссоздание сцены движения модели человека в 3D-простран-стве, точности HMR и SMPLify являются удовлетворительными, поскольку важны только поза, более-менее аппроксимированная фигура и параметры камеры для рендеринга модели. И поэтому эти аналоги успешно справляются со своей поставленной задачей. В задаче, где требуется наиточнейшее восстановление фигуры тела, такая точность недопустима.

Исходя из этого, для поставленной задачи требуется разработка нового метода, который может перенять сильные стороны у известных аналогов и предложить свое решение. Основная цель задачи — устранить искажения в форме тела человека и повысить точность за счет нового подхода — использование антропометрических точек для обозначения формы тела.

Архитектура решения

Задача поиска антропометрических точек аналогична давно решенной задаче распознавания ключевых точек скелета человека (keypoint recognition). Тем не менее, чтобы аналогично решить задачу с антропометрическими точками, необходимо также иметь размеченный с данными точками набор данных минимум из нескольких тысяч экземпляров. Так как такого набора данных пока нет, было принято решение на основе задачи распознавания ключевых точек искать точки алгоритмическим путем и с применением знаний о пропорциях тела человека.

Предлагаемое решение (рис. 1) построено на поиске антропометрических точек, которые в дальнейшем задают главные компоненты, ограничивающие процесс рендеринга поверхности с помощью модели SMPL.

Распознавание антропометрических точек состоит из трех этапов:

1) распознавание ключевых скелетных точек человека P на фотографии;

2) сегментация фотографии человека на фон и контура фигуры PS, который в дальнейшем с помощью алгоритма Канни очищается от шума, что дает набор точек силуэта S;

3) поиск антропометрических точек C с помощью скелетных точек P и краев сегментированного силуэта человека S.

В результате получен набор антропометрических точек, найденных на фотографии в профиль и в ан-

Рис. 1. Общая архитектура решения Fig. 1. General architecture of the solution

фас. Для нивелирования погрешности выделения точек оба набора отображены на один трехмерный граф точек G.

Для задачи сегментации тела человека на основе эмпирических исследований выбрана модификация полносвязной сверточной нейронной сети Fully connected (FCN) ResNet101 [20], обученная на наборе данных COCO Segmentation 2017, в метках распознавания объектов которого есть в наличии метка человека.

Для задачи распознавания точек скелета человека использована модификация ResNet50-Feature Pyramid Network (ResNet50-FPN) [21] с предобученными на наборе данных COCO Segmentation 2017 весами из задачи распознавания ключевых точек.

Из модели SMPL получен усредненный граф антропометрических точек G'. Он был сформирован тем же способом, что и граф точек G. Граф G' необходим для задания уравнения деформации среднестатистической модели тела SMPL. Задача подгонки модели G' к G представляет собой оптимизационную задачу, которая может быть решена с помощью алгоритма Левенберга-Марквардта. Решение этого уравнения дает набор главных компонент 0, позволяющих внести ограничения в SMPL-модель. В итоге SMPL генерирует трехмерную полигональную поверхность тела человека с учетом заданных ограничений.

Детекция антропометрических точек

При проведении антропометрических обследований человека или группы людей для получения точных данных о форме и строении тела проводят измерения между определенными точками на теле человека, которые называются антропометрическими точками [22], соответствующим образованиям скелета (выступам костей, концам отростков, шероховатостям, буграм и т. д.), очерченным границам на мягких тканях или специфическим кожным образованиям.

Все точки представлены на рис. 2. Для поставленной задачи использованы наиболее явные точки на теле человека — точки скелета и туловища. Нейронные сети позволили найти большую часть антропометрических точек без особого труда, а алгоритмы компьютерного

зрения — доопределить оставшиеся точки на основе данных, полученных от нейросетей.

Нахождение антропометрических точек на теле человека на фотографии является комплексной задачей. Необходимо сегментировать фотографию на фигуру человека и фон; определить края выделенной фигуры человека; провести сегментацию фигуры на части тела;

Z Z

Рис. 2. Антропометрические точки [22]. ОЦТ — общий центр тяжести; XYZ — координатная сетка для точек; -/+ отклонение от центральной оси

Fig. 2. Anthropometric points [22]

ОЦТ — common center of gravity; XYZ — coordinate grid for points; -/+ deviation from the centerline

на основе полученных данных вычислить местоположение антропометрических точек.

Получив точные 2D-координаты P и пиксельную карту силуэта PS, осуществлена дообработка пиксельной карты. Поскольку «край фигуры» достаточно сложное понятие, использован алгоритм Канни, основанный на фильтре Собеля с размером ядра 3 х 3. Отличие данного алгоритма от применения в аналогах заключается в том, что фильтр применяется уже на сегментированном силуэте человека, на котором нет никаких шумов и «лишних границ», поэтому алгоритм Канни выделяет только границы карты &

Далее получены точки с фотографий в профиль и в анфас. Экспериментально получено, что для полноты восстановления фигуры необходимы следующие пары антропометрических точек:

1) все скелетные точки Р, полученные с помощью ResNet50;

2) макушка;

3) плечи;

4) нижняя сторона запястья с двух рук;

5) несколько точек на линии груди;

6) несколько точек на линии талии;

7) несколько точек на линии бедра;

8) несколько точек на линии паха;

9) точки пяток.

Вышеперечисленные точки № 1-9 актуальны для фотографии в анфас. Для фотографии в профиль использованы точки № 1, 5, 6, 7, 8 из списка выше и дополнительно пара точек на уровне копчика и чуть ниже паха для более точной аппроксимации ног.

Поиск точек на поверхности произведен за счет выявленных границ силуэта и использования классических методов геометрии. Экспериментально установлены взаимосвязи внутренней скелетной и внешней точек плеч.

Уровни расположения точек груди и талии без предварительного понимания отношения частей тела невозможна или возможна при многократных экспериментах. Поиск точек туловища и пяток проведен при помощи карты золотого сечения тела человека [23] (рис. 3).

Любое тело, неподверженное физиологическим патологиям, подчинено правилу золотого сечения. Используя известные отношения частей тела и проМ

стое отношение — = ф, найдем неизвестные расстоя-т

ния и уровни, на которых расположены линия талии, груди, бедра, а также высота пятки, которая вначале не известна.

Рассчитаем высоту пятки:

Ь

= -

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

ф2 + 2ф

где Ь — длина голени. С найденной высотой пятки найдем точку пятки с помощью местоположения точки лодыжки.

Найдем У-координату точки линии груди вдоль спи-

ны:

Рис. 3. Соотношения расстояний на теле человека [23] Fig. 3. The ratio of distances on the human body [23]

где N — точка начала шеи, которая найдена как расстояние от медианы точек внешних плеч; H — длина отрезка от макушки до N точки.

Рассчитаем 7-координату точки линии талии вдоль спины:

F3 = N +

Яф Яф2

■ +-

Ф+1 (Ф+1)'

F2 = N +

Яф Яф2

Ф+1 2(ф + I)2

Выполним поиск ближайших точек с ближайших сторон, которые и будут считаться точками груди и талии. При желании уточнение уровней других точек осуществим аналогичным способом через выводы уравнений, основываясь на золотом сечении. В противном случае, если тело подвержено патологиям, можно вместо уравнений уровня точек подставить классические среднестатистические константы, выведенные также через константы ф и ф + 1 для уравнений тех частей тела, где наблюдается патология. В данной работе выполнено исследование среднестатистического человека.

Такой метод нахождения особо сложных точек через уравнения золотого сечения применен для фотографий в анфас и в профиль. Учитывая возможную погрешность сегментации фотографии и погрешность обнаружение точек скелета в 2-5 % от длины тела человека, получим автоматически размеченные фотографии.

Так как для генерации модели требуется несколько точек на туловище для повышения аппроксимации, используем точки с некоторым отклонением от основных точек талии, груди и бедер. Остальные антропометрические точки найдем на основе скелета без учета золотого сечения. Результат поиска основных точек представлен на рис. 4.

Получив точки в профиль и анфас, два набора отобразятся на один трехмерный граф, где точки в профиль спроецированы с учетом масштаба фотографии на плоскость 2У, а точки в анфас — на ХУ. Выравнивание обоих точек выполним благодаря известной константе ро-

а Ъ

, I

Рис. 4. Пример выделения антропометрических точек, выделенных в анфас (а) и в профиль (b). Размерность

указана в метрах Fig. 4. Example of anthropometric points detecting: points detected en face (a) and points detected in the profile (b)

ста человека. Если она неизвестна — возьмем средний рост человека, равный 172 см. На основе длины и точки макушки как общего базиса для двух плоскостей, точки удастся успешно спроецировать на трехмерный граф. Далее осуществим нормировку изображения к метрике в метрах и выравнивание по оси Y. Полученный пример графа показан на рис. 5, где показан один и тот же граф с дополнительными точками.

Дополнительные точки получим на основе главных антропометрических точек, где координата по Y умножена на константу, и получившаяся точка «скользит» по силуэту вдоль оси роста. Таким образом, можно более явно выделить ключевые формы фигуры человека. Количество дополнительных точек строго не фиксируется, но их количество прямо пропорционально влияет на качество и увеличивает сложность аппроксимации. В рассматриваемом примере взяты по 2-3 дополнительные точки в окрестности главных антропометрических. Здесь в приоритете точки с фотографии в анфас, поскольку именно с этого ракурса передается больше всего информации о конечностях и форме тела. Точки профиля применяются только для улучшенной

аппроксимации туловища. Данный граф служит эталонной моделью, к которой должны аппроксимировать SMPL-коэффициенты формы тела, поскольку антропометрические точки при корректном определении и отображении на трехмерном графе имеют прямую корреляцию с формой тела и конкретными векторами главных компонентов (Principal Component Analysis, PCA) пространства SMPL-модели.

Аппроксимация SMPL

Модель SMPL определена следующими параметрами:

— среднестатистически вычисленное человеческое BD-тело с 6890 вершинами конкретного пола — мужской или женский, T (модель с нулевым вектором формы р);

— матрица PCA векторов для деформации T с примененными PCA коэффициентами р — B^p);

— регрессор, исправляющий артефакты модели —

ЛР);

— матрица деформации позы тела с примененными коэффициентами поворота суставов — BP(0). Среднестатистическая модель меняет форму при

сложении с матрицей деформации B^p), выполняет сложение с матрицей BP(0) и постобработку регрес-сором ДР). Функция W(Tp(P, 0), J(P), 0, W) — SMPL-модель. На вход в SMPL подается вектор формы тела р из 10 элементов и BD-скелет позы 0 — вектор размерностью 72, состоящий из подряд идущих трехмерных точек скелета, на выход функция возвращает готовую трехмерную модель, состоящую из тех же 6890 вершин.

Установить корреляцию считываемых антропометрических точек и модели возможно, если взять их непосредственно с фотографии с данной моделью и заданным среднестатистическим ростом модели, тоже равным 172 см. При распознавании графа точек на модели и предобработав модель SMPL, происходит аппроксимация среднестатистического тела, поскольку расстояние от тела до графа является теперь минималь-

-1,0

-1,0

Рис. 5. Пример построения графа антропометрических точек для рис. 4: фронтальная (а) и изометрическая (b) проекции

трехмерного графа

Fig. 5. Example of anthropometric graph for image in Fig. 4: frontal projection 3D graph (a); isometric projection 3D graph (b)

ным. Поскольку нейросеть сегментации ResNet101 обучалась на одетых и так или иначе «текстурирован-ных» людях, модель SMPL без дополнительной предобработки не могла полноценно распознать тело с ракурса в профиль и анфас. На этой идее, что граф среднестатистического тела аппроксимирует и саму модель, построено предположение, что тело сканируемого человека также может быть полноценно восстановлено за счет графа.

В оригинальной реализации SMPL-модель состоит из 6890 вершин, каждая из которых имеет свой набор векторов главных компонент. Имея эти вектора, можно понять, как надо подобрать коэффициенты, чтобы граф другого человека мог аппроксимироваться к графу среднестатистической модели при помощи тех векторов главных компонент.

Возьмем вектора главных компонент у тех вершин SMPL-модели, что были наиболее приближенными к антропометрическим точкам. У каждой вершины модели разный набор значений векторов, поскольку каждая вершина относится к отдельной части тела и деформируется независимо от других. По этой причине выбор наиближайших вершин к графу оказался более действенным методом. Для предобработки модели SMPL, чтобы она максимально приблизилась к точкам графа, запустим алгоритм поиска наиближайших точек по метрике Lj, по результатам которого рассчитаем вектора для каждой точки графа. В результате получим вектора главных компонент и эталонный граф среднестатистической модели с нулевым в и составим конечную систему уравнений, с помощью которой найдем неизвестный р.

(x, y, z)final = (x, y, z)SVS + [x, y, z]0po + ... + [x, y, z]0P9

......... (1)

Cx ^ z)fina' = Xx ^ zCg + [x ^ Z]0Po + ... + ^ Z]9Pcb

, .final , ч avg

где (x, y, z)i и (x, y, z)i — i-е точки из аппроксимируемого и среднестатистического антропометрических графов; [x, y, z]j — вектор j-го главного компонента i-ой антропометрической точки из среднестатистической модели.

Уравнение (1) аналогично традиционной системе линейных алгебраических уравнений (СЛАУ), но вместо коэффициентов в нем стоят вектора главных компонент, поэтому итеративные методы решения СЛАУ не подходят.

Для решения уравнения (1) используем алгоритмы поиска глобального минимума системы, записанной в матричном виде:

FINAL = AVG + [PCA]PT (2)

и представленной в следующем виде:

DIST = AVG + [PCA]PT - FINAL = 0. (3)

Данная аппроксимация является задачей наименьших квадратов, тогда для поиска глобального минимума со стартовой точкой аппроксимации в виде нулевого вектора используем итеративный метод Левенберга-

Марквардта. Выберем нулевой вектор, а так как все стандартные отклонения PCA пространства тел SMPL по модулю не превосходят значения 10, то лучше начинать аппроксимацию с середины отрезка между -10 и 10.

Оценка погрешности вектора DIST, который приравнен к нулевому вектору, проведем с помощью нормы по каждому значению, что является нормой правой части уравнения (2).

Несмотря на осуществленные действия, начальное решение уравнения (2) не было полноценным, и аппроксимация не проведена должным образом. На первых итерациях эксперимента получены разного рода погрешности, которые видны на рис. 6.

Проблема состоит в том, что 10-мерная плоскость отклонений в аппроксимации системы очень хаотична и имеет множество глубоких впадин, которые сбивают алгоритмы оптимизации и не позволяют найти глобальный минимум. Для этого была подобрана новая функция стоимости, которая позволит правильно оценить ошибку отклонения аппроксимированного среднестатистического графа к графу исследуемого человека

ERROR = 10e2(10lDISTl)2, (4)

где DIST — вектор отклонений точек одного графа от другого; ERROR — вектор аналогичного размера, что и DIST.

Как показали эксперименты, такая функция стоимости наиболее строго «наказывает» ошибки отклонения даже только одной точки и строго задает плоскость ошибки. Вектор DIST не будем возводить в квадрат, поскольку часто отклонения оказываются меньше нуля, и тогда квадрат только уменьшает значение. Возьмем

С )

Рис. 6. Изображение с наибольшим количеством обшдх аномалий: длинные ноги, вдавленная голова,

неестественное образование и др. Fig. 6. The image with the largest number of common anomalies: long legs, depressed head, unnatural formation, etc.

модуль от вектора (3) и умножим на 10, чтобы сделать главные степени отклонения более важными. Экспонента в выражении (4) усиливает важность каждого отклонения и «наказывает» любое начавшееся отклонение в той точке, где уже была приемлемая погрешность аппроксимации. Данное уравнение значительно поощряет изменение ошибки в меньшую сторону за счет огромной степени. Это уравнение может иметь случай, когда происходит переполнение. Такой случай учитывается через оценку степеней экспоненты. Метод Левенберга-Марквардта выбран из соображений и эмпирических наблюдений, что он наиболее дешевый по производительности и дает более качественную аппроксимацию по сравнению с другими алгоритмами глобальной оптимизации.

Экспериментальная проверка

В результате проведенного тестирования удалось получить сравнение других алгоритмов, тоже использующих SMPL: SMPLify и HMR (табл. 2).

Тестирование проведено на коммерческом закрытом наборе данных, содержащим фотографии в анфас и профиль 117 людей различных телосложений с распределением роста от 152 см до 189 см, следующим образом: вручную размечены антропометрические точки на фотографиях испытуемых, которые служили эталоном качества фигуры отдельного испытуемого или «каркасом» фигуры, который проверяемые варианты решений должны были максимально аппроксимировать. Тестирование проводилось на закрытом наборе данных людей, которые стояли в фиксированной позиции: руки вытянуты в стороны, ровная стойка. Эта поза соответствует SMPL-модели, у которой вектор позы 9 нулевой. На этом наборе данных каждый алгоритм предлагал свои параметры формы SMPL в, с помощью которых уже генерировалась фигура, и которая сравнивалась уже с эталонным «каркасом» графом антропометрических точек, размеченного вручную.

Анализ MAE показал общее отклонение сгенерированных моделей от эталона в метрах. Отсюда следует, что отклонение в сантиметрах куда больше, а для качественной аппроксимации различие фигур в сантиметрах способно сильно испортить качество.

На рис. 7 показаны характерные примеры результатов работы предложенного решения, на которых видны выделенные антропометрические точки на фото в анфас и в профиль, а также получившаяся трехмерная модель поверхности. В результате анализа видно, что разработанный подход уверенно и детально восстанавливает фигуру человека. Отметим, что погрешности в генерации фигуры могут возникать из-за «мешковатой» одежды. Например, не получилось точно восстановить мужскую фигуру (рис. 7, c, d) из-за «мешковатых» брюк. При этом были неточно выделены антропометрические точки талии. На рис. 7, e-j показан результат работы модели для женских фигур с разным ростом, и заметно нивелирование влияния одежды на генерацию трехмерной модели.

Таблица 2. Сравнение по метрике средней абсолютной ошибки (MAE) и коэффициенту детерминации (R2) предложенного метода с моделями SMPLify и HMR Table 2. Comparison by the MAE metric and the coefficient of determination for the proposed method with the SMPLify and HMR models

Модель MAE, м R2

SMPLify 0,08228 0,788

HMR 0,04810 0,892

Предложенный метод 0,03950 0,913

Рис. 7. Результаты проверки на мужских (a-d) и женских (e-j) фигурах изображений с выделенными антропометрическими точками (а, с, e, f) и построенной

трехмерной модели (b, d, f, j) Fig. 7. The results of approbation on male (a-d) and female (e-j) figures of images with selected anthropometric points (a, c, e, f) and a constructed 3D model (b, d,f, j)

Заключение

Выполненные эксперименты показали, что улучшение метода аппроксимации сетки тела человека за счет антропометрического графа значительно улучшает результат. На основании полученных результатов можно сделать вывод, что антропометрический граф задает более строгие условия генерации фигуры и любое отклонение от графа является следствием огромной ошибки в генерации. Данная задача очень схожа с распознаванием ключевых точек скелета. Но требуется дообучение моделей для решения второй задачи за счет техники обучения на ограниченном количестве новых

данных (few-shot learning). В результате предлагаемый метод может избавить от применения ручных алгоритмов определения антропометрических точек, хотя он и потребует более разнородного набора данных с большим разнообразием фигур людей.

Дальнейшая доработка метода предполагает добавление большего количества точек в граф. Предлагается отойти от способа поиска вектора формы путем метода Левенберга-Марквардта и перейти к применению нейронных сетей. Необходимо дообучение ResNet50, ищущего только скелетные точки, до поиска антропометрических точек.

Литература

1. Robinette K.M., Daanen H., Paquet E. The CAESAR project: a 3-D surface anthropometry survey // Proc. of the Second International Conference on 3-D Digital Imaging and Modeling (Cat. No. PR00062). 1999. P. 380-386. https://doi.org/10.1109/im.1999.805368

2. Hirshberg D.A., Loper M., Rachlin E., Black M.J. Coregistration: Simultaneous alignment and modeling of articulated 3D shape // Lecture Notes in Computer Science. 2012. V. 7577. P. 242-255. https://doi.org/10.1007/978-3-642-33783-3_18

3. Loper M., Mahmood N., Romero J., Pons-Moll G., Black M.J. SMPL: A skinned multi-person linear model // ACM Transactions on Graphics. 2015. V. 34. N 6. P. 1-16. https://doi. org/10.1145/2816795.2818013

4. Pearson K. LIII. On lines and planes of closest fit to systems of points in space // The London, Edinburgh, and Dublin Philosophical Magazine and Journal of Science. 1901. V. 2. N 11. P. 559-572. https://doi.org/10.1080/14786440109462720

5. Kanazawa A., Black M.J., Jacobs D.W., Malik J. End-to-end recovery of human shape and pose // Proc. of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2018. P. 7122-7131. https://doi.org/10.1109/cvpr. 2018.00744

6. Lin T.Y., Maire M., Belongie S., Hays J., Perona P., Ramanan D., Dollar P., Zitnick C.L. Microsoft COCO: Common objects in context // Lecture Notes in Computer Science. 2014. V. 8693. P. 740-755. https://doi.org/10.1007/978-3-319-10602-1_48

7. He K., Zhang X., Ren S., Sun J. Identity mappings in deep residual networks // Lecture Notes in Computer Science. 2016. V. 9908. P. 630-645. https://doi.org/10.1007/978-3-319-46493-0_38

8. Ionescu C., Papava D., Olaru V., Sminchisescu C. Human3.6M: Large scale datasets and predictive methods for 3D human sensing in natural environments // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2014. V. 36. N 7. P. 1325-1339. https://doi.org/10.1109/ tpami.2013.248

9. Johnson S., Everingham M. Clustered pose and nonlinear appearance models for human pose estimation // Proc. of the British Machine Vision Conference. 2010. P. 12.1-12.11. https://doi. org/10.5244/c.24.12

10. Loper M., Mahmood N., Black M.J. MoSh: Motion and shape capture from sparse markers // ACM Transactions on Graphics. 2014. V. 33. N 6. P. 1-13. https://doi.org/10.1145/2661229.2661273

11. Andriluka M., Pishchulin L., Gehler P., Schiele B. 2D human pose estimation: New benchmark and state of the art analysis // Proc. of the IEEE Conference on Computer Vision and Pattern Recognition. 2014. P. 3686-3693. https://doi.org/10.1109/cvpr.2014.471

12. Mehta D., Sridhar S., Sotnychenko O., Rhodin H., Shafiei M., Seidel H.-P., Xu W., Casas D., Theobalt C. VNect: Real-time 3D human pose estimation with a single rgb camera // ACM Transactions on Graphics. 2017. V. 36. N 4. P. 1-14. https://doi. org/10.1145/3072959.3073596

13. Varol G., Ceylan D., Russell B., Yang J., Yumer E., Laptev I., Schmid C. BodyNet: Volumetric inference of 3D human body shapes // Lecture Notes in Computer Science. 2018. V. 11211. P. 20-38. https://doi.org/10.1007/978-3-030-01234-2_2

14. Chang A.X., Funkhouser T., Guibas L., Hanrahan P., Huang Q., Li Z., Savarese S., Savva M., Song S., Su H., Xiao J., Yi L., Yu F. ShapeNet:

References

1. Robinette K.M., Daanen H., Paquet E. The CAESAR project: a 3-D surface anthropometry survey. Proc. of the Second International Conference on 3-D Digital Imaging and Modeling (Cat. No. PR00062), 1999, pp. 380-386. https://doi.org/10.1109/ im.1999.805368

2. Hirshberg D.A., Loper M., Rachlin E., Black M.J. Coregistration: Simultaneous alignment and modeling of articulated 3D shape. Lecture Notes in Computer Science, 2012, vol. 7577, pp. 242-255. https://doi.org/10.1007/978-3-642-33783-3_18

3. Loper M., Mahmood N., Romero J., Pons-Moll G., Black M.J. SMPL: A skinned multi-person linear model. ACM Transactions on Graphics, 2015, vol. 34, no. 6, pp. 1-16. htt p s : / / d o i. org/10.1145/2816795.2818013

4. Pearson K. LIII. On lines and planes of closest fit to systems of points in space. The London, Edinburgh, and Dublin Philosophical Magazine and Journal of Science, 1901, vol. 2, no. 11, pp. 559-572. https://doi.org/10.1080/14786440109462720

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

5. Kanazawa A., Black M.J., Jacobs D.W., Malik J. End-to-end recovery of human shape and pose. Proc. of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2018, pp. 7122-7131. https://doi.org/10.1109/cvpr.2018.00744

6. Lin T.Y., Maire M., Belongie S., Hays J., Perona P., Ramanan D., Dollar P., Zitnick C.L. Microsoft COCO: Common objects in context. Lecture Notes in Computer Science, 2014, vol. 8693, pp. 740-755. https://doi.org/10.1007/978-3-319-10602-1_48

7. He K., Zhang X., Ren S., Sun J. Identity mappings in deep residual networks. Lecture Notes in Computer Science, 2016, vol. 9908, pp. 630-645. https://doi.org/10.1007/978-3-319-46493-0_38

8. Ionescu C., Papava D., Olaru V., Sminchisescu C. Human3.6M: Large scale datasets and predictive methods for 3D human sensing in natural environments. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2014, vol. 36, no. 7, pp. 1325-1339. https://doi. org/10.1109/tpami.2013.248

9. Johnson S., Everingham M. Clustered pose and nonlinear appearance models for human pose estimation. Proc. of the British Machine Vision Conference, 2010, pp. 12.1-12.11. https://doi. org/10.5244/c.24.12

10. Loper M., Mahmood N., Black M.J. MoSh: Motion and shape capture from sparse markers. ACM Transactions on Graphics, 2014, vol. 33, no. 6, pp. 1-13. https://doi.org/10.1145/2661229.2661273

11. Andriluka M., Pishchulin L., Gehler P., Schiele B. 2D human pose estimation: New benchmark and state of the art analysis. Proc. of the IEEE Conference on Computer Vision and Pattern Recognition, 2014, pp. 3686-3693. https://doi.org/10.1109/cvpr.2014.471

12. Mehta D., Sridhar S., Sotnychenko O., Rhodin H., Shafiei M., Seidel H.-P., Xu W., Casas D., Theobalt C. VNect: Real-time 3D human pose estimation with a single rgb camera. ACM Transactions on Graphics, 2017, vol. 36, no. 4, pp. 1-14. https://doi. org/10.1145/3072959.3073596

13. Varol G., Ceylan D., Russell B., Yang J., Yumer E., Laptev I., Schmid C. BodyNet: Volumetric inference of 3D human body shapes. Lecture Notes in Computer Science, 2018, vol. 11211, pp. 20-38. https://doi.org/10.1007/978-3-030-01234-2_2

An information-rich 3D model repository // arXiv. 2015. arXiv:1512.03012. https://doi.org/10.48550/arXiv.1512.03012

15. Varol G., Romero J., Martin X., Mahmood N., Black M.J., Laptev I., Schmid C. Learning from synthetic humans // Proc. of the I IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2017. P. 109-117. https://doi.org/10.1109/cvpr.2017.492

16. Lassner C., Romero J., Kiefel M., Bogo F., Black M.J., Gehler P.V. Unite the people: Closing the loop between 3D and 2D human representations // Proc. of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2017. P. 6050-6059. https://doi. org/10.1109/cvpr. 2017.500

17. Bogo F., Kanazawa A., Lassner C., Gehler P., Romero J., Black M.J. Keep it SMPL: Automatic estimation of 3D human pose and shape from a single image // Lecture Notes in Computer Science. 2016. V. 9909. P. 561-578. https://doi.org/10.1007/978-3-319-46454-1_34

18. Pishchulin L., Insafutdinov E., Tang S., Andres B., Andriluka M., Gehler P., Schiele B. DeepCut: Joint subset partition and labeling for multi person pose estimation // Proc. of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2016. P. 49294937. https://doi.org/10.1109/cvpr.2016.533

19. Thiery J.M., Guy E., Boubekeur T. Sphere-meshes: Shape approximation using spherical quadric error metrics // ACM Transactions on Graphics. 2013. V. 32. N 6. P. 1-12. https://doi. org/10.1145/2508363.2508384

20. Long J., Shelhamer E., Darrell T. Fully convolutional networks for semantic segmentation // Proc. of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2015. P. 3431-3440. https:// doi.org/10.1109/cvpr.2015.7298965

21. Ren S., He K., Girshick R., Sun J. Faster R-CNN: Towards real-time object detection with region proposal networks // Advances in Neural Information Processing Systems. 2015. V. 28. P. 91-99.

22. Ujevic D., Rogale D., Drenovac M., Pezelj D., Hrastinski M., Narancic N.S., Mimica Z., Hrzenjak R. Croatian anthropometric system meeting the European Union // International Journal of Clothing Science and Technology. 2006. V. 18. N 3. P. 200-208. https://doi.org/10.1108/09556220610657961

23. Prasanth G.N.S. Golden Ratio in Human Anatomy: Master's thesis. Chittur: Government College Chittur, 2012.

Авторы

Кугаевских Александр Владимирович — кандидат технических наук, доцент, Университет ИТМО, Санкт-Петербург, 197101, Российская Федерация, sc 56442745400, https://orcid.org/0000-0002-6676-0518, a-kugaevskikh@yandex.ru

Большим Максим Антонович — студент, Университет ИТМО, Санкт-Петербург, 197101, Российская Федерация, https://orcid. о^/0009-0009-3037-9852, javamaxit@gmail.com Саттаров Ильдар Фагимович — директор по развитию, ООО «Студия 42», Тюмень, 625007, Российская Федерация, sattarov@42dev.

Статья поступила в редакцию 16.05.2023 Одобрена после рецензирования 28.06.2023 Принята к печати 15.09.2023

14. Chang A.X., Funkhouser T., Guibas L., Hanrahan P., Huang Q., Li Z., Savarese S., Savva M., Song S., Su H., Xiao J., Yi L., Yu F. ShapeNet: An information-rich 3D model repository. arXiv, 2015, arXiv:1512.03012. https://doi.org/10.48550/arXiv.1512.03012

15. Varol G., Romero J., Martin X., Mahmood N., Black M.J., Laptev I., Schmid C. Learning from synthetic humans. Proc. of the I IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017, pp. 109-117. https://doi.org/10.1109/cvpr.2017.492

16. Lassner C., Romero J., Kiefel M., Bogo F., Black M.J., Gehler P.V. Unite the people: Closing the loop between 3D and 2D human representations. Proc. of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017, pp. 6050-6059. https://doi. org/10.1109/cvpr.2017.500

17. Bogo F., Kanazawa A., Lassner C., Gehler P., Romero J., Black M.J. Keep it SMPL: Automatic estimation of 3D human pose and shape from a single image. Lecture Notes in Computer Science, 2016, vol. 9909, pp. 561-578. https://doi.org/10.1007/978-3-319-46454-1_34

18. Pishchulin L., Insafutdinov E., Tang S., Andres B., Andriluka M., Gehler P., Schiele B. DeepCut: Joint subset partition and labeling for multi person pose estimation. Proc. of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016, pp. 49294937. https://doi.org/10.1109/cvpr.2016.533

19. Thiery J.M., Guy É., Boubekeur T. Sphere-meshes: Shape approximation using spherical quadric error metrics. ACM Transactions on Graphics, 2013, vol. 32, no. 6, pp. 1-12. https://doi. org/10.1145/2508363.2508384

20. Long J., Shelhamer E., Darrell T. Fully convolutional networks for semantic segmentation. Proc. of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2015, pp. 3431-3440. https://doi.org/10.1109/cvpr.2015.7298965

21. Ren S., He K., Girshick R., Sun J. Faster R-CNN: Towards real-time object detection with region proposal networks. Advances in Neural Information Processing Systems, 2015, vol. 28, pp. 91-99.

22. Ujevic D., Rogale D., Drenovac M., Pezelj D., Hrastinski M., Narancic N.S., Mimica Z., Hrzenjak R. Croatian anthropometric system meeting the European Union. International Journal of Clothing Science and Technology, 2006, vol. 18, no. 3, pp. 200-208. https://doi.org/10.1108/09556220610657961

23. Prasanth G.N.S. Golden Ratio in Human Anatomy. Master's thesis. Chittur, Government College Chittur, 2012.

Authors

Alexander V. Kugaevskikh — PhD, Associate Professor, ITMO University, Saint Petersburg, 197101, Russian Federation, sc 56442745400, https://orcid.org/0000-0002-6676-0 518, a-kugaevskikh@yandex.ru

Maksim A. Bolshim — Student, ITMO University, Saint Petersburg, 197101, Russian Federation, https://orcid.org/0009-0009-3037-9852, javamaxit@gmail.com

Ildar F. Sattarov — Development Director, Studio 42 LLC, Tyumen, 625007, Russian Federation, sattarov@42dev.ru

Received 16.05.2023

Approved after reviewing 28.06.2023

Accepted 15.09.2023

Работа доступна по лицензии Creative Commons «Attribution-NonCommercial»

i Надоели баннеры? Вы всегда можете отключить рекламу.