ПОЛУЧЕНИЕ СКЕЛЕТНОГО ОБРАЗА ЧЕЛОВЕКА В УСЛОВИЯХ ГРУППОВОГО РАСПОЗНАВАНИЯ Текст научной статьи по специальности «Медицинские технологии»

УДК 004.93'12

DOI: 10.24412/2071-6168-2022-9-205-207

ПОЛУЧЕНИЕ СКЕЛЕТНОГО ОБРАЗА ЧЕЛОВЕКА В УСЛОВИЯХ ГРУППОВОГО

РАСПОЗНАВАНИЯ

Н.С. Сергеев, Д.В. Чеховский

Рассмотрен вопрос распределения суставных точек скелетного образа человека при обработке нейросетями с применением подхода снизу-вверх и предложен алгоритм решения задачи с использованием карт вероятности и полей сходства частей.

Ключевые слова: карта вероятности, поля сходства частей, поза человека

В процессе цифровой обработки изображений для составления скелетных образов множества людей наступает этап, когда из множества полученных точек необходимо осуществить попарное сопоставление последовательных связей [1-4]. такая проблема получила название паросочетание графа. Например, для рис. 1 необходимо решить задачу сопоставления пар для графа с одной начальной точкой, являющейся носом, и 5 точек кандидатов, являющихся шеей. Тривиальным походом является использование в качестве метрики кратчайшего расстояния между описанными точками.

Рис. 1. Варианты соединения точек в паре «нос-шея»

Однако, минусом такого подхода является то, что в реальности мы часто можем сталкиваться с различными перекрытиями частей тела или их близким расположением относительно друг друга, что можно увидеть на рис. 2 для того же положения людей, но уже для точек локтя и запястья.

Рис. 2. Варианты соединения точек в паре «запястье-локоть»

Для решения этой проблемы воспользуемся картами вероятностей и полями сходства частей [5, 6]. Карта вероятности является двумерным пространством 5, на котором показана вероятность нахождения части тела в том или ином пикселе. Каждой точке соответствует своя карта вероятности. Если принять за значение } количество искомых точек(частей тела), карта вероятности 5 выглядит следующим образом:

5 = (51,52.....5Д (1)

где Б, е х \} е {1.../}.

Поля сходства частей - это набор двумерных векторов ¿, которые кодируют степень связи между двумя точками, или частями тел применительно к текущим примерам. Если принять за значение С количество связей между точками, тогда:

Известия ТулГУ. Технические науки. 2022. Вып. 9

где Lc е R

w х h х 2

е {1...С}.

L — L2, ...,LC),

(2)

Рассмотрим одну пару точек, показанную на рис. 3. Пусть Хд,к и Хд,к - правильные положения частей тела ]1 и /2 конечности с для человека к на изображении. Если точка р лежит на линии связи между указанными точками, либо ее отклонение от этой линии не превышает порогового, то значение в Ь*ск(р) является единичным вектором, который указывает отД к /2; для всех остальных точек вектор

нулевой.

Рис. 3. Установление связи между точками с использованием единичного вектора

Ъ*с к, в точке изображения р определяется как

(V если р на конечности с, к, 0 где — либо еще.

Здесь V = (хд,к — Хд,к) / || Хд,к — Хд,к ||2 - единичный вектор в направлении лимба. Множество точек на лимбе определяется как точки в пределах порогового расстояния отрезка прямой, то есть те точки р, для которых

0<г • (р - хд,к)< 1сЛ и •(р - хд,к)| < (3)

xj2,fc

- X,

■jl,k

а v.

где ширина конечности а1 — это расстояние в пикселях, длина конечности - 1ск = - вектор, перпендикулярный V.

Во время тестирования измеряется связь между обнаружениями потенциальных деталей, вычисляя линейный интеграл по соответствующему РЛР вдоль линейного сегмента, соединяющего местоположения потенциальных деталей. Другими словами, измеряется совмещение предсказанного РЛР с конечностью-кандидатом, которая будет сформирована путем соединения обнаруженных частей тела. В частности, для двух возможных местоположений деталей йд и выбирается предсказанное поле сродства детали Ьс вдоль линейного сегмента, чтобы измерить уверенность в их ассоциации:

^СЧСрС")^;^^^, (4)

где р(и) интерполирует положение двух частей тела d¡1 и dj2:

p(u) = (1— u)'dj1 +udj2. (5)

На практике аппроксимируется интеграл путем выборки и суммирования равномерно разнесенных значений и.

Таким образом, даже если с помощью расстояния мы неверно идентифицируем пару точек, карты сходства частей дают верный результат соединения точек между собой. Подходит состоит из трех шагов:

1. Разделяем линию, соединяющую две точки пары-кандидата. Находим п точек на ней.

2. Проводим проверку направления векторов полученных отрезков и точек пары.

3. Если направления совпадают с определенной степенью, значит пара считается корректной.

Для оценки качества работы рассмотренного подхода воспользуемся двумя метриками - PCK и

PDJ.

PCK (Percent of Correct Keypoints) — метрика, по которой считают точность моделей на датасе-те MPII. Выбирают базовый элемент — это может быть длина торса, высота головы и некоторый порог определения, который указывается после имени метрики. Например, PCK@0.5 означает, что сустав считается правильно определённым, если он попал в окружность радиусом 0.5 * torso_s¿ze вокруг правильного сустава. Количество правильно определённых суставов делится на количество видимых эталонных суставов, чтобы получить значение метрики. В рамках работы был использован вариант на основе высоты головы.

PDJ (Percentage of Detected Joints) - метрика, которая является аналогом рассмотренной выше, с тем отличием что в качестве базового элемента используется окружность 0.2 * torso_d¿ameter - 20% от расстояния между левым плечом и правым бедром.

Полученные результаты представлены в таблице.

Результаты обнар

ужения на тестовой выборке

Параметры Голова Плечи Локти Запястья Бедра Колени Лодыжки Все точки

Deepcut 78.4 72.5 60.2 51.0 57.2 52.0 45.4 59.5

DeeperCut 87.9 84.0 71.9 63.9 68.8 63.8 58.1 71.2

Newell 91.5 87.2 75.9 65.4 72.2 67.0 62.1 74.5

Наш(РСК) 89.7 80.8 80.0 79.1 52.6 62.1 74.6 74.1

Наш(PDJ) 87.1 73.9 75.7 76.1 39.4 50.0 66.7 67.0

По данным из таблицы видно, что для большинства частей тела точность обнаружения достаточно высока, что позволяет использовать рассмотренный алгоритм для различного рода систем компьютерного зрения.

Список литературы

1. Fang H.-S., Xie S., Tai Y.-W., Lu C. RMPE: Regional multiperson pose estimation // ICCV, 2017. P. 4321 - 4331.

2. Simonyan K., Zisserman A. Very deep convolutional networks for large-scale image recognition // ICLR, 2015. 14 p.

3. Wei S.-E., Ramakrishna V., Kanade T., Sheikh Y. Convolutional pose machines // CVPR, 2016.

9 p.

4. Lin T., Maire M., Belongie S., Bourdev L., Girshick R., Hays J., Perona P., Ramanan D., Zitnick C.L., Dollar P. Microsoft COCO: Common Objects in Context. [Электронный ресурс] URL: https://arxiv.org/pdf/1405.0312.pdf (дата обращения: 10.05.2022).

5. Cao Z., Hidalgo G., Simon T., Sheikh Y. OpenPose: Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields. [Электронный ресурс] URL: https://arxiv.org/pdf/1812.08008.pdf (дата обращения: 10.05.2022).

6. Cao Z., Simon T., Wei S.-E., Sheikh Y. Realtime multi-person 2d pose estimation using part affinity fields // CVPR, 2017. 9 p.

Сергеев Николай Сергеевич, аспирант, murzilka.fm@gmail. com, Россия, Тула, Тульский государственный университет,

Чеховский Дмитрий Валериевич, канд. техн. наук, доцент, dmichekh@gmail.com, Россия, Тула, Тульский государственный университет

OBTAINING THE SKELETAL IMAGE OF A HUMAN UNDER THE CONDITIONS OF GROUP

RECOGNITION

N.S. Sergeev, D.V. Chekhovsky

The issue of the distribution of articular points of a human skeletal image when processed by neural networks using the bottom-up approach is considered, and an algorithm for solving the problem using probability maps and parts similarity fields is proposed.

Key words: probability map, parts similarity fields, human posture.

Sergeev Nikolay Sergeevich, postgraduate, murzilka.fm@gmail. com, Russia, Tula, Tula State University,

Chekhovsky Dmity Valerievich, candidate of technical scinces, docent, dmichekh@gmail. com, Russia, Tula State University

УДК 621.43

DOI: 10.24412/2071-6168-2022-9-207-210

УЛУЧШЕНИЕ СКОРОСТНЫХ ХАРАКТЕРИСТИК ДВИГАТЕЛЯ ВАЗ-21114 ПУТЕМ ИЗГОТОВЛЕНИЯ ВПУСКНОГО КОЛЛЕКТОРА С ИЗМЕНЯЕМОЙ ГЕОМЕТРИЕЙ

Д.А. Скарятин, М.Р. Чеченев, А.В. Егоров, С.В. Олешицкий

На примере двигателя ВАЗ-21114 автомобилей ВАЗ рассмотрим возможность изготовления и установки впускного коллектора с изменяемой геометрией на двигатель, изначально не имевший данной системы.

Ключевые слова: фазы газораспределения, впускной коллектор, крутящий момент.

В данной статье приведен пример изменения конфигурации впускного коллектора автомобиля с целью увеличения скоростных характеристик двигателя.

207