CC BY
40
УДК 007.61, 681.3.01 М.Ю. Катаев, Е.В. Рудова
Методика учета угла направления движения человека
при изучении параметров походки по видеопоследовательности
Распознавание движений человека на основе методов технического зрения привлекло многих исследователей к этой теме ввиду задач, требуюшдх решения в медицине, спорте, охране, что привело к появлению множества программно-аппаратных приложений. Эти приложения варьируются от простого распознавания жестов до понимания сложного поведения человека в системах наблюдения. Это приводит к серьезному развитию методов, связанных с представлением и распознаванием движений человека. Однако при практическом использовании этих приложений возникают неточности извлечения информации, связанные с изменением направления движения человека относительно оси визирования камеры. В статье рассматривается подход, позволяющий строить приложения по распознаванию движений человека с учетом различных направлений его движения относительно камеры.
Ключевые слова: изображение, походка человека, анализ походки, пространственно-временные параметры,
направление движения.
ао1: 10.21293/1818-0442-2019-22-2-109-113
Походка является важной биометрической характеристикой, выделяющей человека на фоне других и позволяющей использовать их для решения задач идентификации, лечения и др. В современных системах видеонаблюдения видео постоянно просматривается оператором (человеком), в медицине врач осматривает непосредственно человека или может просмотреть видео, то же самое происходит в спорте и других приложениях. Очень высокий человеческий фактор принятия решения, высокая вероятность пропуска важных событий, утомляемость и др. С увеличением количества видео и контролируемых событий, операторы не могут контролировать на высоком уровне содержимое видео. Таким образом, существует потребность в интеллектуальных системах наблюдения, которые могут анализировать события в режиме реального времени (или постобработки) и выявлять соответствующую информацию, используя для анализа движение человека. Такие интеллектуальные системы иногда называют «умными системами видения» (smart vision).
Приведем несколько приложений для таких интеллектуальных систем наблюдения за движением человека. Современная тенденция развития жилищного строительства ведет, в рамках концепции умного дома, к привлечению компьютера для наблюдения за состоянием квартиры, в том числе и охраны. Важным направлением является тема изучения поведенческой биометрии, где изучаются и анализируются жесты и позы. Приложение этого направления связано с развитием игровой индустрии, удаленного управления устройствами и др. Развитие робототехники также связано с анализом движений человека, при построении систем управления гума-ноидными роботами, способными имитировать движения человека. Медицина уже давно, со времен Гиппократа, использует системы наблюдения за человеком как методику оценки его состояния. Распознавание движений человека позволяет изучать
функции опорно-двигательного аппарата и отклонения от нормы. Важное направление о применении интеллектуальных систем видения для помощи пожилым и людям с физическими и умственными недостатками. В спорте распознавание движения полезно для анализа движений спортсмена и разработки соответствующих методик для обучения. Возможны применения методов распознавания движений человека для анализа, обучения и понимания танцевальных движений, актерского мастерства и др.
Анализ литературы [1-9] показал пригодность использования цифровых камер для решения задач безопасности, распознавания походки в медицине, спорте и др. Однако надежность таких систем пока еще не очень высокая вне стен, специально подготовленных для измерений помещений, за счет множества факторов, которые необходимо учитывать. Ранее выполненные нами работы [10-12] также показали, что использование видео данных является надежным способом извлечения информации о параметрах движения человека.
Походка человека на изображении
Обычный полный цикл ходьбы человека для одной ноги состоит из начального контакта стопы с землей, положения стойки до стадии двойной поддержки, а затем мах ноги вперед, чтобы сделать движение для следующего шага. Считается, что у большинства людей должна быть симметричная походка, т. е. действия, выполняемые двумя ногами, должны быть практически идентичны и смещены на половину цикла по фазе друг от друга [13-15]. Будем считать, что методика извлечения особенностей походки идущего человека возможна только при перпендикулярном направлении ходьбы к оптической оси камеры. Лучше всего, когда сцена является простой: фон и идущий человек, что существенно упрощает задачу обнаружения на переднем плане идущей фигуры человека. Для получения видео используется простая цифровая камера. Видео должно
получаться с известным фиксированным временным интервалом, таким чтобы информация о походке человека могла быть восстановлена. Так, например, средний шаг человека составляет 0,75 м, и в секунду он делает два шага, тогда при частоте съемки 30 кадров в секунду, на каждый шаг будет сделано 15 кадров, что достаточно, чтобы оценить основные фазы движения. Естественно, более точное определение параметров движения требует более высокой частоты повторения кадров.
Постановка проблемы
Обнаружение человека на изображении - это быстро развивающаяся область компьютерного зрения с множественным применением в различных приложениях. Поиск человека в изображениях является ключевой особенностью для реализации приложений и сложной задачей с точки зрения машинного зрения. Использование цифровой камеры позволяет эффективно обнаружить человека на изображении в процессе движения. Однако есть несколько проблем, которые усложняют процесс обнаружения:
1. Одиночная цифровая камера затрудняет обнаружение удаленных от нее объектов.
2. Движение человека относительно камеры (динамическая сцена) затрудняет анализ движения, поскольку при использовании метода вычитания фона возникает много артефактов на разностном изображении, которые необходимо удалять.
3. Сложный фон усложняют проблему обнаружения человека на изображении.
4. Различное освещение от кадра к кадру также усложняет выделение человека на изображении за счет появления теней, высококонтрастных частей изображения и др.
5. Движение человека под разными углами относительно оси визирования камеры (изменение размера фигуры) [14].
В данной работе нами рассматриваются особенность определения движения человека и учет направления его движения для коррекции параметров походки (длина шага, симметрия и др.). Считаем, что на изображении находится человек, а вся остальная область - фон. При обработке изображений нами считается, что фон недоступен для оценки и может измениться во время измерений. Если фон является статичным, тогда разность кадров с хорошей вероятностью, от кадра к кадру, будет компенсировать его влияние, оставляя на изображении только фигуру человека.
Обнаружение движения человека на изображении
Целью обнаружения походки является определение параметров движения человека независимо от сцены, помех фона и одежды. Анализ движения включает в себя обнаружение и распознавание объектов, отслеживание и понимание поведения. В любом смысле ходьба человека связана с движением сотен мышц и суставов, однако видимая на изображении ситуация определяется циклическим измене-
нием положения фигуры человека в пространстве. Изображения, полученные с цифровой камеры, имеют разного рода шумы, что требует применения предварительной обработки (для уменьшения влияния шумов) [8, 9]. Целью этих методов является подготовка изображений в таком виде, чтобы уменьшить будущие нагрузки на обработку и подойти близко к разработке приложений реального времени. Предварительная обработка также имеет большое значение для последующего извлечения информации, содержащейся на изображении (в нашем случае это фигура человека) [6, 12, 15].
Методы обнаружения движения можно разделить на следующие категории: 1) согласование с шаблоном, 2) оптический поток, 3) дифференцирование по времени и 4) вычитание фона. Методы согласования с шаблоном сложно использовать на практике, так как они требуют специальных условий получения изображений, потому что человеческое тело не является жестким. Методы оптического потока имеют высокую вычислительную сложность в сложных сценах и выделяют все объекты с малейшим движением, что заставляет проводить процедуры выделения именно фигуры человека из множества артефактов. Методы дифференциации часто оставляют «дыры» в зоне движения (фигура человека разрывается), что вынуждает применять методы морфологического анализа для восполнения пропущенных пикселей фигуры человека. Поэтому отметим, что трудно получить точные контуры движущихся объектов на изображении без применения набора тех или иных методов обработки изображений [12, 13]. Методы вычитания фона быстрые и могут обеспечить информацией об области движения, однако оставляют также множество случайно расположенных на изображении артефактов. Учитывая вышеописанные методы, разрабатываемая нами программная система использует два подхода выделения фигуры человека на изображении - это дифференцирование по времени и вычитание фона.
В итоге после удаления фона, очистки от артефактов получаются изображения движения человека, которые приведены на рис. 1.
■шви
Рис. 1. Изображения движения человека, полученные после предварительной обработки
Из рис. 1 видно, что после предварительной обработки изображений остаются артефакты, которые искажают фигуру человека, а также тени в районе ног. Эти артефакты удаляются методом морфологической коррекции изображений с применением алгоритмов закрытия и открытия.
Расчет направления ходьбы
В работе нами применяется геометрический метод для получения углов направления ходьбы. Пред-
полагается, что положение камеры фиксировано, а правая сторона фона является координатой в центре 0. Предположим, объект входит в сцену справа, идет налево под некоторым углом, а затем возвращается к начальной точке. Мы выбираем координаты, как показано на рис. 2, где в - угол направления ходьбы, Н = (00') - расстояние между фоном и камерой; Н1 - расстояние (0'Б), отрезок (ОБ) - расстояние, пройденное человеком, И, И1 - изменение высоты фигуры человека при перемещении из точки О в точку Б, а - угол поля зрения цифровой камеры, отрезок (ОА) - проекция на горизонтальную ось отрезка (ОБ).
№
B A O
hi
H
Рис. 2. Расчет угла направления движения человека относительно оси визирования цифровой камеры
На рис. 2 приведена схема движения человека (ОВ при перпендикулярном направлении) или (ОА под углом в) относительно оси визирования цифровой камеры (ОО) При этом фигура человека изменяется в размерах от И до И1. Зная расстояние от цифровой камеры до начальной точки движения человека (Н) и конечной точки (НД появляется возможность оценить отклонение человека от перпендикулярного направления. Можно получить подобие
размеров Н * И = Н1 * И1, а также (04) * Н1 = (0В) * Н. Из геометрии движения можно вычислить угол отклонения в по формуле
1-h
„ H - H1 h
tanp=-1=h1 *- 1
x (1)
(OA) tan a * h
Таким образом, измеряя размер фигуры человека в начале и в конце движения, а также зная половину угла поля зрения, можно оценить угол направления движения человека.
Так как человек перед камерой ходит от одной стороны сцены до другой (справа налево и потом в обратную сторону), важно фиксировать направление, в котором двигается человек [5]. Для этого нами применяется простой подход (рис. 3).
ABC D E F
Рис. 3. К алгоритму вычисления направления движения человека на изображении
Построение алгоритма вычисления направления движения человека на изображении строится таким образом, что каждый раз вычисляется центр блока, в который помещена фигура человека (см. точки центров Е, D при движении справа налево и C, B при движении слева направо). Тогда, вычисляя разности между первыми положениями точек (AB / AF и AC / AF) < 0,5 и (AE / AF и AD / AF) > 0,5, появляется возможность однозначно отделить направление движения и, кроме того, (AC - AB) > 0 и
(AD - AE) < 0. Конечно же, здесь мы считаем, что
человек не поворачивает на середине пути и проходит весь маршрут полностью.
Направление ходьбы может существенно изменить вид кривой изменений центра тяжести, как это показано на рис. 4, а.
ит с е еж тя
а
нтр
ен я е
К
0 5 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 Номер кадра
10 15 20 25 30 35 40 45 50 55 i Номер кадра б
Рис. 4. Применение метода линейной регрессии к компенсации направления движения человека
h
а
Применение метода линейной регрессии y (х) = a + b * х позволяет найти кривую, относительно которой можно выполнить выравнивание и получить кривую изменения центра тяжести в процессе движения (см. рис. 4, б). Полученная на рис. 4, б кривая соответствует движению человека перпендикулярно направлению визирования цифровой камеры (прямая ОО' на рис. 2). Полученная после выравнивания кривая является основой для поиска параметров походки человека: длина правого и левого шага, двойной шаг, амплитуда шага и др.
Заключение
В работе рассматривается задача оценки угла направления движения человека относительно оси визирования цифровой камеры, направления движения (справа налево или наоборот), а также компенсация направления движения человека в задаче оценки параметров походки. Представлены расчетные формулы, позволяющие легко учитывать изменение угла направления в задачах контроля движения человека. Использование результатов статьи возможно в приложениях, связанных со спортом, медициной, игровой индустрией, охраной и др.
Литература
1. Towards optimized placement of cameras for gait pattern recognition / R. Raman, P.K. Sa, S. Bakshi, B. Majhi // Procedia Technol. - 2012. - Vol. 6. - P. 1019-1025.
2. Yilmaz A. Object tracking: a survey / A. Yilmaz, O. Javed, M. Shah // ACM Comput. Surv. - 2006. - Vol. 3, No. 4. - P. 36-45.
3. Antonini G. Discrete choice models of pedestrian walking behavior / G. Antonini, M. Bierlaire, M. Weber // Transp. Res. B, Methodol. - 2006. - Vol. 40, No. 8.- P. 667-687.
4. Development of night-vision system / T. Tsuji, H. Hattori, M. Watanabe, N. Nagaoka // IEEE Trans. Intell. Transp. Syst. - 2002. - Vol. 3, No. 3. - P. 203-209.
5. Video based estimation of pedestrian walking direction for pedestrian protection system / G. Zhao, M. Takafumi, K. Shoji, M. Kenji // J. Electron. - 2012. - Vol. 29, No. 1-2. -P. 72-81.
6. Accurate estimation of human body orientation from RGB-D sensors / W. Liu, Y. Zhang, S. Tang, J. Tang, R. Hong, J. Li // IEEE Trans. Cybern. - 2013. - Vol. 43, No. 5. -P. 1442-1452.
7. Pierard S. Estimation of human orientation based on silhouettes and machine learning principles / S. Pierard, M. Van Droogenbroeck // Proc. Int. Conf. Pattern Recognit. Appl. Methods (ICPRAM). - 2012. - P. 51-60.
8. Darrell T. Integrated person tracking using stereo, color, and pattern detection / T. Darrell // International Journal of Computer Vision. - 2000. - Vol. 37, No. 2. - P. 175-185.
9. Barron J. Performance of optical flow techniques / J. Barron, D. Fleet, S. Beauchemin // International Journal of Computer Vision. - 1994. - Vol. 12, No. 1. - P. 42-77.
10. Катаев М.Ю. Исследование двигательной активности человека на основе анализа видеоизображений. Аппаратно-программный комплекс / М.Ю. Катаев, Я.А. Ха-маганов // Доклады ТУСУР. - 2010. - № 1 (21), ч. 2. -С. 177-182.
11. Определение и анализ двигательной активности постинсультного пациента из потока изображений / М.Ю. Катаев, С.Г. Катаев, Н.Г. Катаева, В.А. Чистякова //
Информатика и системы управления. Медицинская информатика. - 2012. - № 4(34). - C. 43-50.
12. Абрамов М.О. Влияние методов предобработки на восстановление фигуры движущегося человека из потока изображений / М.О. Абрамов, М.Ю. Катаев // Доклады ТУСУР. - 2014. - № 4(34). - С. 114-119.
13. Cross-view and multi-view gait recognitions based on view transformation model using multi-layer perceptron / W. Kusakunniran, Q. Wu, J. Zhang, H. Li // Pattern Recognition Letters. - 2012. - Vol. 33, No. 7. - P. 882-889.
14. Iwashita Y. Identification of people walking along curved trajectories / Y. Iwashita, K. Ogawara, R. Kurazume // Pattern Recognition Letters. - 2014. - Vol. 48. - P. 60-69.
15. Haritaoglu I. A realtime system for detecting and tracking 61 people / I. Haritaoglu, D. Harwood, L. Davis // Proc IEEE International Conference on Automatic Face and Gesture Recognition. - 2000. - P. 222-227.
Катаев Михаил Юрьевич
Д-р техн. наук, профессор
каф. автоматизированных систем управления (АСУ), науч. рук. Центра космического мониторинга Земли Томского государственного ун-та систем управления и радиоэлектроники (ТУСУР) Ленина пр-т, д. 40, г. Томск, Россия, 634050 Тел.: 8-960-975-27-85, +7 (382-2) 70-15-36 Эл. почта: kataev.m@sibmail.com
Рудова Елизавета Витальевна
Магистрант каф. АСУ ТУСУР Ленина пр-т, д. 40, г. Томск, Россия, 634050 Тел.: 8-952-891-01-22, +7 (382-2) 70-15-36 Эл. почта: issa4ka@mail.ru
Kataev M.Yu., Rudova E.V.
Calculating the angle of human movement direction by studying the parameters of a gait using video sequences
The process of identifying human movements using technical vision methods attracts many researchers to this topic, as it could be applied in medicine, sports, and protection; consequently it initiated the appearance of many software and hardware applications. These applications range from simple gesture recognition to a complex understanding of human behavior in surveillance systems. This leads to a serious development of methods related to the representation and recognition of human movements. However, in the practical use of these applications, there are inaccuracies in the extraction of information associated with a change in the direction of movement of a person relative to the axis of sight of the camera. The article discusses an approach that allows building applications for the recognition of human movements, taking into account the different directions of its movement relative to the camera.
Keywords: image, gait of a person, gait analysis, space-time
parameters, direction of movement.
doi: 10.21293/1818-0442-2019-22-2-109-113
References
1. Raman R., Sa P.K., Bakshi S., Majhi B. Towards optimized placement of cameras for gait pattern recognition. Procedia Technology, 2012, vol. 6, pp. 1019-1025.
2. Yilmaz A., Javed O., Shah M. Object tracking: A survey. ACM Computing Surveys, 2006, vol. 3, no. 4, pp. 36-45.
3. Antonini G., Bierlaire M., Weber M. Discrete choice models of pedestrian walking behavior. Transportation Research Part B Methodological, 2006, vol. 40, no. 8, pp. 667-687.
4. Tsuji T., Hattori H., Watanabe M., Nagaoka N. Development of night-vision system. IEEE Transactions on Intelligent Transportation Systems, 2002, vol. 3, no. 3, pp. 203-209.
5. Zhao G., Takafumi M., Shoji K., Kenji M. Video based estimation of pedestrian walking direction for pedestrian protection system. Journal of Electronics, 2012, vol. 29, no. 1-2, pp. 72-81.
6. Liu W., Zhang Y., Tang S., Tang J., Hong R., Li J. Accurate estimation of human body orientation from RGB-D sensors. IEEE Trans. Cybern, 2013, vol. 43, no. 5, pp. 1442-1452.
7. Pierard S., Van Droogenbroeck M. Estimation of human orientation based on silhouettes and machine learning principles. Proc. Int. Conf. Pattern Recognit. Appl. Methods (ICPRAM), 2012, pp. 51-60.
8. Darrell T. Integrated person tracking using stereo, color, and pattern detection. International Journal of Computer Vision, 2000, vol. 37, no. 2, pp. 175-185.
9. Barron J., Fleet D., Beauchemin S. Performance of optical flow techniques. International Journal of Computer Vision, 1994, no. 12(1), pp. 42-77.
10. Kataev M.Yu., Khamaganov A.Ya. Human movement investigation with help of analysis of the video-images. Hardware-software complex. Proceedings of TUSUR University, 2010, no. 1(21), pp. 177-182. (In Russ.).
11. Kataev M.Yu., Kataev S.G., Kataeva N.G., Chistyakova V.A. Determination of the common center and analysis of motor activity post-stroke patient from a stream of images. Informatika i sistemy upravleniya. Meditsinskaya
informatika. [Informatics and control systems. Medical Informatics], 2012, no. 4(34), pp. 43-50. (In Russ.).
12. Abramov M.O., Kataev M.Y. The effect of preprocessing methods on figure of the moving human retrieving from an images sequence. Proceedings of TUSUR University, 2014, no. 4(34), pp. 114-119. (In Russ.).
13. Kusakunniran, W., Wu Q., Zhang J., Li H. Cross-view and multi-view gait recognitions based on view transformation model using multi-layer perceptron. Pattern Recognition Letters, 2012, vol. 33, no. 7, pp. 882-889.
14. Iwashita Y., Ogawara K., Kurazume R. Identification of people walking along curved trajectories. Pattern Recognition Letters, 2014, vol. 48, pp. 60-69.
15. Haritaoglu I., Harwood D., Davis L. A realtime system for detecting and tracking 61 people. Proc IEEE International Conference on Automatic Face and Gesture Recognition, 2000, pp. 222-227.
Michael Yu. Kataev
Doctor of Engineering Sciences, Department of Automated Control Systems, Tomsk State University of Control Systems and Radioelectronics (TUSUR) 40, Lenin pr., Tomsk, Russia, 634050 Phone: +7-960-975-27-85, +7 (382-2) 70-15-36 Email: kataev.m@sibmail.com
Elizaveta V. Rudova
Undergraduate student,
Department of Automated Control Systems TUSUR 40, Lenin pr., Tomsk, Russia, 634050 Phone.: 8-952-891-01-22, +7 (382-2) 70-15-36 Email: issa4ka@mail.ru
