CC BY
62
УДК 004.4
М.Ю. Катаев, А.П. Коробко, Н.А. Котельникова
Оценка угловых параметров походки человека из скелетной модели, полученной на основе обработки изображений
Рассмотрена скелетная модель фигуры человека, получаемая на основе обработки изображений. В процессе движения человека углы элементов скелетной модели меняются согласно определенным гармоническим законам. Для каждого человека эти законы типичны по форме, но отличаются благодаря различию в фигуре, весе и росте. Приведены результаты полученных изменений углов скелетной модели. Изменения углов скелетной модели возможно использовать при решении различных практических приложений.
Ключевые слова: ходьба, обработка изображений, скелетная модель, угловые характеристики движения. doi: 10.21293/1818-0442-2016-19-1-46-49
Современные программно-технические достижения стали неотъемлемой частью современной медицины, спорта и в целом нашей жизни. Многие элементы нашей жизни связаны с приборами, измерениями, результатами обработки. Одним из направлений медицины является разработка таких устройств, которые бы позволили каждому человеку самостоятельно следить за своим самочувствием на основе данных определенных измерений. Одним из множества направлений развития техники в области медицины является использование технологий обработки и анализа изображений. Важным аспектом, который характеризует человека и его состояние здоровья, являются его движение и походка как одна из его составляющих.
Изучением движений человека начали заниматься давно, начиная от работ Аристотеля [1], который связал двигательную активность с возрастными и психологическими факторами. Долгое время изучение движения человека было лишь на качественном уровне и только работы российского ученого Н.А. Бернштейна [2] позволили перейти к количественным характеристикам. Именно этот ученый первым стал активно использовать изображения для оценки параметров движения человека.
Существующие в настоящее время технические условия получения изображений при помощи математических подходов технического зрения позволяют определить и исследовать изменения движений человека, различных по скорости и направлению. Целью данной работы является разработка программно алгоритмического решения, позволяющего из обработки полученной последовательности изображений движения человека получить параметры, которые ее характеризуют. Данная работа является логическим продолжением цикла работ [3, 4] по определению параметров походки человека и отличается расширением возможностей методики за счет применения скелетной модели.
Обзор методик изучения походки
Ходьба человека - это двигательный процесс, связанный с высокоскоростной и удивительно точной координацией большого количества скелетных мышц туловища и конечностей. Процесс ходьбы
состоит из циклической опоры на правую и левую ногу. Отмечается высокая повторяемость всех этапов движения при различных скоростных режимах.
На рис. 1 представлены отдельные элементы походки.
Левая нога
Существующие методики оценки параметров походки связаны с измерением разнообразных данных различных датчиков. Существует достаточно много приборно-алгоритмических подходов, кото -рые реализованы в комплексах: БИОМЕХАНИКА [http ://www. mbn. ru/ru/mbn-biomehanika], LOKOMAT [http://www.niito.ru/locomat.php], телевизионная система CLIMA [http://www.stt-systems.com], оптоэлек-трический комплекс SELSPOT [5], специализированная фотокамера VICON [http://3dgaitanalysis.com], комплекс различного оборудования, в том числе и фотокамеры ARIEL [http://www.arielnet.com] и др. Несмотря на разнообразие исследуемых параметров походки и качество измерений, эти комплексы имеют недостатки: 1) комплексы относятся более к категории лабораторных и малораспространенных; 2) используемая приборная база является сложной и дорогостоящей; 3) обслуживание комплексов требует содержание значительного количества разного класса, специально обученного технического персонала; 4) комплекс должен располагаться в специально подготовленных для проведения экспериментов помещениях; 5) на теле человека должны располагаться специальные пассивные или активные датчики (проводные или беспроводные), что стесняет движение и делает его пространственно ограниченным. Указанные недостатки не снижают важности получаемых на них результатов, однако показывают на ограничение в их широком использовании среди медицинских клиник и поликлиник.
Применение новых приборных, алгоритмических и программных подходов даетт новые варианты решения данной задачи и новые диагностические возможности при определении параметров походки человека [6]. Необходим, с одной стороны, простой и дешевый, а с другой стороны, информативный метод изучения походки человека, позволяющий получить объективную оценку состояния двигательной активности человека при решении задач медицины, спорта и контроля. На наш взгляд, использование методик обработки изображений позволяет с хорошей точностью выделять фигуру человека и на ее основе строить скелетную модель. Параметры перемещения отдельных элементов скелетной модели позволяют построить модель движения и однозначно связать ее с конкретным человеком.
Постановка задачи
Для изучения походки нами разработан программно-аппаратный комплекс, позволяющий на основе обработки последовательности изображений получить временные изменения параметров скелетной модели [4] (рис. 2). В качестве входных данных имеем видеозапись движения человека в рамках поля зрения стационарно расположенной видеокамеры. При удалении траектории движения от камеры на три метра в поле зрения камеры попадает три-четыре полных шага (правой и левой ногой) человека. При среднем времени шага 0,7 с, общее время получается около 4 с, что соответствует 100-120 кадрам. Извлекая из этой последовательности отдельные кадры и обрабатывая их с помощью нашей программы, появляется возможность получить важные характеристики движения (скорость, углы а, Ь, с (см. рис. 2), длина шага и т.д.).
этих характеристик позволяет подойти к решению задачи построения математической модели движения человека [7-9], в основе которой лежит изменение углов скелетной модели человека от кадра к кадру. Такая постановка задачи является решаемой, однако весьма сложной и трудоемкой (предполагается для решения нами в последующих работах).
Полученные результаты
При ходьбе человек меняет положение корпуса и ног, фактически решая задачу устойчивости при наклоне вперед. При движении реализуются многочисленные фазы движения, на каждом шаге, совершаемом правой и левой ногой, различают период опоры и период маха, наклон корпуса, наклон голени вперед, перекат стопы через пятку, движение бедра и др. Временные кривые изменения углов скелетной модели при реализации различных фаз позволяют оценить динамическую характеристику ходьбы. Эти элементы являются для каждого человека уникальными и отличают его от других. Наиболее характерной особенностью всех видов ходьбы является постоянное опорное положение одной ноги (период одиночной опоры) или двух ног (период двойной опоры). Центр тяжести тела (ЦТТ) человека при ходьбе наряду с поступательным движением вперед совершает также движения в стороны относительно направления перемещения и в вертикальном направлении. Кривая перемещения ЦТТ является синусоподобной функцией с амплитудой от 4 до 6 см. В зависимости от фазы движения части скелетной модели меняют свое положение и соответственно углы мы можем фиксировать (рис. 3).
Угол, град
280 260 240220200180160 140120100
Рис. 2. Параметры скелетной модели
I ■ I ■ I ■ I 1 I ■ I ■ I ■ I ■ I ■ I ■ I 1 I 1 I ■ I ■ I ■ I ■ I
О 10 20 30 40 50 60 70 80 90 100 110 120 130 140 150 160 170
Отсчет времени Рис. 3. Изменение углов скелетной модели в различные отсчеты времени при движении человека
На рис. 2 приведена упрощенная скелетная модель, содержащая тело - верхний, бедро - средний и голень - нижний отрезок. Движения левой и правой ноги легко могут быть описаны с помощью предлагаемой модели. Восстанавливаемые из обработки характеристики важны при наблюдении динамики восстановления двигательных функций у людей, перенесших тяжелые болезни, или у спортсменов для получения наилучших результатов и др. Знание
На рис. 3 приведены изменения углов, показанных на рис. 2: а - тело, Ь - бедро и с - голень, для одного полного шага (движение правой и левой ногой). Изменение углов при полном шаге отчетливо видно по изменению величин углов. Скелетная модель, представленная на рис. 2, позволяет вычислять изменения и других точек фигуры человека, например колена (рассчитываются по углам Ь и с). Изучение временного поведения изменения величины уг-
лов является предметом многих приложений практики (медицины, спорта и др.).
Практическое использование результатов измерений изменений углов скелетной модели связано с изучением их взаимного поведения, так как движения бедра и голени взаимосвязаны. Взаимосвязь углов скелетной модели приведена на рис. 4 (а, б, в).
275-
270-
265-
£
о к 260-
о
1-4
255 -
250-
245-
240-
235 -
I ■ I ■ I ■ I ■ I ■ I ■ I ■ I ■ I ■ I ■ I ■ I ■ I ■ I ■ I ■ I
263 264 265 266 267 268 269 270 271 272 273 274 275 276 277 278
Тело
175 -170 -165160155150-о 145-| 140° 135130125120115110105 -10095-
170 175 180 185 190 195 200 205 Бедро
275 270265
Й 260-| (и
К о
I-H 255250245240235
170
175
180
185 190 195 Бедро
200
205
Рис. 4. Взаимосвязь углов скелетной модели в процессе движения человека
На рис. 4, а показана взаимосвязь углов движения тела и голени, на б - бедра и колена, а на в -бедра и колена. Анализируя представленные зависимости, можно отметить явную повторяемость отдельных актов движения для каждой ноги. Эти зависимости, представленные в форме, показанной на рис. 4, могут быть шаблонами двигательной активности человека в процессе ходьбы по сравнению с графической формой, показанной на рис. 3. Зависимости, показанные на рис. 4, уже не зависят от факторов, связанных с расстоянием человека от камеры, а показывают влияние скорости ходьбы, особенностей конечностей и тела. К особенностям можно отнести заболевания, переломы, перенос тяжестей и др. Изучение этих аспектов в математическом плане их описания будет проведено в следующих работах.
Заключение
В работе приведено описание подхода к оценке изменений углов скелетной модели, при движении человека. Скелетная модель получается на этапе обработки последовательности изображений движения человека. Представлены форма скелетной модели и изменения углов во времени, на основе которых строятся взаимозависимые кривые, которые могут выступать в виде шаблонов. Показаны область применения этих шаблонов и направления их использования.
Литература
1. Белецкий В.В. Двуногая ходьба: модельные задачи динамики и управления. - М.: Наука, 1984. - 288 с.
2. Бернштейн Н.А. Избранные труды по биомеханике и кибернетике. - М.: СпортАкадемПресс, 2001. - 296 с.
3. Катаев М.Ю. Численный метод и алгоритм определения центра тяжести движущегося человека из анализа потока изображений / М.Ю. Катаев, С.Г. Катаев // Доклады ТУСУРа. - 2011. - Т. 2 (24), ч. 3. - С. 201-205.
4. Катаев М.Ю. Построение скелетной модели фигуры человека по потоку изображений / М.Ю. Катаев,
A.П. Коробко // Доклады ТУСУРа. - 2011. - Т. 2 (24), ч. 3. - С. 201-205.
5. Woltring H.J. Optoelectric (Selspot) gait measurement in two- and three-dimensional space / H.J. Woltring, E.B. Marsolais // Bull. Prosth Res. - 1980. - № 17. -P. 46-52.
6. Определение и анализ двигательной активности постинсультного пациента из потока изображений / М.Ю. Катаев, С.Г. Катаев, Н.Г. Катаева, В.А. Чистякова // Информатика и системы управления. Медицинская информатика. - 2012. - № 4(34). - C. 43-50
7. Дубровский В.И. Биомеханика / В.И. Дубровский,
B.Н. Федорова. - М.: Владос-Пресс, 2003. - 672 с.
8. Зациорский В.М. Биомеханика ходьбы / В.М. За-циорский, М.А. Каймин. - М.: ГЦОЛИФК, 1978. - 65 с.
9. Чигарев А.В. Биомеханика / А.В. Чигарев, Г.И. Михасев, А.В. Борисов. - Минск: Изд-во Гревцова, 2010. - 284 с.
а
б
в
Катаев Михаил Юрьевич
Д-р техн. наук, профессор каф. автоматизированных
систем управления (АСУ) ТУСУРа,
профессор Юргинского технологического института
(филиала) Национального исследовательского
Томского политехнического университета
Тел.: 8-960-975-27-85, (382-2) 70-15-36
Эл. почта: kataev.m@sibmail.com
Коробко Андрей Петрович
Сотрудник ООО «СТС», г. Томск
Тел.: 8-903-915-51-72
Эл. почта: Andrew.p.korobko@gmail.com
Котельникова Наталья Александровна
Магистрант каф. АСУ Тел.: (382-2) 70-15-36 Эл. почта: natashaka91@gmail.com
Kataev M.Yu., Korobko A.P., Kotelnikova N.A. Estimation of the gait angle parameters from human skeletal model derived from image processing
The article describes skeletal model of a human figure obtained on the basis of image processing. In the process of human movement, the corners of the skeletal elements of the model are changing according to harmonic laws. For each person these laws are typical in form, but differ due to the differences in shape, weight and height. The obtained results make evident the changes of the angles of a skeletal model. Those angle changes could be used for various practical applications.
Keywords: walk, image processing, skeletal model, angular characteristics of movement.
