CC BY
48
УДК 616.831-005.1-036.8:616-009.2-073:004.932.2
ОПРЕДЕЛЕНИЕ И АНАЛИЗ ДВИГАТЕЛЬНОМ АКТИВНОСТИ ПОСТИНСУЛЬТНОГО ПАЦИЕНТА ПО ВИДЕОПОТОКУ
Катаев М.Ю.1' 2, Катаева Н.Г.3, Катаев С.Г.4, Абрамов М.О.5, Чистякова В.А.3
1 Томский государственный университет систем управления и радиоэлектроники, г. Томск
2 Юргинский технологический институт, г. Юрга
3 Сибирский государственный медицинский университет, г. Томск
4 Томский государственный педагогический университет, г. Томск
5 Национальный исследовательский Томский государственный университет, г. Томск
РЕЗЮМЕ
В статье представлен подход к оценке двигательной активности человека в постинсультный период, позволяющий врачу получить новую информацию для более обоснованных рекомендаций по восстановительному лечению, чем при традиционных подходах. Рассматривается программно-аппаратный комплекс для определения и анализа двигательной активности постинсультного пациента по видеопотоку. Приводятся описание алгоритмического наполнения комплекса и результаты работы на примере обработки реальных данных видеосъемки. Приведенные алгоритмы и технологии позволяют существенно ускорить анализ обработки видеоданных и повышают качество диагностики постинсультных пациентов.
КЛЮЧЕВЫЕ СЛОВА: двигательная активность человека, анализ походки, алгоритмы обработки изображений, программно-аппаратный комплекс.
Введение
Цифровая обработка и анализ изображений находят все большее применение в различных областях жизнедеятельности человека, науки и техники, в том числе и в медицинских исследованиях. Для многих задач медицины этот анализ сводится к визуальному обнаружению или простейшему измерению по одному или нескольким изображениям искомых объектов. В работах отечественных и зарубежных исследователей получены теоретические и практические решения данной проблемы, предложен целый ряд методов и моделей, которые могут быть использованы для обнаружения, распознавания и измерения объектов, представленных изображениями [1, 2]. Однако, несмотря на имеющиеся достижения в области обработки и анализа изображений, их применение к решению конкретных практических задач требует дополнительных исследований. Для этого необходима разработка алгоритмов обработки изображений, связанных с особенностью решаемой задачи. Одним из вопросов является исследование двигательной активности поИ Катаев Михаил Юрьевич, тел. 8 (3822) 70-15-36, 8-960-975-2785; e-mail: kataev.m@sibmail.com
стинсультного пациента, где подобный анализ в большинстве случаев выполняется с помощью простого наблюдения.
Ежегодно общее количество больных, перенесших инсульт или преходящее нарушение мозгового кровообращения, в мире превышает 50 млн человек. По расчетам специалистов Национальной ассоциации по борьбе с инсультом, заболеваемость инсультом в России в последнее десятилетие увеличилась с 1,5 до 5,1 на 1 тыс. человек населения и составляет 450-500 тыс. больных в год [3, 4]. Около 80% лиц, перенесших это заболевание, становятся инвалидами. Примерно 55% пострадавших не удовлетворены качеством жизни, и лишь менее 15% выживших могут вернуться к своей работе [5]. Одна из причин неудовлетворенности качеством жизни связана с нарушением двигательной активности человека.
В клинической медицине изучаются и используются для диагностики двигательной активности человека различные подходы, опирающиеся на визуальное наблюдение, диагностику, основанную на измерениях, проводимых с помощью специализированных приборов, и обработку изображений [6, 7]. Эти подходы позволяют в целом диагностировать состояние двига-
тельной активности человека, но в разной степени детальности. Первые два подхода являются трудоемкими и длительными по времени процессами, как для врача, так и пациента. Применение методов компьютерной обработки изображений позволяет повысить скорость проведения диагностики двигательной активности, особенно для постинсультных пациентов. Существующие методы обработки изображений опираются чаще всего на маркерные подходы, когда на определенных участках тела человека размещают некоторое количество светоотражающих или светоизлучающих устройств. Программная и техническая реализация таких комплексов обходится дорого, требует специализированных помещений и квалифицированных врачей разных специальностей, что существенно ограничивает их широкое внедрение [8, 9].
Нами разработан программно-аппаратный комплекс измерения, обработки и последующего анализа видеоинформации (безмаркерный подход, нет особых требований к помещению и одежде пациента). Опираясь на полученные результаты анализа и клинический опыт, врач может подобрать соответствующий комплекс реабилитационных мероприятий, способствующий восстановлению у пациента двигательного навыка, наиболее приближенного к норме (до заболевания). Следует также отметить, что разрабатываемая методика применима для пациентов с двигательными нарушениями любой этиологии (последствия травм, нейроинфекции с повреждением нервной системы, рассеянный склероз и др.).
Описание подхода
Цикл ходьбы человека является квазипериодическим случайным процессом. В качестве периода данного процесса рассматривается время последовательного выполнения шага правой и левой ногой. При измерении движения человека на видео происходит фиксация отдельных актов движения на следующие друг за другом кадры видеопоследовательности. Средняя частота видеосъемки типичной цифровой видеотехникой равна 25-30 кадров в секунду, что составляет время 0,04-0,03 с/кадр. Если принять, что средняя скорость человека равна 1 м/с, то за время между кадрами смещение тела человека составит 3-5 см, что является достаточным условием для адекватной фиксации этапов движения (т.е. при средней длине шага 70 см, можно получить 10-20 моментов элемента шага за одну секунду).
Одной из характеристик, на основе которых проводится автоматизированный анализ двигательной активности человека, является центр масс фигуры человека, который по физиологическим параметрам
связан с процессом движения. Наблюдение за перемещением центра масс фигуры человека во времени и пространстве дает возможность контролировать процесс движения во всем его сложном многообразии. Этот аспект был обнаружен и впервые научно обоснован Н.А. Бернштейном [9], что способствовало развитию такого направления науки, как биомеханика.
Разрабатываемый нами программно-аппаратный комплекс состоит из цифровой вебкамеры с типичным разрешением 640 х 480 пикселей и программных блоков: преобразования видеопотока в статические изображения формата BMP, предварительной обработки изображений (фильтрация шума, контрастирование, приведение к идентичным условиям каждого кадра и др.), обработки (выделение фигуры человека и оценка положения центра масс) и анализа [10-13]. Важной особенностью комплекса является его направленность на работу в широкодоступных персональных компьютерах. Это заставляет нас проводить разработку соответствующего математического и программного обеспечения средств моделирования и визуального представления результатов работы комплекса для обеспечения высокой скорости вычислений.
Кратко поясним основные элементы работы с программным комплексом. Существуют тестовые упражнения, которые врач при осмотре предъявляет испытуемому (необходимо выполнить передвижение из одной точки помещения в другую так, чтобы это пространство попадало в область поля зрения вебкаме-ры). В соответствии с видом теста испытуемый расположен относительно вебкамеры на некотором удалении, не попадающем в поле зрения камеры. Для получения качественной съемки и обработки информации необходимо выбрать траекторию движения перпендикулярно оптической оси камеры. Врач фиксирует начало и завершение времени, отведенного для выполнения теста (т.е. времени проведения видеофиксации процесса ходьбы). Во время теста программа с помощью алгоритмов обработки изображений и последующего их анализа переводит поток изображений в значения искомых параметров, которые отображаются в журнале записи (время шага правой и левой ногой, темп, скорость, симметрия шагов и др.).
Формально вся процедура исследования представляет собой решение ряда подзадач:
1) получение набора последовательно идущих кадров изображений движущегося человека;
2) определение траектории движения центра масс;
3) расчет по полученной траектории определенных параметров.
Обсудим кратко основные элементы решения задачи. Имеется набор изображений, записанных в
формате .bmp, на которых отображена последовательность кадров движущегося человека. Каждой точке экрана, пикселу, поставлено в соответствие три цифровых значения (признаки R - red, G - green, B - blue). При решении задачи обработки изображений классическими подходами возникает серьезная трудность при автоматическом выделении на изображении объекта на фоне [1, 2]. Основное затруднение связано с тем, что фигура человека при выделении не получается однородной, на изображении возникает множество артефактов. В описываемом программном комплексе кадр рассматривается как совокупность N-объектов-пикселей, каждый из которых характеризуется тремя признаками (R, G, B). В такой постановке задачи можно классифицировать все точки кадра, выделяя только два класса - объект и фон, и далее находить координаты центра масс объекта для каждого кадра.
Процедуру выделения объекта на изображении предлагается осуществить с использованием алгоритмов REVPAT и BINREL в рамках метода выделения структур [12]. В алгоритме REVPAT для описания свойств искомого объекта вводится понятие структуры, элементами которой могут быть цвет объекта или его форма. Алгоритм BINREL [13] использует для отыскания индивидуальных характеристик объектов бинарные отношения между ними. Анализируя совокупность отношений каждой точки (пиксел с признаками R, G, B) со всеми другими, алгоритм присваивает этой точке определенное значение степени относительного контраста. Оба описанных алгоритма используют представления теории графов, что делает их эффективными по скорости процедурами при обработке видеоинформации.
Нами реализованы оба этих алгоритма в сочетании с известными матричными подходами. Результаты практического использования программы позволили убедиться в работоспособности и скорости работы указанных выше алгоритмов при выделении объектов (фигуры человека) на изображении. По точности оба алгоритма практически совпадают, но скорость алгоритма BINREL оказалась выше, и поэтому далее все расчеты выполнялись с помощью этого алгоритма.
Процедура измерений
Видеосъемка ходьбы проводилась, когда человек входил в поле зрения камеры справа. Частота измерений стандартной вебкамеры составляет 25 кадров в секунду. Расстояние между направлением движения, перпендикулярным оси наблюдения вебкамеры, составляет 3 м. При таком масштабе в поле зрения веб-камеры попадает человек во весь рост, выполняющий три или четыре полных двойных шага (в зависимости
от роста и состояния). Двойной шаговый цикл является единицей измерения многих медицинских и спортивных методик обследования. За одинарный шаг принимается время переноса левой (или правой) ноги с момента постановки пятки на опору и до следующего момента постановки пятки этой же ноги на опору.
На рис. 1 приведены отдельные моменты цикла шага и найденные положения центра масс фигуры человека (алгоритм ВЩИЕЬ). Видно, что изменения положения центра масс четко определяют отдельные акты движения. Этот аспект используется нами для получения характеристик ходьбы человека.
Результаты исследований
На основе статистической обработки данных могут быть получены следующие статистические характеристики ходьбы, общие для правой и левой ноги: средняя длина шага, средняя длительность шага, скорость движения V, асимметрия, эксцесс, средняя скорость движения, скорость по координатам х (V*) и у (V,). Зная скорость съемки (число кадров в секунду), можно рассчитать время движения.
Если длина шага правой ногой составляет Ьг, а левой - Ь/, то длина двойного шага составит Ь(г) = = Ьг(г) + Ь/(г), где г - номер шага. При этом изменение длины двойного шага или вариабельность могут быть вычислены по формуле:
5^шах — ^шт
г =■
L
где Lmax, Lmm — максимальный и минимальный зарегистрированный шаг, а L — среднее значение длины шага.
Средняя длина шага рассчитывается на основании суммирования всех длин шагов испытуемого и последующего деления суммы длин шагов на число шагов. Эту же величину можно рассчитать для каждого шага:
g _ Lrmax — Lrmin и g = Llmax — L,min
Lr
L,
Скорость движения можно определить из значений изменения скорости центра масс по координатам х и у:
у = 7 Ух + V- > Ух = х+1- х > V = л+1- л ■
Кинетическая энергия движения человека может быть представлена уравнением [14]:
E =
mV2 Im2
-Г
где т - масса тела человека; V - модуль скорости; ю -модуль угловой скорости; I - момент инерции отно-
сительно оси, проходящей через центр масс перпендикулярно плоскости движения.
При установившемся движении скорость центра масс остается в среднем постоянной, но незначительно меняется внутри шагового цикла от некоторого минимального Ут-Ш до максимального Утах значения. Это обстоятельство позволяет вычислить неравномерность скорости движения:
V - V ■
^ _ у тах у тт
V
где V - средняя скорость при движении за некоторый отрезок времени.
Обсуждение
Таким образом, достаточно простой алгоритм нахождения динамики центра масс позволяет получить много полезной и важной информации о движении человека (длину шага, длину двойного шага, симметрию шага правой и левой ногой, скорость, ускорение, энергию относительно каждого шага в отдельности и для движения в целом и др.). Изучение этой информации дает возможность лучше понять природу двигательной активности человека в различных состояниях.
На рис. 1-3 показаны отдельные характеристики движения постинсультного пациента в момент времени до и после реабилитации двигательной активности. На рис. 1 приведен график изменения центра масс человека при движении в процессе реабилитации. Видно, что на момент начала реабилитации двигательной активности, с учетом соответствующей методики, шаги человека были связаны с небольшим отрывом ноги от пола (сплошная линия). После реабилитационных мероприятий шаги стали приобретать типичный вид (пунктирная линия). Хорошо заметно, что до реабилитации наблюдается высокая неравномерность движения (наличие быстрых и коротких шагов, пауз). На рис. 2 представлен график скорости движения человека в процессе реабилитации. Из рисунка видно, что в процессе восстановления человек стал двигаться с большей амплитудой, и, значит, увеличилась скорость каждого шага. Увеличение энергии движения хорошо иллюстрируется рис. 3, на котором приведен график энергии движения человека. Можно отметить, что до реабилитации энергия каждого шага менялась незначительно (разброс около 100 единиц), а после реабилитации каждый шаг стал более значительным (разброс около 300 единиц).
Проведена оценка коэффициента ритмичности ходьбы как одного из основных параметров двигательной активности. В норме коэффициент ритмичности равен 0,95-1,0, так как длительность шагов примерно
одинаковая. При наличии гемипареза время шага больной ноги больше времени шага здоровой, поэтому коэффициент ритмичности будет меньше единицы (отношение времени шага здоровой ноги к времени шага больной ноги). По степени приближения коэффициента ритмичности ходьбы к единице можно оценить эффективность реабилитационных мероприятий.
Рис. 1. Выделение изображения предлагаемым алгоритмом. Окружность показывает положение центра масс человека
Рис. 2. Изменение скорости движения в процессе реабилитации пациента
Рис. 3. Изменение энергии движения в процессе реабилитации пациента
В результате проведенного обследования при помощи метода анализа видеоизображений получено, что у пациентов (случаи, см. первый столбец таблицы) в раннем восстановительном периоде на фоне проводимых реабилитационных мероприятий отмечается улучшение коэффициента ритмичности ходьбы. Итоговый показатель коэффициента ритмичности ходьбы колеблется в пределах 0,85-0,95 (см. четвертый столбец таблицы).
Случай Первое Второе Третье
обследование обследование обследование
1 0,43 0,47 0,85
2 0,93 0,91 0,95
3 0,76 0,83 0,89
4 0,70 0,79 0,88
Заключение
В статье рассмотрена методика обработки потока изображений, дающая возможность оценивать параметры двигательной активности (ходьбы) человека на основе анализа динамики центра масс фигуры человека. Этот подход позволяет получить достаточное количество параметров (не менее семи), которые однозначно характеризуют ходьбу человека в различных состояниях. Программно-аппаратный комплекс включает в себя картотеку, сохраняющую историю обследований каждого человека, что позволит в любой момент времени проводить сравнительный анализ по численным характеристикам движения человека. Данный подход может быть легко трансформирован для решения задач восстановительного лечения при травмах двигательного аппарата, контроля (осанка, оценка походки человека), спорта и других приложений.
Исследование выполнено в рамках проекта Российского гуманитарного научного фонда № 14-1670008 a(p).
Литература
1. Методы компьютерной обработки изображений / под ред. В.А. Сойфера. М.: Физматлит, 2001. 784 с.
2. Хорн Б.К. Зрение роботов / под ред. Е.И. Кугушева, Ю.А. Садова. М.: Мир, 1989. 487 с.
3. Гусев Е.И, Скворцова В.И. Ишемия головного мозга. М.: Медицина, 2001. 328 с.
4. Катаева Н.Г., Корнетов H.A., Алифирова В.М., Левина
A.Ю. Постинсультная депрессия. Томск: Изд-во Сиб-ГМУ, 2008. 168 с.
5. Иванова Г.Е., Поляев Б.А., Герасименко М.Ю, Епифанова В.А., Нивина Ю.В., Волченкова О.В., Скворцова
B.И. Восстановление двигательных функций при инсульте // Качество жизни. 2007. № 3. С. 71-77.
6. Белова А.Н. Нейрореабилитация: руководство для врачей. 2-е изд. перераб. и доп. М.: Антидор, 2002. 736 с.
7. Кадыков А.С. Реабилитация после инсульта. М.: Мик-лош, 2003. 176 с.
8. Катаев М.Ю, Хамаганов Я.А. Исследование двигательной активности человека на основе анализа видеоизображений. Аппаратно-программный комплекс // Доклады ТУСУРа. 2010. № 1 (21). Ч. 2. C. 177-182.
9. Бернштейн Н.А. Физиология движений и активность. М.: Наука, 1990. 496 с.
10. Катаев М.Ю, Катаев С.Г. Численный метод и алгоритм определения центра тяжести движущегося человека из анализа потока изображений // Доклады ТУСУРа. 2011. № 2 (24). Ч. 3. C. 195-200.
11. Катаева Н.Г., Катаев М.Ю, Чистякова В.А, Хамаганов Я.А. Автоматизированная оценка степени нарушения ходьбы после инсульта // Мед. техника. 2012. № 1.
C. 40-43.
12. Катаев М.Ю., Катаев С.Г., Катаева Н.Г., Чистякова В.А. Определение и анализ двигательной активности постинсультного пациента из потока изображений // Информатика и системы управления. Мед. информатика. 2012. № 4 (34). С. 43-50.
13. Катаев М.Ю., Катаев С.Г. Численный метод и алгоритм определения центра тяжести движущегося человека из анализа потока изображений // Доклады ТУСУРа. 2011. № 2 (24). Ч. 3. C. 195-200.
14. Дубровский В.И, Федорова В.Н. Биомеханика. М.: Вла-дос-Пресс, 2003. 672 с.
Поступила в редакцию 25.11.2013 г. Утверждена к печати 09.10.2014 г.
Динамика степени пареза в ноге и коэффициента ритмичности ходьбы у пациентов в РВП
Коэффициент ритмичности
Катаев Михаил Юрьевич (И) — д-р техн. наук, профессор, ТУСУР (г. Томск), профессор Юргинского технологического института (г. Юрга).
Катаева Надежда Григорьевна — д-р мед. наук, профессор кафедры неврологии и нейрохирургии СибГМУ (г. Томск).
Катаев Сергей Григорьевич — д-р техн. наук, профессор, ТГПУ (г. Томск).
Абрамов Максим Олегович - аспирант, НИ ТГУ (г. Томск).
Чистякова Вера Анатольевна - аспирант, СибГМУ (г. Томск).
И Катаев Михаил Юрьевич, тел. 8 (3822) 70-15-36, 8-960-975-2785; e-mail: kataev.m@sibmail.com
DEFINITION AND ANALYSIS OF MOTION ACTIVITY AFTER-STROKE PATIENT FROM THE VIDEO STREAM
Katayev M.Yu.1, Katayeva N.G.2, Katayev S.G.3, Abramov M.O.4, Chistyakova V.A.2
1 Tomsk State University of Control Systems and Radioelectronics, Tomsk, Russian Federation
2 Siberian State Medical University, Russian Federation
3 Tomsk State Pedagogical University , Russian Federation
4 National Research Tomsk State University, Tomsk, Russian Federation
ABSTRACT
This article describes an approach to the assessment of motion activity of man in after-stroke period, allowing the doctor to get new information to give a more informed recommendations on rehabilitation treatment than in traditional approaches. Consider description of the hardware-software complex for determination and analysis of motion activity after-stroke patient for the video stream. The article provides a description of the complex, its algorithmic filling and the results of the work on the example of processing of the actual data. The algorithms and technology to significantly accelerate the gait analysis and improve the quality of diagnostics post-stroke patients.
KEY WORDS: motion activity of man, video image, image processing algorithms, hardware-software complex.
Bulletin of Siberian Medicine, 2014, vol. 13, no. 5, pp. 36-41
References
1. Methods of computer image processing. Ed. by V.A. Soifer. Moscow, Fizmatlit Publ., 2001. 784 p. (in Russian).
2. Horn B.K. Vision robots. Ed. by E.I. Kugushev, Y.A. Sa-dov. Moscow, Mir Publ., 1989. 487 p. (in Russian).
3. Gusev E.I., Skvortsova V.I. Cerebral Ischemia. Moscow, Medicine Publ., 2001. 328 p. (in Russian).
4. Kataeva N.G., Kornetov N.A., Alifirova V.M., Levina A.Yu. Post-stroke depression. Tomsk, Publishing house of SSMU Publ., 2008. 168 p. (in Russian).
5. Ivanova Ye., Polyaev B.A., Gerasimenko M.Yu., Yepifanov C.A., Nivina Yu.C., Volchenkov O.C., Skvortsova V.I. Recovery of motor function in stroke. Kachestvo zhizni — Quality of life, 2007, no. 3, pp. 71-77.
6. Belova A.N. Neurorehabilitation: a guide for physicians. Moscow, Antidoron Publ., 2002. 736 p. (in Russian).
7. Kadykov A.S. Rehabilitation after stroke. Moscow, Miklos Publ., 2003. 176 p. (in Russian).
8. Katayev M.Yu., Khamaganov Ya.A. Study of human motor performance-based analysis of video images. Hardwaresoftware complex. Doklady TUSURa - Reports of TUSUR, 2010, no. 1 (21), part 2, pp. 177-182.
9. Bernstein N.A. Physiology of movements and activity. Moscow, Nauka Publ., 1990. 496 p. (in Russian).
10. Katayev M.Yu., Katayev S.G. Numerical method and algorithm for determining the center of gravity of the moving person from the analysis of stream images. Doklady TUSURa — Reports of TUSUR, 2011, no. 2 (24), part 3, pp. 195-200.
11. Kataeva N.G., Kataev M.Yu., Chistyakova, V.A., Khamaganov Ya.A. Automated assessment of gait disturbances after stroke. Meditsinskaya tekhnika — Medical equipment, 2012, no. 1, pp. 40-43.
12. Kataev M.Yu., Kataev S.G., Kataeva N.G., Chistyakova V.A. Determination of the common center and analysis of motor activity post-stroke patient from a stream of images. Informatika i sistemy upravleniya. Meditsinskaya infor-matika — Informatics and control systems. Medical Informatics, 2012, no. 4 (34), pp. 43-50.
13. Katayev M.Yu., Katayev S.G. Numerical method and algorithm for determining the center of gravity of the moving person from the analysis of stream images. Doklady TUSURa — Reports of TUSUR, 2011, no. 2 (24), part 3, pp. 195-200.
14. Dubrovsky V.I., Fedorov V.N. Biomechanics. Moscow, Vlados-Press Publ., 2003. 672 p.
Katayev Mikhail Yu. (H), Tomsk State University of Control Systems and Radioelectronics, Tomsk, Russian Federation.
Katayeva Nadezhda G., Siberian State Medical University, Tomsk, Russian Federation.
Katayev Sergey G., Tomsk State Pedagogical University, Tomsk, Russian Federation.
Abramov Maksim O., National Research Tomsk State University, Tomsk, Russian Federation.
Chistyakova Vera A., Siberian State Medical University, Tomsk, Russian Federation.
H Katayev Mikhail Yu.,Avtor, Ph. +7 (3822) 70-15-36, +7-960-975-2785; kataev.m@sibmail.com
