CC BY
83
УДК 51.76
Технологии визуализации в задачах оценки функционального состояния
Осадчая И.А., Прокопьев Р.О.
Национальный исследовательский Томский политехнический университет
Аннотация: Методы визуализации позволяют исследователю одним взглядом обнаружить особенности, выявить закономерности и аномалии в больших объемах информации. Значение медицинской визуализации в здравоохранении постоянно возрастает, так как она позволяет повысить эффективность медицинской помощи и создать более комфортные условия для пациентов. Новаторские технологии визуализации позволяют раньше и точнее диагностировать заболевания, лечить их более целенаправленно с помощью более щадящих методов, а также тщательно наблюдать за результатами лечения. В данной работе рассматриваются вопросы применения различных методов визуализации экспериментальных медицинских данных (на примере исследования физиологических особенностей пациентов с различными формами бронхиальной астмы). Новизна работы заключается в использовании комплексного подхода к решению задачи визуализации состояния биообъектов. Представлены результаты применения различных технологий визуализации медицинских данных на примере оценки динамики состояния больных бронхиальной астмой в результате аудиовизуальная стимуляция мозга.
Ключевые слова: визуализация, когнитивная графика, пиктографики
Визуализация является одним из мощных средств интерпретации данных, это такой способ представления многомерного распределения, при котором качественно отображены основные закономерности, присущие исходному распределению - его кластерная структура, внутренние зависимости между признаками, топологические особенности, информация о расположении данных в пространстве и т.д. Однако исследователь при анализе данных довольно часто сталкивается с многомерностью их описания. Возникает проблема поиска подходящих способов графического представления многомерного объекта.
При необходимости изображения более трех взаимосвязанных величин традиционные инструменты в области визуализации (графики и диаграммы) плохо справляются со своей задачей. Методы многомерного анализа являются наиболее действенным количественным инструментом исследования процессов, описываемых большим числом характеристик [1].
Компьютерная обработка данных предполагает некоторое математическое преобразование данных с помощью определенных программных средств. Для этого необходимо иметь представление как о математических методах обработки данных, так и о соответствующих программных средствах [2]. Использование компьютера для обработки данных делает сложные методы анализа более доступными и наглядными, а работу исследователя творческой (постановка задач, выбор методов их решения, интерпретация полученных результатов).
Воздействие интерактивной компьютерной графики (ИКГ) привело к возникновению нового направления в проблематике искусственного интеллекта, названного когнитивной компьютерной графикой. Когнитивная графика - это совокупность приемов и методов образного представления условий задачи, которое позволяет либо сразу увидеть решение, либо получить подсказку для его нахождения[1]. Использование когнитивной графики дает возможность пользователю, не анализируя большого количества информации, сделать определенные выводы.
Отдельное направление когнитивная графика образует в медицине. Визуализация текущего состояния объекта и характерных особенностей позволяет обеспечить непрерывный контроль над состоянием групп лиц либо отдельного человека [3, 4].
Среди большого количества методов и подходов визуализации многомерных данных, можно выделить две технологии, которые успешно используются при проведении совместных междисциплинарных исследований сотрудниками Томского политехнического университета и Сибирского медицинского государственного университета:
- отображение функционального состояния биообъектов в виде графических образов - двумерных кривых и спектров [5];
- представление многомерных объектов в виде пиктографиков [3].
Остановимся более подробно на втором подходе. Как известно, информация из окружающей среды, воспринимаемая человеком, вызывает у него определенные эмоции. Эмоциями называют более или менее устойчивые психические состояния, выражающие отношение человека к другим людям, к самому себе, к окружающей жизни. У человека выявлено шесть таких универсальных состояний эмоций: грусть, гнев, радость, страх, отвращение и удивление. Каждая эмоция отображается на лице, поэтому выражения лица являются надежным индикатором эмоционального состояния человека. Брови, глаза и рот являются главными элементами на лице, посредством которых выражаются и опознаются эмоциональные состояния человека[6].
Информация и эмоции служат основой для принятия решения и осуществления действий. Однако кроме объективной информации человек нуждается и в получении субъективной информации, т.е. эмоций. Она может исходить от людей, с которыми человек контактирует, либо синтезированных эмоций, которые вырабатываются индикаторами эмоций в технической системе, а также через «лица Чернова».
Многомерные пиктографики - мощный исследовательский инструмент разведочного анализа данных. Главная идея такого метода основана на способности человека "автоматически" фиксировать сложные связи между многими переменными, если они проявляются в последовательности элементов[7]. Иногда понимание, что некоторые элементы "чем-то похожи" друг на друга, приходит раньше, чем аналитик может объяснить, какие именно переменные обусловливают это сходство, т.е. анализ информации при помощи такого способа отображения основан на способности человека интуитивно находить сходства и различия в чертах объекта (лица).
Лица Чернова - это один из наиболее интересных типов пиктографиков, схема визуального представления многофакторных данных в виде человеческого лица (рис. 1).
Для каждого наблюдения рисуется отдельное "лицо", где относительные значения выбранных переменных представлены как формы и размеры отдельных черт лица (например, длина носа, угол между бровями, ширина лица). Сложность данного метода, заключается в правильном сопоставлении исследуемых переменных с частями лица. При ошибке важные закономерности могут остаться незамеченными [8].
Основная идея представления информации в «лицах Чернова» состоит в кодировании значений различных переменных в характеристиках или чертах человеческого лица [8]. Для каждого наблюдения рисуется отдельное «лицо». На каждом «лице» относительные значения переменных представлены как формы и размеры отдельных черт лица: например, длина и ширина носа, размер глаз, размер зрачка, угол между бровями (рис. 1). Анализ информации таким способом отображения основан на способности человека интуитивно находить сходства и различия в чертах лица.
Высота левой брови
Высота правой брови
Кривизна левой части рта
Кривизна правой части рта
Лицо Чернова
Рис. 1. - Пример пиктографика «лицо Чернова»
В качестве примера рассмотрим задачу визуализации состояния больных бронхиальной астмой. В качестве экспериментальных данных используются клинические показатели, полученные в горбольнице №3 г.Томска [9]. Имеется 4 группы пациентов с различными диагнозами: бронхиальная астма непсихогенная (BANP); бронхиальная астма сомато-психогенная (BASP); бронхиальная астма психогенно индуцированная (BAPI); психогенная одышка (PD). Технология получения экспериментальных данных подробно изложена в [9, 10].
На кафедре прикладной математики Института кибернетики ТПУ с 2012 года ведутся работы по разработке программного обеспечения визуализации состояния биологических объектов на основе пиктографиков «Лица Чернова».
На первом этапе была разработана узкоспециализированная программа Chern, реализующая данный подход для отображения функционального состояния больных бронхиальной астмой [3]. Принцип работы программы Chern заключается в следующем: при сравнении параметров до и после лечения, если параметры после лечения больше, чем до лечения, на рисунке у прямых начинается отклонение вправо или вниз, а окружности вытягиваются влево и вправо (обратный принцип только у глаз и зрачков); если же меньше или равны, то изменения на рисунке противоположные. При плохом прослеживании отклонения можно воспользоваться просмотром координат точек, которые появляются при нажатии на интересующую часть рисунка.
Развитием разработанного программного продукта явилось создание универсальной программы «Chernoff Faces». Данная программа предназначена для формирования графических образов, отображающих
М Инженерный вестник Дона, №4, ч.2 (2014) ivdon.ru/ru/magazine/arcliive/n4p2y2014/2656
состояние любого биообекта, и, в частности, динамику изменения состояния пациентов в процессе лечения.
Исходные данные считываются из файла Excel, в данном файле хранятся значения m клинических показателей для группы из n пациентов (рис.2).
Для визуального отображения состояния биообъекта в программе реализовано 2 подхода:
1. отображение состояния биосистемы с помощью пиктографиков «Лица Чернова» (рис. 3);
2. графическое отображение состояния биосистемы с помощью интегральных показателей в системе координат «степень напряжения -функциональный резерв» (рис. 4).
№
\ | ; darnye.xlsx [Последнее сохранение пользователем] - Microsoft Excel
Главная | Вставка Разметка страницы Формулы Данные Рецензирование Вид Нагрузочный тест Рабочая группа
й;
Вставить у Буфер обмена s
U 10 -Цд* -.w
К]' _-llil- А III mill ill !|ч| чч|
^Перенос текста
§ Объединить и поместить в центре *
i Н I
Условное Форматировать Стили форматирование' как таблицу' ячеек' Стили
д41 Вставить1 Удалить т
_ Сортировка Найти и (i-* и фильтр' выделить'
VI
т
/' ДепрБ
А е С 0 Е F G Н I J К L м N О Р Q R «
1 «НО Код группы1 ВДД1 ЛИИ ФЖЕЛ1 ЗФВ1_1 |ФВ1ЯСЛ МВЛ1 ПОС1 МХ25 1 Cdynl Cslill Ral Ебщ1 WW WjbI Woil Wml
2 ХусаиноваЮВ. ВАР 11.50 93,00 76,10 71.40 76.70 49,00 58,60 61,30 0,13 0,18 3,80 7.20 0,47 0,04 0.31 0,16 0,3!
3 Псарева Н.Е. ВАР 10.30 79,10 77.20 76,60 75.00 55,30 40,10 45.10 0,06 0,10 4,60 1.50 0.59 0,06 0.32 0,16 0,5;
4 Аношина М.В ВАР S.2D 71.30 84.40 17.50 74,10 55.51 65,80 11.21 0,17 0,19 5.51 5.61 1.21 0,02 0,18 0,10 0,31
5 Газетам Е А ВАР 7.30 81,10 (7 70 12.40 76.80 58.71 61,90 51.21 0.13 0,14 5.52 1.51 1.21 0,04 0.28 0.20 0,4
6 Шмидт НА ВАР 11.40 76,40 75.40 76,80 91.22 77,90 71,10 51.60 0,04 0.17 5.21 8,12 0.49 0,04 0.33 0.33 0,3!
7 Соколова Т.А ВАР 10.00 52,50 51.30 53.13 81,30 38,13 31,30 38.11 0,08 0,10 6,46 8,40 0,94 0,09 0.78 0,47 0,9
8 Катаев 0.В ВАР 3.30 57.20 50.80 50,00 85,60 71,00 32,10 38.10 0,15 0,16 4,80 5,30 1.71 0,09 0.79 0,48 од
S Изотова ЕИ ВАР 9,00 60,17 И,64 51,70 76.20 43,06 1,90 44,10 0,05 0,10 5.31 8,44 1,13 0,13 1,03 0,75 1,1
10 Янина Г.Н ВАР 7.50 82,10 96,60 104,80 101,20 108,40 84,80 83.80 0,07 0.12 5.21 1.50 0.47 0,06 0,45 0,31 0,9
11 Шумилина Л.В. ВАР 9.32 101,00 98,70 13,60 82,20 85,90 60,80 51.11 0,09 0,10 5,10 8,50 0,68 0,07 0,66 0.33 1.6
12 Василии АН ВАР 5,80 88,60 81.00 78.20 81,00 68,00 66,40 55,1 эГ 0,06 o.iof 4,41 6,40 1.37 0,06 0.32 0,15 1.6
1! Давыдова Н.М. ВАР 9,03 65.20 74.20 57.50 86,30 39,90 38,90 37.21 0,10 0.15 6.31 9,10 1.75 0,08 0.74 0,26 1,4
14 ТайчиновАВ ВАР 8,99 104,70 83.90 75.10 71,00 104,00 63,80 61.40 0,11 0,11 4.32 1.62 1.51 O.OS 0.43 0.21 0.5'
15 Старкова В.В. ВАР 7.50 73.40 73.00 12.70 81,00 73,20 67.51 68,00 0,08 0,11 4,20 5,90 0,31 0,05 0,19 0,38 0,5
1S ГогинаСА. ВАР 9,40 63,04 61,75 57.30 30.63 51,96 44,10 38.« 0,08 0,11 6.51 8,60 1.15 0,07 0,61 0.25 0,7
17 Катаева А.А. ВАР 10,68 57,80 53.50 58,80 84,S0 36,30 45,80 49,30 0,06 0,13 5,11 1.61 0,66 0,06 0.85 0,49 1,1'
И Козлов С.П. ВАР 6,00 107,10 7130 70.80 66,80 81,90 53.21 43.21 0,16 0,19 5.61 7.73 1.37 0,06 0.32 0,08 0,6
19 ЗарубинаЛ С ВАР 8,50 71,30 105.30 106,90 88,80 102.21 71.61 58.10 0,07 0,06 5,10 7,10 1.17 0,11 0,94 0,50 0,9
20 Ги&адулшна Ф.В. ВАР 6.22 55.20 56,10 55.70 56,10 42,10 24,10 24.71 0,08 0,10 5,80 8,80 0,80 0,13 0.70 0,41 0,9
21 Севастьянов В.А. BAF 5.52 88,40 77.40 75.70 72.70 75,80 43,70 43.90 0,14 0.15 5.45 7.55 1.51 0,16 0.50 0.20 0.5
22 РевичевВ.М. ВАР 8,20 80,00 51.20 53.30 72.00 58,10 44,00 44.10 0,18 0,19 5,10 1.21 1.11 0,07 0.56 0,26 0,7.
23 ДоицоваСВ ВАР 8,30 83,00 13.11 76.10 82,10 78,00 62,30 66,10 0,10 0.12 4,21 1.63 1.11 0,08 0,58 0,31 0,7
24 Саранцева С.И. ВАР 8,60 75.50 75.11 15,00 72.00 73,00 46,20 44.00 0,09 0,11 3.61 5.20 0,78 0,09 0,61 0,41 0,8
25 Афанасьев П.М. ВАР 8,10 100,00 100.10 73.10 79,00 79,30 66,10 61.40 0,11 0,11 4,90 1.82 0,55 0,07 0,49 0,21 O.C
, Данные До ДВС, Данные После ABC ЛистЗ Ь
Среднее:37,56603774 Количество: 108 Сумма: 3982
Рис. 2. - Вид исходных данных для программы «Chernoff Faces»
Рис. 3. - Отображение состояния больного с диагнозом ВАР1 до и после
лечения в виде «лиц Чернова»
Рис. 4. - Интегральная оценка состояния больного BAPI до и после лечения
В настоящее время программа «Chernoff Faces» внедрена в опытную эксплуатацию в горбольнице №3 г.Томска и Сибирском государственном медицинском университете.
Исследование выполнено при финансовой поддержке РФФИ в рамках научного проекта № 14-07-00675
Литература:
1. Зенкин А.А. Когнитивная компьютерная графика / под ред. Д.А. Поспелова. - М.: Наука, 1991. - 187 с.
2. Тарасов В.Б. От многоагентных систем к интеллектуальным организациям: философия, психология, информатика. - М.: Эдиториал УРСС, 2002. - 352 с.
3. Осадчая И.А. Применение когнитивной графики и многомерных методов анализа медицинских данных // V Студенческий научный форум (15 февраля - 31 марта 2013 года). URL: scienceforum.ru/2013/28/6334
4. Шаропин К.А., Берестнева О.Г., Шкатова Г.И. Визуализация результатов экспериментальных исследований // Известия Томского политехнического университета, 2010. - Т. 316. - № 5. - С. 172-176.
5. Шаропин К.А., Берестнева О.Г., Воловоденко В.А., Марухина О.В. Визуализация медицинских данных на базе пакета Novospark // Известия Южного федерального университета. Технические науки, 2010. - Т. 109. -№ 8. - С. 242 - 248.
6. Chernoff H. The Use of Faces to Represent Points in K-Dimensional Space Graphically // Journal of the American Statistical Association 68 (342): 361-368. URL: jstor.org/pss/2284077
7. Flury B., Riedwyl H. Graphical Representation of Multivariate Data by Means of Asymmetrical Faces. URL: jstor.org/stable/2287565
8. Кабулов Б.Т. Метод построения лиц Чернова, ориентированный на интервальные оценки параметров // Техническая кибернетика, 1991. - 250с.
9. Немеров Е.В., Языков К.Г. К вопросу изучения личностных свойств в психофизиологической реактивности больных бронхиальной астмой на аудиовизуальную стимуляцию // Вестник ТГПУ, 2011. - Вып. 6 (108). - С. 134-137.
10. Осадчая И.А., Берестнева О.Г., Немеров Е.В. Методы исследования структуры медицинских данных // Вестник науки Сибири. -2012. - №. 1(2) - C.333-338. URL: sjs.tpu.ru/journal/article/view/245/250
References:
1. Zenkin A.A. Kognitivnaja komp'juternaja grafika / pod red. D.A. Pospelova. - M.: Nauka, 1991. - 187 s.
2. Tarasov V.B. Ot mnogoagentnyh sistem k intellektual'nym organizacijam: filosofija, psihologija, informatika. - M.: Jeditorial URSS, 2002. - 352 s.
3. Osadchaja I.A. Primenenie kognitivnoj grafiki i mnogomernyh metodov analiza medicinskih dannyh // V Studencheskij nauchnyj forum (15 fevralja - 31 marta 2013 goda). URL: scienceforum.ru/2013/28/6334
4. Sharopin K.A., Berestneva O.G., Shkatova G.I. Vizualizacija rezul'tatov jeksperimental'nyh issledovanij // Izvestija Tomskogo politehnicheskogo universiteta, 2010. - T. 316. - № 5. - S. 172-176.
5. Sharopin K.A., Berestneva O.G., Volovodenko V.A., Maruhina O.V. Vizualizacija medicinskih dannyh na baze paketa Novospark // Izvestija Juzhnogo federal'nogo universiteta. Tehnicheskie nauki, 2010. - T. 109. -№ 8. - S. 242 -248.
6. Chernoff H. The Use of Faces to Represent Points in K-Dimensional Space Graphically // Journal of the American Statistical Association 68 (342): 361-368. URL: jstor.org/pss/2284077
7. Flury B., Riedwyl H. Graphical Representation of Multivariate Data by Means of Asymmetrical Faces. URL: jstor.org/stable/2287565
8. Kabulov B.T. Metod postroenija lic Chernova, orientirovannyj na interval'nye ocenki parametrov // Tehnicheskaja kibernetika, 1991. - 250s.
9. Nemerov E.V., Jazykov K.G. K voprosu izuchenija lichnostnyh svojstv v psihofiziologicheskoj reaktivnosti bol'nyh bronhial'noj astmoj na audiovizual'nuju stimuljaciju // Vestnik TGPU, 2011. - Vyp. 6 (108). - S. 134-137.
10. Osadchaja 1.А., Berestneva O.G., Nemerov E.V. Metody issledovanija struktury medicinskih dannyh // Vestnik nauki Sibiri. - 2012. - №. 1(2) - С.333-338. Ц^: sjs.tpu.ru/journal/article/view/245/250
