Моделирование и визуализация сложных анатомических структур в системе виртуальной реальности для создания обучающих медицинских тренажеров на базе АПК «Виртуальный хирург» Текст научной статьи по специальности «Компьютерные и информационные науки»

УДК 519.711

МОДЕЛИРОВАНИЕ И ВИЗУАЛИЗАЦИЯ СЛОЖНЫХ АНАТОМИЧЕСКИХ СТРУКТУР В СИСТЕМЕ ВИРТУАЛЬНОЙ РЕАЛЬНОСТИ ДЛЯ СОЗДАНИЯ ОБУЧАЮЩИХ МЕДИЦИНСКИХ ТРЕНАЖЕРОВ НА БАЗЕ АПК «ВИРТУАЛЬНЫЙ ХИРУРГ»

© 2013 А.В. Колсанов, А.С. Воронин, Б.И. Яремин, С.С. Чаплыгин, А.К. Назарян

Самарский государственный медицинский университет

Поступила в редакцию 25.03.2013

В статье обсуждается проблема моделирования поведения сложных динамических объектов в искусственно созданной виртуальной среде, свободной от ограничений физического пространства и времени. Стратегии реализации компьютерных моделей в этих условиях предусматривают возможность мгновенной реакции на изменения, генерируемые в виртуальном мире Научная визуализация многомерных данных (компьютерная графика, обработка изображений и высокопроизводительные вычисления) обеспечивает возможность исследования данных с использованием трехмерного интерактивного представления. Большое значение для эффективной иллюзии нахождения в виртуальном пространстве имеет звуковое сопровождение, существенно расширяющее чувство присутствия и восприятия. Ключевые слова: 3D-модель, математическое моделирование, виртуальная реальность.

ВВЕДЕНИЕ

Моделирование и интерпретация моделей -основное средство и инструмент анализа сложных процессов и явлений в интеллектуальных системах обучения и принятия решений. Отображение динамики ситуации с учетом данных измерений и моделирования в графическом режиме осуществляется на основе интерактивных программных средств. Эти средства реализуют диалоговое взаимодействие «оператор - компьютер». Динамическая модель работает совместно с графическим интерфейсом. В результате обеспечивается наглядное отображение процесса развития ситуации, индикация внешних воздействий и оперативное изменение управляющих сигналов. Структура интерактивной системы представляет собой модель интерфейса поддержки принятия решений. В сложных ситуациях при анализе динамических сцен диалог строится на основе методов имитационного моделирова-

Колсанов Александр Владимирович, доктор медицинских наук, профессор, заведующий кафедрой оперативной хирургии и клинической анатомии с курсом инновационных технологий. E-mail: avkolsanov@mail.ru Воронин Александр Сергеевич, ассистент кафедры оперативной хирургии и клинической анатомии с курсом инновационных технологий. E-mail: alek.voronin86@yandex.ru Яремин Борис Иванович, кандидат медицинских наук, старший преподаватель кафедры оперативной хирургии и клинической анатомии с курсом инновационных технологий. E-mail: boris.yaremin@gmail.com Чаплыгин Сергей Сергеевич, ассистент кафедры оперативной хирургии и клинической анатомии с курсом инновационных технологий. E-mail: chaplyginss@mail.ru Назарян Айкуш Карлосовна, старший лаборант кафедры оперативной хирургии и клинической анатомии с курсом инновационных технологий. E-mail: aikush77@mail.ru

ния и данных физического эксперимента.

Одним из важнейших направлений развития современных компьютерных технологий является использование виртуальной реальности. Системы виртуальной реальности (ВР-системы) представляют собой «человеко-компьютерный» интерфейс нового типа, погружающий пользователя в трехмерный мир модели для непосредственного сенсорного восприятия этого мира с прямым манипулированием объектами [1-12]. При этом в реальном времени воссоздается специализированная технология отображения трехмерного мира, включающего в себя основные сенсорно-перцептивные формы отражения человека.

Управление сложными динамическими объектами (ДО) на отдельных режимах (особенно в экстремальных ситуациях) требует использования предельных возможностей оператора. Наиболее эффективным средствомобучения операторов являются интеллектуальные тренажеры, разработанные на базе средств виртуальной реальности [2, 6, 9]. Они получили широкое распространение в различных научно-технических приложениях. Наивысший уровень реализма и технической сложности достигается в компьютерных тренажерах, использующих средства виртуальной реальности при имитации сложных динамических сцен. В искусственно созданных условиях оператор видит, слышит и воспринимает физические воздействия (кровотечение, спазмы тканей) точно так же, как и в реальной ситуации.

ЦЕЛЬ ИССЛЕДОВАНИЯ

Оцениваяположительныйопыт[1],разрабо-тавшихобучающий комплекс для отработки прак-

тических хирургических манипуляции, опреде-литьпутиреализацииданногопродукта вуслови-яхмедицинскойвиртуализации.

МАТЕРИАЛЫ И МЕТОДЫ ИССЛЕДОВАНИЯ

Описанная ниже ВР-система предназначена для имитации экстремальных ситуаций при функционировании сложного динамического объекта (ДО) в различных условиях эксплуатации. ВР-система является интерфейсом не только к зрительной и языковой, но и к другим сенсорно-перцептивным системам. Кроме простой передачи зрительной информации в виде динамических сцен, система одновременно воздействует на органы чувств и обеспечивает прямой непосредственный контакт оператора с внешней средой. Использование ВР-систем открывает новые возможности изучения поведения ДОв сложных условиях при непрерывном изменении динамики объекта и внешней среды.

Изменяя конфигурацию ДО и конструктивные решения, можно влиять на эти процессы, улучшая качества ДО. Это особенно важно при создании принципиально новых видов операций и методик лечения.

Рабочее место обучаемого представляет собой дисплей, с помощью которого оператор (студент, ординатор, «молодой» врач») осуществляет ввод реакции на предъявляемую информацию. Требования к формированию интеллектуальной программной среды тренажера определяются особенностями проблемной области и потребностями пользователей. Суть их сводится к следующему. Основу системы составляет база знаний, в которой содержится формализованное описание проблемной области и ее смысловые модели. Знания представлены набором элементарных операций и специальных алгоритмов их обработки. Система общения с ЭВМ обеспечивает взаимодействие пользователя с основными функциональными подсистемами на ограниченном естественном языке. Ядром ВР-системы является человеко-машинный интерфейс. Он позволяет взаимодействовать с модельной средой в прямом контакте. Соединение в единое целое образной, символьной, слуховой и другой информации, отражающей сущность реального мира, приводит к идее создания единого глубинного стандартного кода, позволяющего единообразно представлять и обрабатывать разнообразную информацию. В результате создается качественно новая информационная технология, обеспечивающая моделирование процессов взаимодействия и решения сложных задач динамики не только логическим путем (левополушарная парадигма), но и на психологическом уровне, отражающем вза-

имодействие левополушарных и правополушар-ных процессов головного мозга [6].

РЕЗУЛЬТАТЫ И ИХ ОБСУЖДЕНИЕ

Человеко-машинный интерфейс на основе системы виртуальной реальности представлен на рис. 1. Важным средством имитации внешних возмущений и динамики взаимодействия является генератор виртуального мира. Он обеспечивает создание и представление динамических ситуации. Взаимодействие обучаемого с виртуальным миром осуществляется с помощью различных интерфейсов (распознавание речи, управление дисплеем, вмонтированным в головной шлем, управление каналами информации и др.).

Основными блоками ВР-системы являются блок взаимодействия с опера-тором и средой, блоки управления и моделирования. Функционирование ВР-системы осуществляется на основе интегрированной базы знаний, обеспечивающей взаимодействие оператора с компьютерной системой в режиме реального времени. Блок взаимодействия со средой обеспечивает изменение состояний среды, а блок моделирования формирует представление реальных динамических ситуаций (моделирование внешней среды и поведения ДО). Другие компоненты ВР-системы содержат описание среды, определение времени и пространства, а также модели сенсорно-эффек-торных систем участника и системы.

Существующие в настоящее время программные платформы предостав-ляют различные средства реализации интеллектуального поведения. Среди них следует выделить пакеты CyberspaceDeveloper-Kit[ 11 ] и WorldToolKit[12], позволяющие осуществлять прямое программирование на VisualС++ и реализовать поведение любого уровня сложности. Вместе с тем, эти средства отличаются большими трудозатратами. Более предпочтительным является пакет WorldUpфирмы Sence8 [1,11], имеющий развитые средства визуального программирования. Это позволяет достаточно быстро конструировать виртуальные миры, однако возможности определения поведения динамических объектов в этих мирах являются ограниченными. Среди

Рис. 1. Человеко-машинный интерфейс системы виртуальной реальности

открытых систем трехмерной компьютерной графики, обработки изображений и визуализации следует выделить ВР-систему, описанную в работе [12]. Система содержит более 700 классов для визуализации и является наиболее мощной библиотекой для практических приложений.

В отличие от имеющихся тренажеров, широко используемых в практике подготовки хирургов по отработке методов проведения всех этапов операции, интеллектуальный тренажер основан на имитационном моделировании сложных динамических процессов взаимодействия хирурга - пациента с внешней средой в различных условиях, в том числе и в экстремальных ситуациях. Другое важное отличие состоит в использовании методов искусственного интеллекта, позволяющих организовать дружественный интерфейс «человек - ЭВМ» и повысить эффективность процесса обучения.

Имитационная модель, обеспечивающая функционирование интеллектуального тренажера, в общем виде представлена как локальное векторное преобразование [7]:

7.= Г т I* (/,) 7 (^ )* О (1)

где Fm- локальный оператор; У1 - моделируемое состояние объекта; У(И) - состояние объекта в предшествующий момент времени; Х(у - состояние внешней среды; W(t) - внутреннее состояние объекта; ^ - рассматриваемый момент времени.

Исходные данные о состоянии внешней среды и поведении модели представляются множествами:

Х„1=(х,.-.х*), YJ=(r,J, ■, 7 Д

( = 1,..., N , ^ = 1,...., к ). (2)

связанными оператором Гт:{71= Гт ({X1). Этот

оператор имеет интегральный характер и отображает множество ситуаций {X} на множество поведений{У}.

Разработка имитационной модели сводится к формированию собственно модели и множеств исходных данных о состоянии объекта и внешней среды. Динамика внешней среды в интеллектуальном тренажере моделируется с использованием современных данных о динамике реального волнения [11]. Этот подход основан на представлении трехмерного случайного волнового поля £(х,у^) в виде дифференциального уравнения в частных производных со случайным входным сигналом типа пространственно-временного поля белого шума е(х,у^):

N N, N, S S S ajk j к J-"к-" dx dy dt

Ml M, M, Q["J~k)e

l'jk ~ J ~ к S S S bjk ^ j k,

1-0 j-" k-" dx qy dt

(3)

него, a..,, b.., ijk ijk

Здесь {№,№,N3}, {М|,М2,М3} - покоординатные порядки авторегрессии и скользящего сред-параметры фильтра. Стационарное решение дифференциальных уравнений (3) определяет класс случайных полей с обобщенной дробно-рациональной спектральной плотностью:

S c(v,v,m)-

M1 M 2 M 3

S S S в

1-" J-" к-"

Ijk1

N i N, N

SSS A

1-" J-" к-"

Ijk1

-• (4)

Алгоритм моделирования стационарного пространственно-временного случайного поля представляется последовательностью операций, изображенных на рис. 2.

Рис. 2. Последовательность операций при моделировании динамики внешней среды

2

2

Рис. 3. Фрагменты трехмерной визуализации внутренней поверхности полого органа

Разработанные на основе [11] математические модели позволяют также осуществлять моделирование векторных стационарных процессов и полей, а также воспроизведение динамики нестационарных волновых полей (рис. 3).

Динамика рабочей части инструмента на волнении описывается системой нелинейных диф-фе-ренциальных уравнений [3]:

Ъ \, г, Хй, К, X т, гй, к, Гы ] = 0, (5)

где F. - нелинейные функции; X. - линейные и угловые перемещения; Х;1,.. .,Х - параметры, характеризующие судно как динамическую систему (инерционные, демпфирующие и восстанавливающие компоненты); Уа, ... ,У1т- возмущающие силы и моменты; 1=1, 2, ... , 6.

Формулировка цели моделирования и области, ограничивающей поведение модели, позволяет определить условие адекватности [3]. Разработанная с учетом этих требований имитационная модель удовлетворяет важному свойству -возможности экстраполяции, т.е. способности прогнозирования поведения инструмента в по-

лости в рассматриваемой ситуации.

Наиболее сложной функцией в системе (5) является восстанавливающая компонента, входящая в дифференциальное уравнение вращения инструмента относительно продольной центральной оси. Восстанавливающая компонента характеризуется существенной нелинейностью, сложностью и многозначностью. Ее математическое описание представляется в виде полинома, зависящего от внешних условий, направления движения инструмента, скорости его движения и ориентации относительно продольной оси тела:

М()=Р{^А1ХРПЦВЦТ,8(,РАФЛ (6)

Здесь F(^) - нелинейная функция, учитывающая влияние параметров волнения (длины X и высоты hw инструмента), относительной скорости (числа Фруда Fr) и элементов формы рабочей части эндоскопического инструмента (соотношения главных размерений L/B, В/Т, Н/Т и коэффициенты полноты S, (, ß) при различных значениях угла крена Q, курсового угла р и фазы £, характеризующей положение инст-

румента относительно органа.

Непрерывно изменяясь во времени и пространстве, функция в значительной степени определяет результат интегрирования системы (5) при изучении физических картин взаимодействия эндоскопического инструмента с рядом расположенными органами.

Дальнейшее развитие при формализации знаний интеллектуального тренажера получила концепция оптимального инструктора при обучении операторов, сформулированная в работе [5]. Концепция рассматривает параллельное решение задачи, предлагаемой человеку-оператору, с помощью автоматической системы. Система обрабатывает текущую информацию от функционирующих в системе имитационных моделей. Сопоставление этих двух решений позволяет использовать полученный результат для привития оператору навыков и умений профессиональной деятельности.

Важную роль при интерпретации сложных динамических сцен играет когнитивная компьютерная графика [2]. Эта графика связана с разработкой представления символьных и графических объектов, которыми оперирует геометрическое мышление. Особенно актуальна когнитивная графика при интерпретации экстремальных ситуаций в режиме реального времени. Когнитивные образы в ИС обучения и принятия решений используются в задаче о преобразовании информации при обучении нейронных сетей, при анализе динамических ситуаций в задачах взаимодействия ДО с внешней средой и для повышения эффективности управления ДО в сложной гидрометеорологической обстановке.

Когнитивная парадигма способствует эффективному диалогу «оператор - компьютер». Моделирование динамики взаимодействия в рамках когнитивной парадигмы обеспечивает:

- выбор рациональной модели нейросете-вого алгоритма;

- формирование библиотеки когнитивных образов и команд управления;

- обучение ИНС на тестовых примерах из библиотеки когнитивных образов и команд управления.

Таким образом, использование когнитивной парадигмы позволяет повысить качество управления и принятия решений за счет феномена когнитивного образа, обладающего высокой динамичностью и информа-тивностью.

С помощью разработанной системы ведутся работы по созданию, не имеющего аналогов в мире, аппаратно-программного комплекса «Виртуальный хирург» для 3Э моделирования

операционного процесса и учебно-методических модулей для системного обучения врача-хирурга методикам открытой хирургии с небольшим размером операционного поля, методикам эндо-васкулярной хирургии и эндоскопической хирургии на этапах додипломного и последипломного образования.

Работы осуществляются при финансовой поддержке Министерства образования и науки Российской Федерации.

ВЫВОДЫ

Применение ВР-систем открыло большие возможности практических приложений в различных областях науки и техники, особенно при реализации видеотренажеров. С помощью технических средств ВР-систем оператор «преобразуется» в «виртуального субъекта», способного совершать действия, не выполнимые в реальных условиях. Для успешного функционирования таких искусственных систем используются задачи ситуационного анализа и управления, обеспечивающие определение качественных и количественных характеристик виртуального пространства [6]. Интеграция интеллектуальных тренажеров различного назначения, разработанных на основе ВР-технологий, позволяет сформировать интеллектуальный обучающий комплекс, состоящий из группы хирургических интеллектуальных тренажеров. Каждый из них решает конкретные задачи по имитации ситуаций (оперативное лечение органов брюшной полости, малого таза, формирование осложнений в виде кровотечения, спаечного процесса, присоединения инфекции и др.), что в конечном итоге связано с обеспечением безопасности пациентов.

СПИСОК ЛИТЕРАТУРЫ

1. Еремеев А.П. Инструментальная среда для конструирования виртуальной реальности в диалоговых системах принятия решений // Труды нац. конф. по искусственному интеллекту с междунар. участием «КИИ-08». Т. 2. 2008. С. 543-548.

2. Зенкин А.А. Когнитивная компьютерная графика. М.: Наука, 2011.

3. Красовский А.А. Концепция оптимального инструктора и автоматизация обучения на тренажерах / / Техномир. 2009. №6. С. 139-144.

4. Литвинцева Л.В, Налитов С Д. Виртуальная реальность. Анализ состояния и подходы к решению // Новости искусственного интеллекта. 2005. № 3 С. 24-90.

5. Нечаев Ю.И., Завьялова О.П. Формирование стратегий принятия решений при оперативном управ-ле-нии сложным динамическим объектом // Искусственный интеллект. 2011. № 3. С. 80-88.

6. Романенко Н.И., Кошевцов М.А. Виртуальная модель управления интеллектуальным мобильным роботом

и ее интерфейс // Искусственный интеллект. 2012. № 3. С. 318-324.

7. Степанов А.А. Интеллектуальное моделирование в виртуальных средах // Труды нац. конф. по искусственному интеллекту с междунар. участием «КИИ-08». 2008. Т. 2. С. 558-563.

8. Cyberspase Developer Kit Release 2.0. reference Manual. - Futodeck. Inc, 2004.

9. 3D Studio MAR2. Users's Guide. Autodeck. Inc., 2007.

10. Kalavsky R.S. A Comprehensive Virtual Environment

Laboratory Facility - Virtual Reality Systems / Ed. by R.A. Earnshaw, M.A. Gigante, H. Jones. - Cambridge (UK): Academic Press, 2012.

11. Nechaev Yu., Degtyarev A., Boukhanovsky A. Complex situations simulation when testing intelligence system knowledge base // Proc. Of International Conf. «Computational Science-ICCS - 2001». Part. 1. San Francisco (CA, USA). 2011. P. 453-462.

12. Schroeder W, Martin K., Lirensen B. The visualization Toolkit, an object oriented approach to 3D graphics. -Prentice Hall; Upper Saddle River; NJ, 2007.

MODELING AND VISUALIZATION OF COMPLEX ANATOMICAL STRUCTURES IN SISTEMME VIRTUAL REALITY FOR THE ESTABLISHMENT OF MEDICAL TRAINING SIMULATOR BASED APK «VIRTUAL SURGERY»

© 2013 A.V. Kolsanov, A.S. Voronin, B.I. Yaremin, S.S. Chaplygin, A.K. Nazaryan

Samara State Medical University

The article discusses the problem of modeling the behavior of complex dynamic objects in an artificial virtual environment that is free from the constraints of physical space and time. Strategies for implementing computer models in this context include the possibility of an immediate reaction to the changes generated in the virtual world Scientific visualization of multidimensional data (computer graphics, image processing and high performance computing) provides research data using interactive three-dimensional representation. Of great importance for the effective illusion of being in a virtual space has sound, significantly expanding awareness of the presence and perception.

Alexander Kolsanov, Doctor of Medicine, Professor, Head at the Surgery and Clinical Anatomy Course with Innovative Technologies Department. E-mail: avkolsanov@mail.ru Alexander Voronin, Assistant Lecturer at the Surgery and Clinical Anatomy Course with Innovative Technologies Department. E-mail: alek.voronin86@yandex.ru Boris Yaremin, Candidate of Medicine, старший преподаватель at the Surgery and Clinical Anatomy Course with Innovative Technologies Department. E-mail: boris.yaremin@gmail.com

Sergey Chaplygin, Assistant Lecturer at the Surgery and Clinical Anatomy Course with Innovative Technologies Department. E-mail: chaplyginss@mail.ru

Aykush Nazaryan, Senior Laboratory at the Surgery and Clinical Anatomy Course with Innovative Technologies Department. E-mail: aikush77@mail.ru