CC BY
153
X УПРАВЛЕНИЕ В МЕДИЦИНЕ И БИОЛОГИИ
УДК 62-50, 623.681
ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ И МЕХАТРОННЫЕ УСТРОЙСТВА ДЛЯ ИНТЕЛЛЕКТУАЛЬНЫХ МЕДИЦИНСКИХ СИСТЕМ
А. В. Тимофеев,
доктор техн. наук, профессор С. Э. Чернакова,
младший научный сотрудник
Санкт-Петербургский институт информатики и автоматизации Российской академии наук А. И. Нечаев, начальник лаборатории
Центральный научно-исследовательский институт робототехники и технической кибернетики М. В. Литвинов, аспирант
Балтийский государственный технический университет «Военмех»
Представлены результаты разработки новых информационных технологий для медицинской робототехники и мехатроники, а также итоги участия авторов в Международной выставке «Интеллектуальные и адаптивные роботы-2005», где эти технологии демонстрировались. Рассмотрены принципы проектирования адаптивных и интеллектуальных медицинских роботов и мехатронных систем, включая технологии обучения с использованием мультимодального человеко-машинного интерфейса и средств виртуальной реальности.
The results in the area of new informational technologies for medical robotics and mechatronics as well as materials of authors' participation in the international exhibition «Intelligent and Adaptive Robots-2005» are presented in this paper. Principles of design of adaptive and intelligent medical robots and mechatronic systems, including learning technology with use of multimodal man-machine interface and virtual reality are considered.
Введение
Современная медицина остро нуждается в разработке и применении новых информационных технологий, роботов и мехатронных систем (МС) для автоматизации операций в хирургии, в создании телемедицинских диагностических систем и т.п. Об актуальности этой проблематики свидетельствует, в частности, NATO-грант N PST.CLG 975579 «Человеко-машинный интерфейс для ассистирующих робототехнических систем в нейрохирургии», выполненный в 1999-2000 гг. партнерами из Санкт-Петербургского института информатики и автоматизации РАН (СПИИРАН), Санкт-Петербургского государственного университета аэрокосмического приборостроения (ГУАП), University of Karlsruhe (Германия) и Harvard Medical School (США). Этот грант был направлен на разработку адаптивных роботов и мультиагентных
технологий, предназначенных для использования в нейрохирургии [1].
Последние достижения в области медицинской информатики, робототехники и мехатроники, включая результаты авторов статьи, были представлены на Международной выставке «Интеллектуальные и адаптивные роботы-2005», которая проводилась в Москве параллельно с Международным 1АРК-симпозиумом «Интеллектуальные и адаптивные роботы: современное состояние и перспективы» [2]. Целью выставки и симпозиума было обсуждение современного состояния и перспективных направлений исследований в области робототехнических систем (РТС) и МС со встроенными средствами адаптации и искусственного интеллекта. На выставке демонстрировались современные РТС и МС для экстремальных условий (разминирование, радиационная разведка и т. п.),
беспилотные летающие аппараты, подводные роботы, космические и промышленные копирующие манипуляторы, медицинские роботы, роботы-охранники, мини-роботы, роботы-игрушки, а также разработки в области технического зрения и слуха и других средств «очувствления» роботов.
Лаборатория информационных технологий в управлении и робототехнике (ЛИТУР) СПИИРАН [3] совместно с базовой кафедрой нейроинформатики и робототехники ГУАП представила на стендах РАН и МГИУ ФГУ РНЦ ВМиК Росздрава результаты работ в области создания и внедрения инновационных информационных технологий, РТС и МС для медицины и космических исследований (рис.1).
Технологии «Виртуального наблюдателя» и тактильно-силового взаимодействия с объектами внешней среды
Технология «Виртуального наблюдателя» разработана на основе мультимодального человекомашинного интерфейса для телемедицины и медицинской робототехники. Она предполагает создание высокореалистичного эффекта присутствия человека-оператора в зоне размещения объекта управления, которая находится на значительном расстоянии. Для этого используются виртуальные модели и управляемые компьютерно-синтезированные 3D-изображения виртуальных объектов, погруженные в изображение реальной среды. В последние годы исследованы пути решения основных проблем реализации данной технологии, а именно, проблема точного совмещения компьютерно-синтезированного изображения геометрической модели внешней среды с ее реальным изображением и проблема реализации непрерывности восприятия этих изображений в режиме реального времени.
Продемонстрированная на стенде ЛИТУР СПИИРАН стереоскопическая система как элемент технологии «Виртуального наблюдателя» позволяла видеть окружающую среду (выставочный павильон) и свои руки в нем посредством телевизионных камер фирмы ЭВС [4] через стереооч-
ки-дисплеи и производить простейшие манипуляции в этой среде.
Технология тактильно-силового взаимодействия с виртуальными объектами, их визуального восприятия в интересах космической, подводной и экстремальной робототехники необходима там, где требуется не только наблюдать окружающий мир, но и производить в нем какие-либо действия. При этом манипуляции в удаленной внешней среде будут более успешны, если удастся создать для оператора реалистичное и адекватное восприятие окружающей робот среды, предоставить возможность ощутить ее объекты, как будто они имеют заданные размеры, форму, массу, сопротивление трения, вес или его отсутствие в случае имитации космического объекта в условиях невесомости.
Частично эти технологии были разработаны в рамках партнерского проекта 1992p с EOARD (European Office of Aerospace Research and Development, London, United Kingdom) на основе многолетнего опыта внедрения медицинских систем. В частности, были изготовлены и испытаны прототипы систем для слежения за положением головы и рук человека (HTS и HTS+) [5] . Основная цель этой разработки состояла в создании технологии взаимодействия с удаленными объектами на основе простых (cost-effective), надежных и устойчивых технических средств телеуправления для реальных условий работы человека-операто-ра.
Методы навигации и управления движением хирургических роботов
В рамках проекта «Методы навигации и моделирования стереотаксических манипуляторов и медицинских роботов», поддержанного в 2003 г. грантом Санкт-Петербургского научного центра РАН, была разработана виртуальная управляемая модель хирургического робота (рис. 2).
Разработанный интерфейс с использованием 3D-модели виртуальной реальности во время опе-
■ Рис. 2. Виртуальная операционная
рации позволит контролировать ход операции, исключить ряд возможных ошибок при планировании операции и снабдить хирурга важной визуальной информацией [6]. Предлагаемые методы позволяют автоматизировать решение задач навигации (т. е. вычисление координат, ориентации и скорости) медицинского инструмента и адаптивного управления движением хирургического робота [1, 7].
Графический интерфейс и реализация алгоритмов навигации и определения траектории нейрохирургического инструмента является эволюционным переходом от расчетов координат в ручном режиме к автоматизированным методам. Эти методы и средства являются только частью комплексного решения проблемы организации операционной нового поколения, основанной на применении информационных технологий и РТС.
Виртуальная нейрохирургическая операционная
Виртуальная операционная должна максимально напоминать реальную, поскольку для врача работа в привычных условиях будет более эффективной и продуктивной. В соответствии с этим она наполняется знакомыми медицинскими инструментами и новыми РТС, которые в компьютерном представлении обладают дополнительными свойствами (см. рис. 2).
В таких условиях появляется возможность проведения пробных учебных операций не на пациенте, а на его виртуальной модели. Проведение операции на виртуальном (электронном) пациенте можно рассматривать как этап планирования реального хирургического вмешательства. Вторая важная задача, решаемая при виртуальной операции - это повышение профессионального уровня врача и медицинского персонала. Она решается посредством совмещения теоретических и реальных знаний.
■ Рис. 3. Использование стереоочков при планировании операции
Информация о проведенной симуляции операции, данные о реальной и виртуальной операциях и последующая информация о состоянии пациента объединяются в реальную картину лечения. По прошествии некоторого времени всегда можно вернуться к прошлым операциям для сравнительного анализа и выяснения эффективности разных методов лечения. Аналогично могут совершенствоваться не только практикующие врачи, но и студенты и аспиранты, обучающиеся навыкам работы на новом оборудовании.
Во время виртуальной операции хирург может наблюдать за траекторией медицинского инструмента, задаваемой по томограммам мозга. Благодаря этому в случае, когда инструмент попадает в зоны повышенного риска для жизни пациента, врач может запросить у программы другой вариант наведения инструмента в необходимую точку мозга по безопасной траектории или сделать вывод о невозможности проведения операции.
Стереовизуализация и технология обучения методом показа
Для отображения удаленной внешней среды в медицинских проектах были опробованы:
- стереоочки и стереоочки-дисплеи, которые могут эффективно использоваться для наглядного представления информации (рис. 3);
- автоматизированное рабочее место АРМ-М со стереовизуализацией рентгеновских изображений в реальном времени [8];
- стереопроекционные системы для наблюдения рентгеновских, эндоскопических и других медицинских изображений;
- средства совмещения реальных и виртуальных изображений, которые обеспечивают врача в максимально удобной форме оперативной визуальной информацией, позволяющей прогнозировать ход операции и своевременно корректировать хирургические манипуляции.
■ Рис. 4. Мультимодальный интерфейс для медицины
Обучение РТС путем показа естественных движений (жестов) человека (пользователя) [9, 10] связано с созданием естественных и доступных каждому человеку средств общения с техническими и информационными системами. Эта технология обучения не может полноценно развиваться без дружественного, помогающего врачу, пациенту и пользователю мультимодального интерфейса, разрабатываемого в ЛИТУР совместно с группой речевых технологий СПИИРАН [1, 6, 7, 1113].
Мультимодальный интерфейс для медицины (рис. 4) должен обеспечивать:
- простое и правильное понимание команд и различных движений (моторных функций) врача (пациента);
- обучаемость показом без какого-либо программирования;
- надежную, устойчивую информационную поддержку систем управления медицинским оборудованием;
- взаимодействие с компьютерными моделями в процессе планирования операций (например, с использованием виртуальной операционной [6]);
- комбинирование (микширование) реальных (например, эндоскопических) и виртуальных (модельных) изображений [7,12].
Разработка шестикоординатных силомоментных датчиков и очувствленных рукояток управления
Особенно актуальной для медицины является разработка так называемого «haptic» интерфейса. Это обусловлено необходимостью отражения усилий на руке врача (хирурга), особенно при проведении операции, в том числе с использованием МС, РТС и технологии телемедицины.
Развитием данного направления является создание шестикоординатной рукоятки управления на базе современных микропроцессорных уст-
■ Рис. 5. Шестикоординатная рукоятка управления
ройств обработки и нового силомоментного датчика широкого назначения (рис. 5). При этом использование специальной рукоятки с отражением сил и запоминание естественных движений опытного персонала лечебного учреждения облегчают процесс обучения робота движениям. В качестве примера можно отметить начатые исследования возможности создания робота-массажера с использованием этих датчиков, обеспечивающих, с одной стороны, точное задание силового воздействия при контакте с мягкими мышечными тканями пациента и, с другой стороны, повышение безопасности использования роботов в медицине при контакте с человеком.
Следует отметить, что к системам слежения за движениями человека (головы, рук, взгляда) проявили интерес специалисты и разработчики в области реабилитации зрения и восстановления сенсорно-моторных функций человека. Технологии видеозахвата объектов, виртуальной реальности и обучения показом особенно полезны для навигации, программирования движений и управления адаптивными роботами и медицинскими МС [6, 7,
12, 13].
Заключение
Описанные информационные технологии и разработки адаптивных МС и РТС находят все более широкие приложения не только в медицине, но и в промышленности, космосе и т. д [113]. При этом особенно важную роль будут играть средства адаптации и интеллектуализации систем управления роботов и МС, модели виртуальной реальности и мультиагентные технологии [1, 5-13].
На Международной выставке «Интеллектуальные и адаптивные роботы-2005» авторы этой статьи были награждены медалями и дипломами ВВЦ за разработку и внедрение инновационной технологии человеко-машинного взаимо-
действия на базе виртуальной реальности для телемедицины и медицинской робототехники.
Работа выполнена при частичной поддержке гранта РФФИ № 05-01-0В044_офи.
Литература
1. Burghart C. et al. A Multi-Agent-System Architecture for Man-Machine Interaction in Computer Aided Surgery // 1ба IAR Annual Meeting: Proc. Strasburg. 22-2З November 2001. P. 117-12З.
2. www.keldysh.ru/East-West-Tech
3. www.spiiras.nw.ru
4. www.evs.ru
5. Kulakov F. M., Nechaev A. I., ^ernakova S. E. Advanced man-machine interface for telerobotic based on man-operator’s motions and gaze direction tracking // Speech and Computer: Proc. of Sixth ISTC Scientific Advisory Committee Seminar. Moscow. 15-17 September 200З. Vol. 1. P. З0З-З0В.
6. Литвинов М. В., Тимофеев А. В., Попов А. Б. Виртуальная модель адаптивного робота для нейрохирургии // Адаптивные роботы и общая логическая теория систем - AR&GSLT: Тр. Междунар. конф. Санкт-Петербург, В-11 мая 2004. С. 1і9-і22.
7. Timofeev A. V., Gulenko I. E., Litvinov M. V. Analysis, Processing and Transfer of Dynamic Images in Virtual Reality Models // Pattern Recognition and Image Analysis. 200б. Vol. 1б. N 1. P. 97-99.
В. Нечаев А. И., Назарук В. П., Чернакова С. Э. Метод регистрации и визуализации трехмерных рентге-
новских изображений в режиме реального времени для задач неразрушающего контроля и медицинской диагностики // Информационные технологии. 2005. № 11. C. 11-21.
9. Нечаев А. И., Чернакова С. Э., Кулаков Ф. М. Моделирование внешней среды для процесса обучения методом показа: Сб. тр. / СПИИРАН. 2001. Вып. 1. С. 102-120.
10. Чернакова C. Э., Кулаков Ф. М., Нечаев А. И. Обучение робота методом показа с использованием «очувствленной» перчатки // МиР’2000: Тр. Первой Междунар. конф. по мехатронике и робототехнике. СПб., 2000. С. 155-164.
11. Multimodal system for hands-free PC control / А. Karpov, А. Ronzhin, А. Nechaev, S. Chernakova // 13th European signal Processing Conference EUSIPC0-2005: E^tron^ proc. Turkey. Sept. 2005.
12. Кулаков Ф. М. Технология погружения виртуального объекта в реальный мир // Прил. к ж. «Информационные технологии». 2004.№ 10. С.1-32.
13. Тимофеев А. В., Шибзухов З. М., Шеожев А. М. Проектирование и обучение мультиагентных диагностических систем // МиР’2000: Тр. Первой Междунар. конф. по мехатронике и робототехнике. СПб., 2000. Т. 2. С. 342-345.
