CC BY
23
Bulletin of Medical Internet Conferences (ISSN 2224-6150)
2016. Volume 6. Issue 5
Ю: 2016-05-3883-А-6250 Краткое сообщение
1 « 2 1 2 2 Мареев Г.О. , Алаицев И.К. , Ермаков И.Ю. , Данилова Т.В. , Мантуров А.О.
Основные принципы создания виртуального воксельного мира и реализации тактильной обратной связи
в хирургических симуляторах
1ГБОУ ВПО Саратовский ГМУ им. В.И. Разумовского Минздрава России 2ФГБОУ ВПО СГТУ им. Гагарина Ю.А.
Резюме
ОдноИ из важнейших проблем современного медицинского обучения является формирование у студентов необходимых практических навыков. Наиболее распространённым в настоящее время является применение различного рода фантомов для тренировки необходимых навыков владения хирургическими инструментами. Однако, фантомы обладают существенным недостатком - в ходе обучения они непоправимо повреждаются, в следствие чего требуется их постоянное обновление, что делает их применение весьма дорогостоящим. Кроме того, фантомы не позволяют стандартизировать обучение, не воспроизводят различные варианты анатомического строения.
Перенос обучения в виртуальную реальность позволяет решить проблемы, связанные с использованием фантомов. Ключевыми аспектами, влияющими на реалистичность симуляции, а значит и на качество обучения, являются качественная визуализация, и, в первую очередь, наличие тактильной обратной связи. Именно тактильная обратная связь позволяет прививать практические навыки владения хирургическими инструментами, в частности, бормашинами, способствует развитию необходимых навыков.
В работе описан разработанный авторами аппаратно-программный комплекс симулятора с тактильной обратной связью и его возможности по симуляции операций на костных структурах.
Ключевые слова: виртуальная реальность, виртуальная хирургия
Введение
В настоящее время привитие практических навыков работы, необходимых для работы по хирургическим специальностям, например, в оториноларингологии и стоматологии, производится с использованием различного рода препаратов и фантомов. В процессе обучения используемые фантомы и препараты разрушаются, что приводит значительным финансовым затратам на обучение. В оториноларингологии отработка практических навыков, необходимых при проведении операций на костных структурах уха, возможна практически только с использованием трупного материала, что накладывает значительные ограничения по причине отсутствия чёткой законодательной базы. Другой проблемой применения фантомов и различного рода препаратов является отсутствие стандартизации обучения, а также сложность оценки результатов выполнения студентами учебных заданий.
Активное развитие науки и техники, в частности, компьютерных технологий, позволяет перенести большую часть процесса обучения в виртуальную реальность (ВР) [1, 3]. Виртуальная реальность позволяет интерактивно взаимодействовать с виртуальными объектами, создавая у пользователя полное ощущение реальности происходящего.
В случае использования ВР для обучения работе бормашиной по костным структурам на первый план выходят тактильные ощущения пользователя системы [4]. В настоящее время наиболее распространена работа по костным структурам с использованием специальной хирургической бормашины с набором боров. Таким образом, система симуляции должна позволять не только видеть происходящее во время виртуальной операции, но и тактильно взаимодействовать с виртуальными объектами.
Современные средства науки и техники позволяют реализовать симуляцию тактильных ощущений при помощи устройств тактильного ввода-вывода - гаптик-устройств [8, 9]. Применение таких устройств позволяет дополнить визуальное представление операции реалистичными ощущениями обработки костных структур бормашиной.
Использование виртуальной реальности позволяет стандартизировать обучение, автоматизировать оценку результатов обучения, позволяет представить учащимся различные варианты анатомии. При этом затраты на организацию симуляционного обучения окажутся значительно ниже затрат на проведение курсов традиционного обучения, а качество обучения будет значительно выше.
В ходе НИР авторами был разработан аппаратно-программный комплекс хирургического симулятора с тактильной обратной связью [1, 2]. В рамках симулятора реализованы:
• возможность навигации в пространстве с использованием гаптик-устройств;
• реалистичная визуализация;
• имитация сверления моделируемых объектов с использованием виртуальной бормашины с борами различного качества;
• работа двумя руками с использованием двух гаптик-устройств.
В качестве исходных данных для создания заданий использовались томограммы высокого разрешения.
Подготовка заданий
Авторами предлагается использование томограмм высокого разрешения для формирования учебных заданий. Использование такого подхода позволяет создать обширную коллекцию заданий, причём анатомические особенности строения костных структур в заданиях будут различаться.
Выделение самих костных структур в томограммах является достаточно простой задачей [1]. Однако, при проведении операций происходит взаимодействие не только с костными структурами. Таким образом, возникает необходимость, во-первых, во введении в модель оперируемой области дополнительных не костных структур, например, нервов, мягких тканей и т.п., взаимодействие с которыми обязательно происходит при работе с моделируемыми костными структурами, во-вторых, дифференциация самих костных структур: в случае проведения стоматологических операций на зубах должна быть возможность визуально и тактильно различить эмаль и дентин.
Бюллетень медицинских Интернет-конференций (ISSN 2224-6150) 2016. Том 6. № 5
Для решения задачи по расширенной классификации структур в томографических данных был разработан специальный редактор. Редактор позволяет производить простейшую сегментацию входных данных по уровню для выделения различных структур по уровню поглощения. Дальнейшая классификация тканей и формирование структур, которые не фиксируются томографами, например, лицевого нерва, либо не могут быть однозначно автоматически выделены из томографических данных автоматически, производится вручную. Работа по ручному редактированию в целом напоминает работу в обычном графическом редакторе. При этом существует возможность добавления новых материалов и структур. Для материалов при этом возможно указать большое количество различных свойств: цвет, плотность, силу резанья для имитации свершения материала, прозрачность и т.д. Таким образом возможности подготовки заданий значительно расширяются, т.к. появляется возможность дополнительно детализировать исходные данные.
В результате подготовки задания в редакторе, с каждым вокселем исходных данных ассоциируется два идентификатора: идентификатор материала и идентификатор структуры.
При визуализации идентификатор материала определяет, какой цвет использовать для отображения, какова степень прозрачности данного вокселя, насколько материал способен отражать свет (для создания бликов). За счёт использования метода бросания лучей появляется возможность визуализировать многослойные структуры. Это способствует повышению реалистичности визуализации, поскольку соответствует тому, что хирург наблюдает во время реальной операции.
Симуляция тактильных взаимодействий также использует сведения о материалах, ассоциированных с каждым вокселем. Во-первых, информация о материале используется при обнаружении столкновений - не все материалы являются непроницаемыми для инструмента. Во-вторых, идентификатор материала позволяет производить симуляцию удаления материала бормашиной в соответствии с физическими свойствами материала, т.к. для каждого материала имеются сведения о его жёсткости и силе резания, которые используются как для определения объёма удаляемого материала, так и для генерации тангенциальной силы, возникающей при взаимодействии вращающегося бора с твёрдым телом.
Моделирование взаимодействий с виртуальными объектами
Симуляция взаимодействий с моделируемыми объектами производится с использованием воксельного представления как моделируемого объекта, представляющего собой модель какой-либо костной структуры, так и самого инструмента. Такой вариант является наиболее оптимальным для реализации обнаружения столкновений [1].
Не только свойства материалов оказывают влияние на характер взаимодействий бормашины и обрабатываемого объекта. Важным является также качество бора.
Под качеством бора понимают свойства его поверхности [5, 6, 7]. Выделяют три основных вида боров:
• розеточные - стальные боры, поверхность которых покрыта режущими гранями;
• gold diamond - боры, поверхность которых эродирована и имеет грубое напыление;
• diamond - гладкие боры с тончайшим алмазным напылением.
Розеточные боры являются наиболее грубыми, удаление материала с их использованием происходит максимально быстро, однако при соприкосновении вращающегося бора с поверхностью кости возникает значительная тангенциальная сила, стремящаяся к смещению бора параллельно поверхности обрабатываемого объекта. Противодействие такой силе является одним из важнейших навыков при работе с бормашиной, т.к. в случае отсутствия должного противодействия поведение бормашины становится непредсказуемым, существует риск причинения вреда здоровью пациента.
Diamond боры, напротив, являются наиболее деликатными, удаление материала ими происходит крайне медленно. Однако, при использовании diamond боров возникает другая проблема - нагрев кости в области операции. Перегрев кости является крайне нежелательным, т.к. возможно повреждение как самой кости, так и структур, соприкасающихся с ней.
Gold diamond боры представляют собой нечто среднее между розеточными и diamond борами.
Модель обработки материала бормашиной, разработанная авторами, позволяет учитывать качество бора. В зависимости от качества бора, его размера и скорости вращения изменяется характер имитируемых взаимодействий и тактильные ощущение, создаваемые с использованием гаптик-устройств у пользователя системы.
Устройства тактильного ввода-вывода
Важной составляющей системы симуляции тактильных взаимодействий является гаптик-устройство. Одной из важных характеристик гаптик-устройства является число степеней свободы ввода и вывода.
Наличие трёх степеней свободы при вводе вполне достаточно для обеспечения навигации в пространстве и перемещения виртуального инструмента. Однако, кроме непосредственно положения инструмента при симуляции операций с использованием бормашины имеет значение также ориентация инструмента.
Во-первых, в ряде случаев, например, в случае моделирования стоматологических операций, бор имеет не сферическую форму. Очевидно, что в случае, если форма бора вытянута, его ориентация имеет большое значение, в отличие от сферических боров, изменение ориентации которых не влияет на работу алгоритма обнаружения столкновений.
Во-вторых, скорость удаления материала бором в различных точках его поверхности зависит от линейной скорости перемещения этих точек, которая, в свою очередь, зависит от положения точки относительно оси вращения бора. Так, точка, находящаяся на вершине бора и лежащая, фактически, на оси вращения, практически не двигается и, соответственно, почти не удаляет материал, в то время, как остальные точки поверхности бора удаляют материал намного быстрее. Причём скорость удаления материала для каждой точки бора зависит от расстояния до оси вращения бора в этой точке. Описанное поведение характерно как для сферических боров, так и для не сферических.
Известны системы управления с тактильной обратной связью, так называемые гаптик-устройства, которые в последнее время все шире используются в различных областях современной науки и техники. Эти устройства позволяют вводить координатную информацию в компьютер, и, таким образом, являются координатными манипуляторами, однако при этом могут являться и устройствами вывода, прилагая к руке оператора усилие, направленное в ту или иную сторону. Подобные устройства используются для создания тактильного образа какого-либо виртуального предмета и встречаются в компьютерных играх, различных системах
Bulletin of Medical Internet Conferences (ISSN 2224-6150)
2016. Volume 6. Issue 5
виртуальной реальности, трехмерной компьютерной графики (лепки и моделирования), медицинских системах, а также для управления различными робототехническими устройствами [10]. Для создания таких устройств используются обычно схемы простых последовательных многорычажных механизмов [11], либо параллельные механизмы, в частности дельта-механизмы [12]. Последние имеют значительное превосходство над последовательными многорычажными механизмами, так как значительно более устойчивы и стабильны в пространстве, а также позволяют прилагать большую силу и создавать более реалистичные тактильные ощущения. Типичным представителем такого гаптик-устройства является Novint Falcon.
Однако рассматривая подобный дельта-механизм можно отметить, что наряду с отмеченными положительными его свойствами существует и ряд недостатков, основной из которых - небольшое число степеней свободы (три степени свободы, 3 DOF - degrees of freedom) в классическом дельта-механизме. Для ряда приложений необходимо большее число степеней свободы -например управление роботизированным инструментом с большим числом степеней свободы или использование для ввода в медицинских симуляторах (например, симуляция работы с бормашиной или другими хирургическими инструментами - требуется знание об ориентации и наклоне инструмента в пространстве, кроме данных о положении его рабочего конца, предоставляемых оригинальным дельта-механизмом). При этом различные устройства [13], совмещающиеся с оригинальным, обычно имеют ряд шарнирных связей, с установленными в них датчиками угла поворота, что требует протягивания дополнительных проводов, уменьшает жесткость системы и обычно требует внесения изменений в оригинальный механизм.
Нами впервые предлагается устройство ввода с тактильной обратной связью, снабженное дополнительными степенями свободы, которое состоит из оригинального дельта-механизма, к подвижной площадке которого через рычаг жестко закреплен карданный механизм, при этом считывание положения этого механизма производится при помощи помещенного в его центр вращения микроэлектромеханического (MEMS) гироскопа-акселерометра.
Благодаря применению полезной модели число степеней свободы оригинального дельта-механизма расширяется на число степеней свободы карданного механизма, что значительно увеличивает его возможности, практически не ограничивая движения руки оператора в пространстве (в случае применения карданного механизма с тремя степенями свободы), либо задавая ему необходимый объем движений (в случае применения карданных механизмов с меньшим числом степеней свободы). Данное устройство отличается большим удобством в работе, так как его применение не требует изменения конструкции оригинального дельта-механизма, внедрения в нее новых датчиков, проводов и других элементов и обладает большой точностью. Применение микроэлектромеханического датчика гироскопа-акселерометра позволяет избавить конструкцию от большого числа датчиков, необходимых при использовании традиционных датчиков угла поворота, размещаемых в каждом из шарниров кардана и необходимости вести к ним сигнальные провода непосредственно через шарниры карданного механизма, либо снаружи, что может стеснять карданный механизм, приводит к снижению надежности его работы, так как при этом провода подвергаются частому изгибу, что может привести к их разрыву. Mикрoэлектрoмехaнический гироскоп-акселерометр в качестве единственного датчика устройства приводит к упрощению ее конструкции, а также к повышению ее надежности, так как не содержит в себе движущихся деталей.
Ориентация бора бормашины учитывается как при работе алгоритма обнаружения столкновений, так и при моделировании обработки модулируемого объекта: в зависимости от того, как каждая из точек поверхности бора расположена относительно оси, изменяется скорость удаления материала в данной точке, а также создаваемая в результате взаимодействия тангенциальная сила. Moделируемoе таким образом поведение полностью соответствует реальному поведению бормашины.
Заключение
В результате работы авторами был разработан АПК хирургического симулятора с тактильной обратной связью, позволяющий с высокой степенью реалистичности производить операции на костных структурах с использованием бормашин. Симулятор в своей работе имитирует визуальные и физические свойства заданных биологических материалов, а также особенности работы с ними при помощи бормашины. С этой целью используется гаптик-устройство, с специальной насадкой, увеличивающей количество степеней свободы управляющего манипулятора до необходимого числа, на базе MEMS гироскопа-акселерометра. Разработанный авторами редактор заданий позволяет дополнять получаемые из компьютерных томограмм высокого разрешения данные дополнительными анатомическими структурами, которые не фиксируются при компьютерной томографии.
Литература
1. Maреев, Г.О. Разработка базовых принципов взаимодействия с воксельной моделью в трехмерном пространстве I Г.О. Maреев, И.К. Алайцев, И.Ю. Ермаков, Т.В. Данилова, А.О. Maнтурoв II Бюллетень медицинских интернет-конференций. - 2015.
2. Алайцев, И.К. Разработка программно-аппаратного комплекса оториноларингологического симулятора с тактильной обратной связью I И.К. Алайцев, Т.В. Данилова, Г.О. Maреев, О.В. Maреев II Maтериaлы Всероссийской школы - семинара «Mетoды компьютерной диагностики в биологии и медицине - 2015». - Изд. СГУ. 2015. - С. 109-111.
3. von Sternberg N., Bartsch M.S., Petersik A., Wiltfang Sibbersen J.W., Grindel T., Tiede U., Warnke P., Heiland M., Russo P.A.J., Terheyden H., Pohlenz P., Springer I. Learning by doing virtually II International Journal of Oral and Maxillofacial Surgery.- 2007. - Vol. 36(5). - p. 386-390.
4. Pohlenz P., Gröbe A., Petersik A., von Sternberg N., Pflesser B., Pom-mert A., Höhne K.H., Tiede U., Springer I., Heiland M. Virtual dental sur-gery as a new educational tool in dental school II Journal of Craniomaxillo-facial Surgery. - 2010. - Vol. 3S(S). - p. 560-564.
5. Arora A., Swords C., Khemani S., Awad Z., Darzi A., Singh A., Tolley N. Virtual reality case-specific rehearsal in temporal bone surgery: A prelim-inary evaluation II International Journal of Surgery - 2014. - Vol.12(2). - p. 141-145.
6. Francis H.W, Malik M.U., Diaz Voss Varela D.A., Barffour M.A., Chien W.W., Carey J.P., Niparko J.K., Bhatti N.I. Technical skills improve after practice on virtual-reality temporal bone simulator II Laryngoscope. - 2012. - Vol. 122(6). - pp. 1385-1391.
7. Bakr M.M., Massey W.L., Alexander H. Evalution of Simodont haptic 3D virtual reality dental training simulator II International journal of dental clinics. -2013. - Vol. 5. - p.1-6.
8. Pohlenz P., Gröbe A., Petersik A. et al. Virtual dental surgery as a new educational tool in dental school. Journal of Craniomaxillofacial Surgery. 2010. Vol. 3S(S): 560-564
9. Luciano C. Banerjee P. DeFanti T. Haptics-based virtual reality periodontal training simulator. Virtual Reality. 2009. Vol.2(13): 69-85.
10. Coles T.R., Meglan D., John N.W. The role of haptics in medical training simulators: a survey of the state of the art. II Haptics, IEEE Transactions. - 2011. - Vol. 4(1). - p.51-66.
Бюллетень медицинских Интернет-конференций (ISSN 2224-6150) 2016. Том 6. № 5
11. Massie T.H., Salisbury J.K. The phantom haptic interface: a device for probing virtual objects // In Australasian Conference on Robotics and Automation (ACRA). - 1994. - Vol. 55. - p.1-6.
12. Martin S., Hillier N. Characterisation of the novint falcon haptic device for application as a robot manipulator // In Australasian Conference on Robotics and Automation (ACRA), - 2009. - p. 291-292
13. Howell J.N., Conatser R.R., Williams R.L., Burns J.M., Eland D.C. The virtual haptic back: A simulation for training in palpatory diagnosis // BMC Medical Education. - 2008 - Vol. 8(14). - p. 12-16.
