CC BY
39
УДК 615.26:615.451.3:616-003.214
ТЕХНИЧЕСКИЕ АСПЕКТЫ
РЕАЛИЗАЦИИ ХИРУРГИЧЕСКОГО СИМУЛЯТОРА С ТАКТИЛЬНОЙ ОБРАТНОЙ СВЯЗЬЮ
И.К. Алайцев1, Г. О. Мареев 2, О.В. Мареев2
1 ФГБОУ ВО «Саратовский государственный технический университет им. Гагарина Ю.А.» Саратов, Российская Федерация, 410054
2 ФГБОУ ВО «Саратовский государственный медицинский университет
им. В.И. Разумовского» Министерства здравоохранения Российской Федерации Саратов, Российская Фередация, 410012
Аннотация. Применение симуляционного обучения является современным подходом к обучению студентов хирургических специальностей. Однако, большинство применяемых подходов требует использования различных расходных материалов, которые уничтожаются в процессе обучения. Таким образом, стоимость обучения повышается, в то время, как отсутствует стандартизация обучения, а оценка результатов обучения осложнена. Использование виртуальной реальности позволяет в значительной степени повысить степень стандартизации обучения и производить полуавтоматическую оценку результатов, не требуя при этом затрат на расходные материалы. В данной статье описаны технические аспекты реализации хирургического симулятора с тактильной обратной связью, которая особенно важна при обучении хирургов.
Ключевые слова: симуляционное обучение, виртуальная реальность, тактильная обратная связь, гаптик-устройства, томограммы, сегментация.
Одним из ключевых аспектов обучения студентов хирургических специальностей является привитие им необходимых практических навыков в обращении с инструментами. Традиционные методы, такие как проведение реальных операций и использование различных фантомов, имеют серьезные недостатки: проведение реальных операций опасно для пациентов, а применение фантомов требует их постоянного обновления, что экономически не выгодно. Кроме того, данные подходы не позволяют в достаточной степени ознакомится с различными вариантами анатомии, не позволяют стандартизировать обучение и качественно оценить результаты выполнения студентом заданий.
Решить проблемы традиционных подходов к обучению позволяет применение средств виртуальной реальности [1]. Выполнение учебных заданий в виртуальном окружении позволяет в значительной степени стандартизировать обучение
за счет возможности введения объективных метрик качества выполнения учебных заданий. Кроме того, такие метрики позволяют выполнять оценку результатов в полуавтоматическом режиме. Анализ преподавателем результатов выполнения учебных заданий также упрощается.
В случае обучения студентов хирургических специальностей на первый план выходят тактильные ощущения. Это обусловлено тем, что ключевым аспектом, определяющим уровень владения хирургическими инструментами, являются именно моторные навыки хирурга, которые невозможно развить в отсутствие тактильной обратной связи.
Частным примером инструмента, навыки работы с которым могут быть получены при помощи хирургического симулятора с тактильной обратной связью, является хирургическая бормашина. Хирургическая бормашина применяется при проведении оториноларингологических и стоматологиче-
----—-
ских операций. Необходимость развития моторных навыков обусловлена тем, что в отсутствие должного контроля бормашина может вырваться из рук и нанести серьезный вред здоровью пациента.
Для обучения студентов работе с бормашиной по костным структурам был разработан соответствующий хирургический симулятор с тактильной обратной связью.
Ключевыми компонентами аппаратно-программного комплекса (АПК) симулятора являются устройства тактильного ввода-вывода — гаптик устройства, и реализуемый программным обеспечением способ имитации взаимодействий с моделируемыми костными структурами [2]. Кроме того, важно также качество визуального представления виртуальной операции.
В качестве устройств тактильного ввода-вывода были выбраны устройства Novint Falcon. Однако выбранные устройства имеют лишь 3 степени свободы ввода, чего недостаточно для реализации имитации работы с бормашиной — для описания положения бормашины в пространстве используется 6 степеней свободы.
По этой причине была разработана специальная насадка, расширяющая возможности Novint Falcon и позволяющая получать данные об ориентации бормашины в пространстве [2]. Форма насадки соответствует форме хирургической бормашины. Ориентация имитатора бормашины определяется при помощи комплексного датчика, сочетающего 3-осевые акселерометр и гироскоп. Для описания ориентации применяется связанная система координат, используемая для анализа движения воздушных судов в механике полета.
В качестве исходных данных для создания учебных заданий используются компьютерные томограммы (КТ) высокого разрешения. Применение КТ позволяет создать большое количество учебных заданий с различными вариантами анатомии костных структур. Однако, не все структуры, отображение которых необходимо в учебных заданиях, отображаются на КТ. В частности, лицевой нерв, косточки внутреннего уха, крупные кровеносные сосуды.
Для обеспечения возможности создания заданий на основе компьютерных томограмм высокого разрешения был разработан специальный редактор [3], позволяющий выполнять как автоматическую сегментацию по уровню, так и ручное редактирование для привнесения информации о расположении обозначенных выше важных структур.
Во время редактирования каждому вокселю томограммы присваивается идентификатор соответствующего материала, а также идентификатор структуры, в состав которой входит воксель. Идентификатор материала в дальнейшем используется для определения параметров графического и тактильного отображения каждого вокселя, параметров имитации обработки бормашиной. Идентификатор структуры используется при оценке выполнения задания для определения повреждений важных структур, а также во время выполнения студентом задания для вывода предупреждений о близости важных структур.
Визуальное представление анатомических оперируемых анатомических структур также важно для создания реалистичной симуляции. Отображение данных томограммы производится с использованием техники рэйкастинга — бросания лучей. Хотя применение данной техники и требует значительной вычислительной мощности, у него есть ряд достоинств перед применением представления костных структур в виде полигональной сетки, описывающей форму поверхности:
♦ сохраняется информация о внутреннем строении объекта, что критически важно в случае симуляции;
♦ отсутствует необходимость в синхронизации изменений воксельного и полигонального представлений объекта;
♦ упрощается реализация различных визуальных эффектов, например, колоризации кости при уменьшении толщины;
♦ как будет показано далее, упрощается реализация алгоритма обнаружения столкновений и имитации тактильной обратной связи и обработки бормашиной.
Качество симуляции напрямую зависит от способа имитации взаимодействий и обработки бормашиной, реализуемого программным обеспечением симулятора. Основными задачами, которые необходимо решить, являются:
♦ обнаружение столкновений;
♦ имитация обработки костных структур бормашиной;
♦ вычисление силы обратной связи, которая должна быть создана гаптик-устройством для имитации тактильных ощущений.
Необходимость реализации тактильной обратной связи накладывает жесткие временные ограничения, поскольку алгоритм имитации должен ра-
Алайцев И.К., Мареев Г.О., Мареев О.В. Технические аспекты реализации хирургического симулятора..
----—-
ботать с частотой порядка 1000 Гц для обеспечения достаточной стабильности и жесткости обратной связи.
Как правило, при разработке симуляторов с тактильной обратной связью используются специализированные алгоритмы обнаружения столкновений. В процессе разработки авторами были рассмотрены некоторые из них, в частности [4; 5]. Хотя рассмотренные подходы и различаются, у них есть много общего. В частности, в обоих применяется апостериорное обнаружение столкновений.
При апостериорном обнаружении столкновений факт столкновения объектов фиксируется уже после того, как объекты проникнут друг в друга. Преимуществом такого подхода является его сравнительно низкая вычислительная сложность и широкое распространение реализующих такой подход алгоритмов. Однако, такой подход имеет и серьезный недостаток — в случае взаимодействия с тонкими объектами, а также при высокой скорости перемещения объектов возможна некорректная работа алгоритма и допущения прохождения одного объекта сквозь другой. В случае хирургических симуляторов это также означает, что пронзание объекта также возможно при приложении значительной силы, что серьезно снижает реализм симуляции, особенно в случае имитации работы бормашиной, поскольку для обработки костных структур бормашиной требуется достаточно сильно прижимать бормашину к поверхности кости.
В рамках реализованного симулятора был использован другой подход к реализации обнаружения столкновений — априорное обнаружение столкновений. При таком подходе столкновение обнаруживается до того, как произойдет взаимное проникновение объектов.
Костные структуры (моделируемый объект) представлены в симуляторе в виде массива воксе-лей. Использование такого представления достаточно удобно для реализации алгоритма обнаружения столкновений, поскольку определение факта взаимного проникновения объектов возможно путем простого сравнения значений в вокселях. По этой причине и бор бормашины представляется в виде массива вокселей. При этом для решения задачи обнаружения столкновений достаточно рассматривать лишь воксели поверхности бора.
Перемещения бора в пространстве рассматриваются, как перемещения в дискретном пространстве, где дискретность определяется разрешением использованной в качестве источника данных то-
мограммы. Такой способ описания перемещения бора позволил разработать алгоритм априорного обнаружения столкновений.
За основу был взят алгоритм А*: цель работы алгоритма — минимизация расстояния между виртуальной бормашиной и точкой, представляющей положение рукояти гаптик-устройства, причем условием останова является как достижение конечной точки, так и невозможность дальнейшего перемещения с уменьшением расстояния до конечной точки. Таким образом, при перемещении в свободном пространстве положение центра бора будет совпадать с положением точки, соответствующей положение рукояти гаптик-устройства, в то время, как при наличии столкновения с моделируемым объектом перемещение бора остановиться в такой точке на поверхности объекта, для которой расстояние до точки, соответствующей положению рукояти будет минимальным. При этом возможно скольжение бора по поверхности и соскальзывание его в случаях, когда это возможно.
Определение нового положения виртуального инструмента производится пошагово, на каждом шаге происходит смещение центра бора на один воксель в одном из направлений, если это возможно. Непосредственно проверка наличия столкновения производится с использованием карт оккупации: если множество вокселей поверхности бора пересекается со множеством вокселей моделируемого объекта, то значит при перемещении в данном направлении произойдет столкновение. Поскольку проверка на пересечение производится перед каждым смещением на один воксель, столкновение обнаруживается до того, как произойдет взаимное проникновение бора и моделируемого объекта.
Описанный поиск положения виртуального инструмента происходит на каждой итерации обработки данных, получаемых с устройства тактильного ввода-вывода. Таким образом, расстояние, проходимое на каждой итерации достаточно мало для того, чтобы было возможно произвести все необходимые вычисления без падения частоты обработки ниже 1000 Гц.
Для имитации обработки моделируемого объекта бормашиной необходимо вычисление скорости удаления материала в каждой точке соприкосновения бора с поверхностью объекта. Скорость удаления материала зависит от линейной скорости перемещения резца в точке соприкосновения бора с поверхностью объекта. В свою очередь, линейная
—--—-
скорость резца в точке соприкосновения находится в прямой пропорциональной зависимости от радиуса бора в этой точке:
V = 2f, (1)
где V — линейная скорость в точке; f — частота вращения; R — расстояние до оси вращения в точке соприкосновения резца с поверхность объекта.
Из формулы (1) следует, что линейная скорость точки поверхности бора тем больше, чем больше расстояние от точки на поверхности бора до оси вращения.
Таким образом, объем удаляемого материала в каждой точке в единицу времени может быть вычислен по формуле:
V = 2л/ур, (2)
где у — объем удаляемого материала, определяемый качеством бора; р — коэффициент, определяемый свойствами материала, из которого состоит объект.
Кроме формы, важным фактором, влияющим на скорость удаления материала, является качество бора. Выделяют три основных типа боров:
♦ грубые стальные сферические розеточные боры (steel rosen);
♦ стальные боры с грубым напылением (gold diamond);
♦ тонкие алмазные боры (diamond).
Каждый из них характеризуется различной
скоростью удаления материала: быстрее всех удаляют материал розеточные боры, в то время, как алмазные боры производят удаление материала крайней медленно.
В случае розеточного бора объем материала, удаляемый каждой гранью при совершении одного оборота прямо пропорционален расстоянию между гранями, а значит обратно пропорционален их числу. Таким образом, возможно построение уравнения для у из уравнения (2):
í ^
Y = i
nR
-R2 cos-
п . п -sin-
Ne
N
(3)
E J
где к — высота сегмента в точке касания: для упрощения вычислений бор аппроксимируется при помощи цилиндров; Я — радиус бора в точке касания; ЫЕ — число режущих граней.
Данная математическая модель позволяет учитывать качество бора. В рамках модели все боры представляются как розеточные с различным числом режущих граней. Из приведнных формул видно, что такое представление допустимо.
Таким образом, с учетом уравнения (3), уравнение (2) примет вид:
( п п > V = Infi пД2 - R2cos-sin-
i ne ne j
Ц.
(4)
Свойства материала, описываемые коэффициентом ц, могут быть определены экспериментально, взяты из известных таблиц свойств материалов, либо данный коэффициент может быть подобран эмпирически.
Имитация обработки моделируемого объекта при помощи бормашины с использованием представленной модели основана на описанном ранее алгоритме обнаружения столкновений: в пределах шага трассировки перемещения инструмента допускается проникновение в моделируемый объект, после чего для всех пересекающихся вокселей вычисляется объем материала, который был из них удален, а затем вновь выполняется попытка смещения из предыдущей позиции уже без допущения проникновения. Таким образом объем удаляемого материала определяется в первую очередь параметрами бора, а не приложенной силой. Это является ключевым отличием от рассмотренных вариантов реализации имитации обработки [1; 2], в которых объем удаляемого материала определялся напротив в первую очередь в зависимости от оказываемого давления.
Расчет силы обратной связи для имитации взаимодействий с моделируемым объектом производится в соответствии с классической моделью виртуального связывания:
F = kx + d,
(5)
где ¥ — вектор силы обратной связи, используемой для имитации прикосновения; к — жесткость объекта; х — вектор, направленный из точки проекции положения рукояти гаптик-устройства в центр виртуального инструмента, расположенного на поверхности моделируемого объекта; с1 — коэффициент демпфирования, используемый для стабилизации системы обратной связи.
Расчет тангенциальной силы, возникающей при обработке объекта бормашиной, является важной составляющей симуляции, поскольку отработка практических навыков включает в себя в том числе и привитие умения противодействовать тангенциальной силе. Величина тангенциальной силы может быть достаточно велика, что значительно влияет на технику работы с бормашиной. Предла-
Журнал включен в Перечень рецензируемых научных изданий ВАК
~ 28 ~
Алайцев И.К., Мареев Г.О., Мареев О.В. Технические аспекты реализации хирургического симулятора...
----—-
гается вычисление тангенциальной силы следующим образом:
Р = IГ , (6)
где Г — число точек соприкосновения бора с поверхностью моделируемого объекта; Рт — величина тангенциальной силы; Рс — сила резанья для материала, из которого состоит объект; величина данной силы может быть определена на основании соответствующих моделей и формул, изучаемых в рамках науки о сопротивлении материалов; V — объем удаленного материала в точке соприкосновения; е — коэффициент, определяющий зависимость силы резанья от объема удаленного материала.
Считается, что в каждой точке тангенциальная сила перпендикулярна оси вращения бора и направлена по касательной к поверхности объекта в этой точке.
Вычисленное значение тангенциальной силы суммируется с силой обратной связи, вычисленной по формуле (5), и полученное значение используется для генерации соответствующего импульса со стороны гаптик устройства для имитации тактильного взаимодействия.
Описанные подходы, модели и методы легли в основу реализации хирургического симулятора с тактильной обратной связью, позволяющего обучать студентов обработке костных структур с ис-
пользованием бормашины. Проведенные испытания показали, что степень реализма достаточно высока, и ключевые особенности работы с бормашиной отображены в достаточной для привития базовых навыков степени.
ЛИТЕРАТУРА
1. Обзор систем виртуальной реальности для обучения хирургическим навыкам в области лица и шеи / Г.О. Мареев, О.В. Мареев, И.К. Алайцев, Т.В. Данилова // Мир науки, культуры и образования № 6 (55). Изд. «Редакция международного научного журнала Мир науки, культуры, образования» 2015. С. 92—96.
2. Основные принципы создания виртуального воксельного мира и реализации тактильной обратной связи в хирургических симуляторах / Г. О. Мареев, И.К. Алайцев, И.Ю. Ермаков, Т.В. Данилова, А.О. Ман-туров // Бюллетень медицинских интернет-конференций. 2016. URL: http://medconfer.com/node/6250.
3. Патент 160034 Российская Федерация, Устройство с тактильной обратной связью с дополнительными степенями свободы / Г. О. Мареев, О. В. Мареев, И.К. Алайцев; заявитель и патентообладатель Г.О. Мареев. № 2015145387; заявл. 21.11.2015; опубл. 05.02.2016.
4. Morris D. Haptics and physical simulation for virtual bone surgery: дис. Stanford University, 2006.
5. Petersik A. et al. Method for the simulation of the haptic of an interaction of a guided object with a virtual three-dimensional object: пат. 8396698 США. 2013.
TECHNICAL ASPECTS OF SURGICAL SIMULATOR WITH HAPTIC FEEDBACK
I.K. Alaytsev1, G.O. Mareev2, O. V. Mareev2
1 Yuri Gagarin Saratov State Technical University Saratov, Russian Federation, 410054
2Saratov State Medical University named after V.I. Razumovsky Saratov, Russian Federation, 410012
Annotation. Simulation systems application is a modern way for students training in surgery. Most of the existing approaches require specific consumables that are destroyed during training. Thus, the training becomes quite expensive while not providing standardization of training process and making it difficult to rate the quality of skills trained. Exploitation of virtual reality provides much better education standardization capabilities while eliminating the need for consumables and making it possible to semiautomatic rating of training results. This article describes technical aspects of implementation of such surgical simulation system with haptic feedback that is of great importance for surgeons training.
Key words: virtual reality, haptic feedback, simulation in education, haptic devices, computer tomography, segmentation.
REFERENCES
1. Mareev G.O., Mareev O.V., Alajcev I.K., Dani-lova T.V. Obzor sistem virtual'noj real'nosti dlya obucheniya xirurgicheskim navykam v oblasti lica i shei. Mir nauki, kul'-tury i obrazovaniya № 6 (55). Izd. «Redakciya mezhduna-rodnogo nauchnogo zhurnala Mir nauki, kul'tury, obrazovaniya» 2015. P. 92—96. (in Russian)
2. Mareev G.O., Alajcev I.K., Ermakov I.Yu., Dani-lova T.V., Manturov A.O. Osnovnye principy sozdaniya virtual'nogo voksel'nogo mira i realizacii taktil'noj obratnoj svyazi v xirurgicheskix simulyatorax. Byulleten' medicinskix
internet-konferencij. 2016. Available at: http://medconfer.com/ node/6250) (in Russian)
3. Mareev G.O., Mareev O.V., Alajcev I.K. Ustrojstvo s taktil'noj obratnoj svyaz'yu s dopolnitel'nymi stepenyami svobody. Patent 160034 Rossijskaya Federaciya, Zayavitel' i patentoobladatel' G.O. Mareev. № 2015145387; zayavl. 21.11.2015; opubl. 05.02.2016 (in Russian)
4. Morris D. Haptics and physical simulation for virtual bone surgery: dis. Stanford University, 2006.
5. Petersik A. et al. Method for the simulation of the haptic of an interaction of a guided object with a virtual three-dimensional object: пат. 8396698 США. 2013.
