CC BY
40
ХИРУРГИЯ ПОЗВОНОЧНИКА 2021. Т. 18. № 3. С. 94-99 | HIRURGIA POZVONOCHNIKA (SPINE SURGERY) 2021;18(3):94-99
е.в. Ковалев и др., 2021 e.v. kovalev et al., 2021
смартфон-ассистированная технология
дополненной реальности при предоперационном планировании в хирургии позвоночника
Е.В. Ковалев1, С.И. Кириленко1, А.Н. Мазуренко2, А.Е. Филюстин3, В.В. Дубровский4
1Гомельская областная клиническая больница, Гомель, Республика Беларусь 2Республиканский научно-практический центр травматологии и ортопедии, Минск, Республика Беларусь 3Республиканский научно-практический центр радиационной медицины и экологии человека, Гомель, Республика Беларусь 4Институт механики металлополимерных систем им. В.А. Белого, Гомель, Республика Беларусь
Цель исследования. Представление виртуальной трехмерной модели патологически измененных сегментов позвоночника пациента и анализ результатов ее применения при планировании хирургического вмешательства в виде дополненной реальности с использованием смартфона.
Материал и методы. Выполнили трехмерное моделирование целевого отдела предполагаемой зоны хирургического вмешательства на основе данных КТ пяти пациентов с различными деформациями позвоночника. Разработали приложение для смартфона, позволяющее выводить на экран трехмерный объект предполагаемой зоны операции в виде дополненной реальности.
Результаты. Созданные виртуальные трехмерные модели были успешно применены в пяти случаях при предоперационном планировании и проведении симуляционного тренинга перед хирургическим вмешательством, что позволило детально увидеть анатомические особенности позвоночника, расположение сосудистых структур при их контрастировании, спланировать направление винтов. Продемонстрирован потенциал применения дополненной реальности в клинической практике.
Заключение. Преимуществами метода смартфон-ассистированной технологии дополненной реальности при предоперационном планировании в хирургии позвоночника являются простота создания компьютерной модели, возможности для хирурга использования трехмерной модели для ориентирования в сложной анатомической зоне в любой момент операции, сокращение риска технических ошибок.
Ключевые слова: трехмерное моделирование, хирургия позвоночника, дополненная реальность.
Для цитирования: Ковалев Е.В., Кириленко С.И., Мазуренко А.Н., Филюстин А.Е., Дубровский В.В. Смартфон-ассистированная технология дополненной реальности при предоперационном планировании в хирургии позвоночника // Хирургия позвоночника. 2021. Т. 18. № 3. С. 94—99. DOI: http://dx.doi.Org/10.14531/ss2021.3.94-99.
smartphone-assisted augmented reality technology for preoperative planning in spine surgery
E.V. Kovalev1, S.I. Kirilenko1, A.N. Mazurenko2, А.Е. Filiustin3, V.V. Dubrovsky4 1Gomel Regional Clinical Hospital, Gomel, Republic of Belarus
2Republican Scientific and Practical Center of Traumatology and Orthopedics, Minsk, Republic of Belarus 3Republican Scientific and Practical Centre for Radiation Medicine and Human Ecology, Gomel, Republic of Belarus 4Institute of Mechanics of Metal-Polymer Systems n.a. V. A. Beliy, Gomel, Republic of Belarus
Objective. To present a virtual three-dimensional model of pathologically altered segments of the patient's spine and to analyze the results of its application when planning a surgical intervention in the smartphone-assisted augmented reality.
Material and Methods. A three-dimensional modeling of the target area of the intended surgical site was performed based on computed tomography data of five patients with various spinal deformities. A smartphone application has been developed that allows displaying a three-dimensional object of the intended surgical site in the form of augmented reality.
Results. The created virtual three-dimensional models were successfully used in five cases for preoperative planning and simulation training before surgery, which allowed to see in detail the anatomical features of the spine, the location of vascular structures when contrasting them, and to plan the direction of the screws. The potential of using augmented reality in clinical practice was demonstrated. Conclusion. The advantages of the smartphone-assisted augmented reality technology for preoperative planning in spine surgery are the simplicity of creating a computer model, the possibility for a surgeon to use a three-dimensional model for orientation in complex anatomical zone at any time of surgery, and the reduction in the risk of technical errors. Key Words: three-dimensional modeling, spine surgery, augmented reality.
Please cite this paper as: Kovalev EV, Kirilenko SI, Mazurenko AN, Filiustin АЕ, Dubrovsky VV. Smartphone-assisted augmented reality technology for preoperative planning in spine surgery. Hir. Pozvonoc. 2021;18(3):94—99. In Russian. DOI: http://dx.doi.org/10.14531/ss2021.3.94-99.
94
В настоящее время применение инновационных технологий является залогом развития и конкурентоспособности любой отрасли. Цифровая отрасль относится к одному из наиболее быстрорастущих сегментов современной компьютерной инженерии, все чаще применяющихся в медицине.
Дополненная реальность (AR -Augmented Reality, англ.) — это метод, при котором компьютерная графика накладывается на видео или рисунок реального мира. В полученном изображении оба объекта сосуществуют как единое целое [1]. Термин «дополненная реальность» впервые предложил Caudell в 1992 г., технологию использовали при сборке самолетов. Сборщики могли видеть информацию с помощью шлемов, имеющих полупрозрачные дисплейные панели
[2]. Конец 90-х гг. и начало 2000-х -эра прототипов мобильных устройств дополненной реальности. Одним из основоположников способа цифровой маркировки объектов с помощью дополненной реальности является Rekimoto, профессор в области информационных исследований. Устройство представляло собой дисплей с закрепленной на обратной стороне камерой, с которой изображение передавалось на компьютер, при обнаружении метки на экран выводилась информация об объекте. В 2010-х гг. дополненная реальность получила распространение на потребительском рынке. В 2014 г. корпорация Google начала продажу гарнитуры Google Glass. В 2016 г. компания Microsoft представила HoloLens - новое устройство для работы с дополненной реальностью.
Ежегодно проводится исследование индекса цифровой компетентности c определением количества инвестиций в цифровые технологии. Согласно статистике, в мире 10 % инвестиций вкладываются в дополненную реальность, в России - 15 %. При этом ожидается, что через три года этот показатель вырастет до 20 %
[3]. Разработка и применение метода дополненной реальности в медицине учитывает современные дости-
жения в области 3D-моделирования и 3D-прототипирования. Метод основан на использовании современных цифровых информационно-коммуникационных технологий и может улучшить качество предоперационного планирования и интраоперационной навигации.
Для реализации метода дополненной реальности необходимы два основных программных компонента: трекинг и визуализация. Под трекин-гом понимается отслеживание положения камеры устройства относительно системы координат. Виртуальная камера в трехмерном пространстве синхронизируется с физической камерой, за счет этого достигается корректное отображение трехмерной модели в окружающей обстановке [4, 5]. Для распознавания объектов чаще используется маркерная технология, в роли маркеров могут выступать логотипы, QR-коды, сгенерированные точки, физические объекты.
В настоящее время не существует публикаций, описывающих большой опыт применения дополненной реальности в хирургии позвоночника с использованием смартфона. Эти обстоятельства подтверждают актуальность данной публикации.
Цель исследования - представление виртуальной трехмерной модели патологически измененных сегментов позвоночника пациента и анализ ее применения при планировании хирургического вмешательства в виде дополненной реальности с использованием смартфона.
Материал и методы
На основании данных КТ пяти пациентов с различными деформациями позвоночника (дегенеративной многоплоскостной деформации, п = 2; деформации краниовертебральной области, п = 3) создали виртуальные трехмерные модели. Предложен способ формирования системы дополненной реальности, которая позволяет хирургам видеть виртуальную трехмерную модель на фоне реальной действительности. Использован-
ное программное обеспечение находится в свободном доступе на сайтах разработчиков. Приложение дополненной реальности может работать на смартфонах с операционной системой iOs и Android, а также в очках дополненной реальности HoloLens [6, 7]. В данном исследовании разработаны приложение для версии Android 4.1 «Jelly Bean», совместимое с системой Android до версии 9.0 «Pie».
Процесс создания трехмерной модели структур позвоночника в качестве нового способа предоперационного планирования состоит из ряда этапов (рис. 1). Перед операцией выполняется КТ предполагаемой зоны хирургического вмешательства на аппарате LightSpeed 16 Pro (General Electric), толщина среза - 1,25 мм (рис. 1.1). В результате исследования рабочая станция томографа формирует изображения индивидуальной анатомии пациента в формате Dicom. Изображения передаются на компьютер, где в специальном программном обеспечении происходит создание виртуальной трехмерной модели, которую затем экспортируют в файл с расширением stl [8, 9]. В графическом редакторе происходит обработка трехмерной модели и сохранение ее в формате obj (рис. 1.2) [10]. Далее в программном обеспечении платформы дополненной реальности Vuforia Software Developer Kit (PTC, Inc., Бостон, Массачусетс, США) для мобильных устройств производится регистрация имени проекта и загрузка графического носителя (QR-код), так называемого маркера, на основе которого строится виртуальный трехмерный объект (рис. 1.3) [11]. После совмещения объектов эти данные в формате приложения переносятся в исходное программное обеспечение, работающее на смартфоне (рис. 1.4, 1.5) [12, 13].
Приложение дополненной реальности совместимо с широким спектром устройств, использующих операционные системы Android и iOS. При запуске установленного приложения и наведении камеры смартфона на выбранное ранее графическое изображение (маркер), после считыва-
95
1 2
КТ, МРТ ■w ПК 1
г J
3
QR-код
Рис. 1
Схема работы AR-системы (объяснение в тексте): 1 — данные компьютерной, МР-томографии; 2 — персональный компьютер; 3 — графический носитель (QR-код); 4 — камера смартфона; 5 — схема работы дополненной реальности
5
ния информации и ее обработки программным обеспечением, формируются элементы дополненной реальности в виде трехмерной модели и выводятся на экран смартфона. Приложение позволяет рассмотреть виртуальную модель со всех сторон, в том числе и внутренние структуры.
Результаты
Данная технология апробирована клинически. Созданы виртуальные трехмерные модели области хирургического вмешательства у пациентов с деформацией краниовертебраль-ной области (п = 3). Это позволило увидеть анатомические особенности,
ход сосудов при их контрастировании. У пациентов с дегенеративной многоплоскостной деформацией позвоночника (n = 2), кроме визуализации анатомических структур, дополнительно на этапе графической обработки трехмерной модели смоделированы направляющие цилиндры, имитирующие ход предполагаемых винтов для транпедикулярной фиксации. Построение с виртуальных направляющих цилиндров дает дополнительную информацию о траектории винта для выполнения стабилизирующей операции. Данная технология позволила рассмотреть виртуальный 3D-объекг на 360°, а также внутренние структуры при приближении камеры смартфона. Дополнительная визуальная информация и проведение симу-ляционного тренинга способствуют повышению уровня компетенций хирурга на предоперационном этапе.
Представляем один из примеров практического применения смартфон-ассистированной технологии дополненной реальности.
Пациент Р., 62 лет, с закрытым несросшимся переломом зубовидного отростка С2 позвонка со смещением и стенозом позвоночного канала, цер-викальной миелопатией, умеренным тетрапарезом (рис. 2).
С учетом сложности хирургического вмешательства, осуществляемого в краниовертебральной области, в качестве способа предоперационного планирования использовали виртуальную трехмерную модель в виде дополненной реальности (рис. 3). Время с момента выполнения КТ и до создания приложения для смартфона составило 30 мин.
Выполнили заднюю декомпрессию содержимого позвоночного канала на уровне затылочной кости и задней дуги С позвонка с фиксацией краниовертебральной области крючково-винтовой металлоконструкцией с целью окципитоспондилодеза. Провели КТ-обследование пациента после операции (рис. 4). Время операции - 3,5 ч.
После операции пациент прошел раннюю реабилитацию в нейрохи-
u СГ
Cl Р
Ш&
Рис. 2
КТ пациента Р., 62 лет: а — режим трехмерного моделирования до операции; б — сагиттальная проекция до операции; определяется перелом зубовидного отростка С2 позвонка типа II со смещением и стенозом позвоночного канала
96
б
рургическом отделении в течение 7 дней, далее направлен в отделение реабилитации для восстановительного лечения.
Обсуждение
Отработку этапов операции на трехмерной модели успешно применили в 5 случаях в ходе предоперационного планирования и проведения симуля-ционного тренинга перед хирургическим вмешательством, что позволило детально увидеть анатомические особенности позвоночника, расположение сосудистых структур при их контрастировании и спланировать направление винтов. Это дало возможность спрогнозировать и снизить
риски ятрогенного повреждения сосудистых и нервных образований.
Цифровые технологии формируют новый вид обучения и повышают уровень образования, увеличивают уровень доступности и качество медицины, в течение последних лет наблюдается активное их развитие. Возможности современных процессоров и полноценная операционная система смартфонов позволили дополненной реальности выйти за пределы сфер развлечений и охватить новый уровень деятельности человека, в частности медицину [14, 15].
Применение дополненной реальности в хирургии с использованием смартфона становится все более акту-
альным в последние годы. В 2020 г. группа авторов в области сосудистой хирургии разработала и применила новую гибридную систему оптического и гироскопического трекинга дополненной реальности, что повысило стабильность изображения. Работа выполнена с применением смартфона [16].
Проецирование виртуальных объектов на физическое тело широко применяется в предоперационном планировании и в нейрохирургии. При этом авторы используют для создания дополненной реальности проекторы и планшеты [15, 17]. Исследования показывают точную и эргономичную интраоперационную навигацию.
На примере 20 пациентов представлена работа из области челюст-но-лицевой хирургии с проецированием патологического виртуального объекта через фиксируемый маркер на нижнюю челюсть. Позиционная погрешность колебалась в пределах 0,52-2,00 мм (среднее значение 0,96 мм; стандартное отклонение 0,51 мм). Авторы считают эти значения ошибок незначительными и делают вывод, что система дополненной реальности считается точной [18].
Проблемой современных систем регистрации и слежения является ограничение отслеживания маркеров на подвижной или деформируемой анатомии пациента. Статическая анатомия (например, костная) дает высокую степень точного позиционирования виртуального объекта в ортопедических и нейрохирургических системах дополненной реальности. Динамические структуры (например, внутрибрюшные, органы грудной клетки), которые перемещаются и деформируются при дыхании и перистальтике, являются неподходящими для применения рассматриваемых методов.
Преимуществом представленной системы дополненной реальности, по сравнению с обычными стационарными навигационными системами, является прямая и улучшенная визуализация интересующих статических областей. Кроме того, система явля-
Рис. 3
Этапы получения виртуальной трехмерной модели фрагмента позвоночника: а — модель, построенная по данным КТ; б — модель, подготовленная для работы в программе с дополненной реальностью; в — соединение трехмерной модели с QR-кодом и написание приложения для смартфона; г — работа приложения и отображение модели позвоночника на экране телефона
97
Рис. 4
Данные послеоперационного КТ-обследования пациента Р., 62 лет: а — КТ в сагиттальной проекции; б, в — КТ в аксиальной проекции; определяется корректное расположение винтов в корнях С2 и С3 позвонков с двух сторон; г — интраопе-рационная фотография с установленной краниовертебральной конструкцией и фиксированным аутотрансплантатом из гребня подвздошной кости
ется недорогой и простой в воспроизведении. Однако потребность знания компьютерных программ может ограничивать ее широкое распростране-
ние. В настоящее время не существует публикаций, описывающих большой опыт применения дополненной реальности в хирургии позвоноч-
ника с использованием смартфона. Эти обстоятельства подтверждают актуальность данной публикации. В работе представлено пилотное в Республике Беларусь применение методики дополненной реальности при предоперационном планировании с использованием смартфона.
Заключение
Развивающиеся технологии компьютерного и программного обеспечения, в том числе платформы дополненной реальности, активно внедряются в практическую медицину. Их возможности заключаются в преимуществах виртуального планирования или моделирования плана операции, в повышении компетенций хирурга с позиции трехмерного планирования на предоперационном этапе, а также сокращении сроков обучения хирурга.
Преимуществами метода смартфон-ассистированной технологии дополненной реальности в предоперационном планировании в хирургии позвоночника являются простота создания компьютерной модели, возможности использования трехмерной модели для ориентирования в сложной анатомической зоне в любой момент операции, сокращение риска технических ошибок.
Исследование не имело спонсорской поддержки. Авторы заявляют об отсутствии конфликта интересов.
Литература/References
1. Lovo EE, Quintana JC, Puebla MC, Torrealba G, Santos JL, Lira IH, Tagle P.
A novel. inexpensive method of image coregistration for applications in image-guided surgery using augmented reality. Neurosurgery. 2007;60(4 Suppl 2):366-372. DOI: 10.1227/01.NEU.0000255360.32689.FA.
2. Caudell TP, Mizell DW. Augmented reality: an application of heads-up display technology to manual manufacturing processes. In: Proceedings of the Twenty Fifth Hawaii International Conference on System Sciences, Kauai, HI, USA, Feb 7-10, 1992: Vol. 2. P. 659-669. DOI: 10.1109/HICSS.1992.183317.
3. Всемирное исследование Digital IQ за 2017 год. Цифровое десятилетие. В ногу со временем. [Electronic resource]. https://www.pwc.ru/ru/publications/globaldigital-iq-survey-rus.pdf (дата обращения: 10.11.2020). [2017 Global Digital IQ® Survey.
A decade of digital. Keeping pace with transformation. [Electronic resource]. https:// www.pwc.ru/ru/publications/globaldigital-iq-survey-rus.pdf. Date of access: 10.11.2020].
4. Leger E, Reyes J, Drouin S, Popa T, Hall JA, Collins DL, Kersten-Oertel M. MARIN: an open-source mobile augmented reality interactive neuronavigation system. Int J Comput Assist Radiol Surg. 2020;15:1013-1021. DOI: 10.1007/s11548-020-02155-6.
5. Кравцов А.А., Лойко В.И. Совершенствование пользовательского интерфейса визуализации трехмерных объектов при помощи технологии дополненной реальности // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета. 2014. № 100. С. 431-445. [Kravtsov AA, Loiko VI. Improving three-dimensional object visualization user
98
interface with augmented reality technology. Scientific Journal of KubSAU. 2014;(100): 1408-1420. In Russian].
6. Deng W, Li F, Wang M, Song Z. Easy-to-use augmented reality neuronavigation using a wireless tablet PC. Stereotact Funct Neurosurg. 2014;92:17-24. DOI: 10.1159/000354816.
7. Hou Y, Ma L, Zhu R, Chen X, Zhang J. A low-cost iPhone-assisted augmented reality solution for the localization of intracranial lesions. PLoS ONE. 2016;11:e0159185. DOI: 10.1371/journal.pone.0159185.
8. 3D Slicer. [Electronic resource]. URL: https://www.slicer.org (дата обращения: 10.11.2020). [3D Slicer. [Electronic resource]. URL: https://www.slicer.org. Date of access: 10.11.2020].
9. Ungi T, Lasso A, Fichtinger G. Open-source platforms for navigated image-guided interventions. Med Image Anal. 2016;33:181-186. DOI: 10.1016/j.media.2016.06.011.
10. Blender [Electronic resource]. URL: https://www.blender.org/download (дата обращения: 10.11.2020). [Blender [Electronic resource]. URL: https://www.blender. org/download. Date of access: 10/11/2020].
11. Vuforia [Electronic resource]. URL: https://developer.vuforia.com (дата обращения: 10.11.2020). [Vuforia [Electronic resource]. URL: https://developer.vuforia.com. Date of access: 10.11.2020].
12. Perez-Pachon L, Poyade M, Lowe T, Groning F. Image overlay surgery based on augmented reality: a systematic review. In: Rea P.M. (ed). Biomedical Visualisation. Advances in Experimental Medicine and Biology, Vol 1320. Springer, Cham, 2020:175-195. DOI: 10.1007/978-3-030-47483-6_10.
13. Unity [Electronic resource]. URL: https://unity.com/ru (дата обращения: 10.11.2020). [Unity [Electronic resource]. URL: https://unity.com/ru. Date of access 10.11.2020].
14. Guha D, Alotaibi NM, Nguyen N, Gupta S, McFaul C, Yang VXD. Augmented reality in neurosurgery: a review of current concepts and emerging applications. Can J Neurol Sci. 2017;44:235-245. DOI: 10.1017/cjn.2016.443.
15. Watanabe E, Satoh M, Konno T, Hirai M, Yamaguchi T. The trans-visible navigator: a see-through neuronavigation system using augmented reality. World Neurosurg. 2016;87:399-405. DOI: 10.1016/j.wneu.2015.11.084.
16. Aly O. Assisting vascular surgery with smartphone augmented reality. Cureus. 2020;12:e8020. DOI: 10.7759/cureus.8020.
17. Besharati Tabrizi L, Mahvash M. Augmented reality-guided neurosurgery: accuracy and intraoperative application of an image projection technique, J Neurosurg. 2015;123:206-211. DOI: 10.3171/2014.9.JNS141001.
18. Zhu M, Liu F, Chai G, Pan JJ, Jiang T, Lin L, Xin Y, Zhang Y, Li Q. A novel augmented reality system for displaying inferior alveolar nerve bundles in maxillofacial surgery. Sci Rep. 2017;7:42365. DOI: 10.1038/srep42365.
Адрес для переписки:
Ковалев Евгений Владимирович
246029, Республика Беларусь, Гомель, ул. Братьев Лизюковых, 5, Гомельская областная клиническая больница, [email protected]
Address correspondence to:
Kovalev Evgeny Vladimirovich Gomel Regional Clinical Hospital,
5 Bratjev Lizyukovykh str., Gomel, 246029, Republik of Belarus, [email protected]
Статья поступила в редакцию 17.03.2021 Рецензирование пройдено 27.05.2021 Подписано в печать 02.06.2021
Received 17.03.2021 Review completed27.05.2021 Passed for printing 02.06.2021
Евгений Владимирович Ковалев, врач-нейрохирург, Гомельская областная клиническая больница, Республика Беларусь, 246029, Гомель, ул. Братьев Лизюковых, 5, ORCID: 0000-0002-2358-2897, [email protected];
Сергей Иванович Кириленко, канд. мед. наук, врач-нейрохирург, заведующий нейрохирургическим отделением № 2, Гомельская областная клиническая больница, Республика Беларусь, 246029, Гомель, ул. Братьев Лизюковых, 5, ORCID: 0000-0003-2681-1533, [email protected]; Андрей Николаевич Мазуренко, канд. мед. наук, доцент, докторант, заведующий лабораторией травматических повреждений позвоночника и спинного мозга, нейротравматолог, Республиканский научно-практический центр травматологии и ортопедии, Республика Беларусь, 220024, Минск, ул. ЛейтенантаКижеватова, 60, к. 4, ORCID: 0000-0002-4883-5598, [email protected];
Андрей Евгеньевич Филюстин, врач-рентгенолог, заведующий отделением лучевой диагностики, Республиканский научно-практический центр радиационной медицины и экологии человека, Республика Беларусь, 246040, Гомель, ул. Ильича, 290, ORCID: 0000-0002-5358-245X, [email protected]; Владислав Викторович Дубровский, научный сотрудник, Институт механики металлополимерных систем им. В.А Белого, Республика Беларусь, 246050, Гомель, ул. Кирова, 32а, ORCID: 0000-0002-6172-3371, [email protected].
Evgeny Vladimirovich Kovalev, neurosurgeon, Gomel Regional Clinical Hospital, 5 Bratjev Lizyukovykh str., Gomel, 246029, Republik of Belarus, ORCID: 0000-0002-2358-2897, kovalevsurgery@mail. ru;
Sergey Ivanovich Kirilenko, neurosurgeon, Gomel Regional Clinical Hospital, 5 Bratjev Lizyukovykh str., Gomel, 246029, Republik of Belarus, ORCID: 0000-00032681-1533, [email protected];
Andrey Nikolayevich Mazurenko, MD, PhD, neurosurgeon, assistant professor, doctoral student, Head of Laboratory for vertebrae and spinal cord injuries, neu-rotraumatologist, Republican Scientific and Practical Centre for Traumatology and Orthopedics, 60 (site 4) Leytenanta Kizhevatova str., Minsk, 220024, Republik of Belarus, ORCID: 0000-0002-4883-5598, [email protected];
Andrey Evgenyevich Filiustin, radiologist, Head of the Department of Radiation Diagnostics, Republican Scientific and Practical Center for Radiation Medicine and Human Ecology, 290 Ilyicha str., Gomel, 246040, Republik of Belarus, ORCID: 0000-0002-5358-245X, [email protected];
Vladislav Viktorovich Dubrovsky, researcher, Institute of Mechanics of Metal-Polymer Systems n.a. V.A Beliy, 32a Kirova str., Gomel, 246050, Republik of Belarus, ORCID: 0000-0002-6172-3371, [email protected].
99
