CC BY
347
Дополненная реальность в медицине
Е.Д. Намиот
Аннотация— Дополненная реальность - это актуальное направление в современной компьютерной инженерии. Основной задачей дополненной реальности является перенесение трехмерных виртуальных объектов в реальном времени в трехмерную реальную среду. Данная технология отличается от технологии виртуальной реальности, в которой пользователь способен полностью погрузиться в виртуальный мир. Таким образом, за счет возможности генерирования каких-либо трехмерных объектов и дальнейшей их интеграции в реальную среду, технологии дополненной реальности широко используются в хирургической практике, а именно в обучении будущих хирургов. С помощью дополненной реальности стало возможным моделирование различных операций в режиме онлайн, что значительно облегчает, например, практическую часть обучения будущих хирургов. При использовании данных технологий также открывается возможность моделирования различных патологических ситуаций с использованием искусственно созданных изображений органов. Таким образом, технологии дополненной реальности являются перспективным и активно развивающимся направлением в медицине. В данной статье будут рассмотрены различные инженерные особенности дополненной реальности, которые применяются в разных сферах медицины, а также в хирургии.
Ключевые слова — дополненная реальность, медицина, хирургия.
I. Введение
Дополненная реальность (ЛЯ) считается одной из вариаций виртуальной реальности. В свою очередь, виртуальная реальность позволяет человека полностью ограничивать от реальной среды, перенося его в другой мир путем создания движущегося изображения другого мира, а также имитации звуков и иногда даже запахов. Дополненная реальность, хотя и является одной из вариаций виртуальной реальности, на самом деле кардинально от нее отличается. Дополненная реальность не создает виртуальный мир заново, а, что в принципе понятно из названия данной технологии, лишь дополняет реальную среду. Процесс дополнения происходит за счет добавления отдельных искусственных элементов [1].
На рисунке 1 показ проект Лссиует [2] и одно из его применений - карта вен непосредственно на теле пациента.
Рис.1. Лссиует [2]
Помимо специализированных устройств (как в проекте Лссиует, например) в качестве пользовательского устройства может выступать обычный телефон (планшет), когда пользователь смотрит в камеру телефона (рис. 2) или, в последнее время, специальные очки (рис. 3).
Рис. 2. Дополненная реальность в камере мобильного телефона (дополнительная информация о реальном объекте - автомобиле) [3]
Рис. 3. Очки дополненной реальности [4]
Статья получена 19 сентября 2019.
Е.Д. Намиот - МГМУ им. И.М. Сеченова (e-mail: enamiot @ gmail.c om).
Для того, чтобы ЛЯ смогла наложить какой-либо искусственно созданный объект, ей, для начала,
необходимо распознать реально существующий. Таким образом, в основе работы дополненной реальности лежит способность распознавать существующие образы, а также отслеживать различные маркеры. Первая задача является достаточно легко выполнимой при условии создания некоторой библиотеки, которая будет содержать различные фотографии тех образов, с которыми должна столкнуться AR. В случае создания хирургических приложений необходимо обеспечить доступ к серверу, где будут находиться различные фотографии операционного стола, макетов пациентов или реальных анатомических снимков, хирургических инструментов. К примеру, необходимо узнать скальпель, для этого AR должна иметь доступ к серверу, где собраны разные изображения скальпелей, а также обозначена общая структура, цвет, различные произвольные параметры. Всему набору данных в конце присваивается определенное действие в случае обнаружения на картинке.
Маркеры нужны для определения конкретного места, которое мы собираемся изменить с помощью дополненной реальности. К примеру, мы собираемся сделать удаления нижних двух ребер и хотим посмотреть, как именно это будет выглядеть. Для того, чтобы дополнить реальность, то есть убрать два нижних ребра мы должны присвоить им некий QR-код по которому AR программа будет понимать, что два нижних ребра являются именно тем местом, с которым необходимо будет проводить различные манипуляции.
Однако вносить различные маркеры в моделировании хирургических операций представляется достаточно сложной задачей. Ведь организм каждого человека уникален, а, значит, уникальна и клиническая картина, которую мы будем наблюдать, поэтому сделать маркер индивидуальным под каждую ситуацию - задача довольно непростая. В данном случае, как правило, используется система SLAM, которая обычно используется в приложениях для построения маршрута. SLAM (Simultaneous Localization and Mapping) - это технология, которая различает объекты физического мира по их свойствам [5].
SLAM раскладывает полученное изображения на геометрические объекты или линии. После чего каждой отдельной форме присваивается своя точка, благодаря чему система становится способной распознать какой-либо новый объект, не опираясь на базу данных, состоящую из различных маркеров. То есть, если обобщить все выше сказанное технология SLAM позволит определить какой-либо предмет на основе его геометрических и линейных составляющих и сравнении данных характеристик с теми, которые система встречала ранее. Данная система отлично подходит для распознавания различных зданий, так как по своей геометрической структуре они мало чем отличаются, однако вряд ли может быть полностью интегрирована в медицинские технологии. Несмотря на этот недостаток,
благодаря наличию данной системы появляется возможность не вносить маркеры для распознавания каждого из ребер, так как они имеют анатомические различия. К примеру, первое ребро является плоской короткой костью, которая имеет свои анатомические особенности, не позволяющие лишь по одному внешнему виду программе определить данную кость, как ребро. То есть для отнесения первого ребра к категории, включающую другие ребра, будет необходимо внести такие маркеры, которые будут распознавать, к примеру, находящийся на первом ребре бугорок передней лестничной мышцы. Однако при разбиении полученной картинки первого ребра геометрические фигуры оказываются сходными с таковыми при разбиении картинок остальных ребер.
Таким образом получается, что для успешной интеграции ЛЯ в клиническую практику необходимо комплексное использование различных структур, включающих как базы данных различных хирургических предметов, так и маркеры и SLAM-технологии.
Описав основные принципы работы дополненной реальность, можно перейти непосредственно к применению данной технологии в медицине.
II. Дополненная реальность в реабилитологии
Первой областью применения дополненной реальности станет не столько хирургия, сколько последствия различных хирургических манипуляций. Многие пациенты страдают так называемыми фантомными болями. Фантомная боль возникает чаще всего при ампутации любой части тела. То есть человек начинается чувствовать неприятные болевые ощущения, к примеру, в отсутствующей ноге. Боль может продолжаться как несколько секунд, так и несколько часов. Данный феномен является одной из самых серьезных неврологических проблем, с которыми сталкиваются врачи-хирурги и врачи-реабилитологи после проведения операций по ампутации различных частей тела. Иногда боли, которые испытывает пациент становятся невыносимыми, а основным клиническим решением данной проблемы является принятие пациентом обезболивающих средств.
Однако сотрудники технического университета Чалмерса создали новый терапевтический подход к решению данной проблемы. С помощью технологий дополненной реальности была создана программа, позволившая пациентам с ампутированной рукой в режиме онлайн наблюдать картинку, в которой у них было обе руки. Во время использования технологий дополненной реальности, пациентам предлагалось напрягать мышцы на виртуально созданной отсутствующей руке. По окончании клинического эксперимента отмечалось, что частота появления фантомных болей у пациентов, использовавших дополненную реальность значительно снизилась. То, как
выглядел данный клиническии эксперимент показано на рисунке 4 [6].
является одним из самых надежных в психиатрической практике, когда пациент способен анализировать всю произошедшую ситуацию, тем самым снижая свой страх перед произошедшим [8].
На рисунке 5 предоставлена фотография одного из пациентов, использующего в данном случае технологию Mixed Reality для восстановления событий произошедшей ситуации.
Рис.4 Пациент с ампутированной верхней конечностью с помощью дополненной реальности двигает ампутированной рукой [7].
Из приведенного выше примера вытекает важное свойство, благодаря которому технологии дополненной реальности широко используются медицины - создание эффекта "плацебо". Искусственно создавая ампутированную руку в режиме дополненной реальности, мы обретаем способность "обмануть" мозговую деятельность, видя, что рука не ампутирована, мозг человека постепенно настраивается на эту мысль, и именно поэтому интенсивность фантомных болей в исследовании, описанном выше, так значительно снижается.
Таким образом, в будущем возможно создание программ дополненной реальности, в которых пациент будет видеть, как защитные клетки организма уничтожают бактерии и вирусы, тем самым задействовав в мозгу представление об их работе. Естественно, эффект плацебо нельзя считать основополагающим в процессе лечения, однако для улучшения психоэмоционального состояния больного, а также в целях незначительного улучшения динамики течения заболевания использование дополненной реальности является оправданным.
III. Дополненная реальность в психотерапии
Еще одним заболеванием психологического характера, с которым достаточно часто сталкиваются врачи, является посттравматический синдром. Посттравматический стрессовый синдром (PTSD) -заболевание, которое наблюдается у людей перенесших различные ДТП, аварии, участвовавших в военных конфликтах. Данная патология отражается не только на психоэмоциональном состоянии больного, но зачастую характерны клинические проявления, представляющие реальную угрозу. Например, отмечается, что люди с посттравматическим синдромом часто имеют тахикардию, а также различные проблемы дыхательной системы, вызванные паническими атаками. C помощью как AR, так и VR технологий (Mixed Reality) пациентов погружают в ту обстановку, в которой была получена психологическая травма. Таким образом, данный способ
Рис 5. Mixed Reality в лечении PTSD [9].
IV. Дополненная реальность в кардиологии
Прежде чем приступить к любой операции на сердце, хирургу необходимо понять, с чем он, в принципе, имеет дело. В данных целях проводят ЭКГ, рентгенографию грудной клетки, МРТ и другие анализы, которые помогают врачам лучше подготовиться к тому, что их ждет при проведении реальной операции. Все перечисленные выше процедуры являются достаточно дорогостоящими, а также застрачивают большое количество времени как врача, так и пациента. Термин персонализированное моделирование заболеваний вводится именно с целью сокращения времени на проведения различных обследований, тем самым уменьшая временной промежуток между началом лечения пациента и его полным выздоровлением.
С помощью применения AR-технологий был разработан проект CardiAssist, в котором был реализован модуль теле-консультаций, который использует как ультразвуковые изображения, так и трехмерные (3D) анимированные модели сердца. Данная программа позволяет в режиме реального времени моделировать сердце пациента, учитывая его физиологические и анатомические особенности. Данная программа также позволяет добавлять наличие практически любых патологий сердца, воздействия которых, к примеру, на коронарные артерии сердца можно будет увидеть в режиме реального времени [10].
Более того, CardiAssist обладает функцией сохранения результатов, то есть полученную модель можно будет сохранить в виде картинки на компьютере, что позволит в дальнейшем возвращаться к некоторым моментам развития патологии без моделирования
кардиологического заболевания заново.
На рисунках 6 и 7 представлены примерные изображения того, как выглядят модели сердца. В случае рисунка 6 - более профессиональное изображение, которое можно использовать в реальной клинической практике, а на рисунке 7 изображение, которое может быть применено при анализе тока крови в сердечных артериях. Основным отличием изображений 6 и 7 является то, что рисунок 6 демонстрирует моделирование кардиологических заболеваний на уровне клинических проявлений, а на рисунке 7 показана возможность с помощью дополненной реальности моделировать патологический процесс с физиологической точки зрения.
Рис 6. Моделирование сердца с помощью дополненной реальности [11].
Рис 7. Моделирование сердца с помощью технологий дополненной реальности [12].
V. Использование дополненной реальности в нейрохирургии
Нейрохирургия является одной из самых малоизученных областей хирургии. До сих пор не определено в полной степени функции различных частей мозга, врачи лишь в общем знают границы, например, центра речи. Известно также, что у некоторых людей хорошо развита компенсаторная функция мозга, то есть при повреждении одной из
частей ее функцию на себя берет другая. Однако, детально данный процесс все еще является неизученным.
Основным выводом из всего выше сказанного является то, что при проведении нейрохирургических операций врачу необходимо как можно больше различных вспомогательных средств, а также средств диагностики, которые бы могли подробнее описать хирургу происходящие физиологические процессы.
Новая разработанная технология включает в себя программу, которая называется Surgical Theater, использующую КТ и МРТ сканирование для создания 3D реконструкции анатомии пациента, а также навигационное программное обеспечение от компании Brainlab. Surgical Theater помогает планировать метод лечения и избегать критических структур, расположенных вблизи опухолей и аневризмов. Также представляет возможным использование формата DICOM и технологию Surgical Theater для создания объемных виртуальных моделей мозга, и кроме того — применение гарнитуру для головы Oculus для визуализации хода предстоящей операции [13].
Пример применения Surgical Theater в нейрохирургии представлен на рисунке 8.
Рис. 8 Surgical theater в нейрохирургии [14].
VI. Использование дополненной реальности в
диагностике нейродегенеративных и неврологических заболеваний
Синдром Альцгеймера - серьезное заболевание, с которым сталкивается достаточно большая часть населения, достигая определенного возраста. Данное заболевание является одной из форм распространения деменции. Одним их характерных проявлений данного заболевания является накопление различных форм белка в мозговых структурах, за счет чего происходит нарушение контакта между сцепляющимися нейронами и, соответственно, нарушение проведения импульса.
Современная диагностика данного заболевания в основном основана на сборе подробного анамнеза. Для
того, чтобы отличить болезнь от других патологий и разновидностей деменции, могут быть использованы сложные методы медицинской визуализации — компьютерная томография, магнитно-резонансная томография, однофотонная эмиссионная компьютерная томография или позитронно-эмиссионная томография. Для упрощения проведения данных диагностических процедур была предложена технология, сочетающая в себе как ЛЯ, так и УЯ технологии.
Как уже было сказано ранее, синдром Альцгеймера нарушает проведения импульса, поэтому человек постепенно начинает забывать какие-то моменты из жизни. В самых запущенных случаях больной может забыть о базовых навыках необходимых для поддержания стабильного уровня жизни. Таким образом, с помощью предложенных выше технологий создаются маленькие фильмы в режиме УЯ, которые будут напоминать человеку о тех вещах, которые связаны с его жизнью. В свою очередь, ЛЯ технологии могут использоваться для наложения изображения с некоторыми инструкциями по использованию на различные предметы, чтобы помогать человеку адаптироваться к сложившейся ситуации [15].
Следующим достаточно серьезным заболеванием неврологического характера является болезнь Паркинсона. Данный синдром относится к дегенеративным заболеваниям экстрапирамидной моторной системы. Диагностика болезни Паркинсона в большинстве случаев заключается в определении наличия у пациента гипокинезии и одного из симптомов: тремора покоя или ригидности. То есть диагностика болезни Паркинсона в основном основывается на наличие тех или иных симптомов, что значит, что предупредить развитие болезни заранее является очень трудновыполнимой задачей.
Однако при помощи ЛЯ и УЯ технологий пациента погружают в виртуальную среду, в которой его виртуальное положение в пространстве меняется, в свою очередь, специальные сенсоры отслеживают изменение положения тела в физическом мире, при этом внутреннее ухо помогает поддерживать правильный баланс. Если человек легко выходит из равновесия и не способен его заново приобрести, значит, есть повод обратиться к специалисту [16].
Таким образом, технологии дополненной реальности являются ключом к ранней диагностике заболевания Паркинсона. Чем раньше диагностируется заболевание, тем легче проводить дальнейшее лечение.
VII. Заключение
Ниже составлены обобщенные характеристики и наиболее выгодные сферы применения, как в хирургии, так и при диагностике.
1. ЛЯ не позволяет полностью лечить заболевание,
что не позволяет использовать данную технологию в качестве единственного способа улучшения клинической картины.
2. Наиболее перспективным направлением развития AR технологий в медицине является их использование в психотерапевтических целях, а также в целях создания моделей различных заболеваний.
Дальнейшей перспективной областью развития AR является диагностика нейродегенеративных, а также неврологических заболеваний, однако ввиду того, что механизмы развития данных патологий изучены не до конца, нельзя сказать, что применение AR является незаменимым при диагностике.
Библиография
[1] Fischer, Jan, et al. "Medical Augmented Reality based on Commercial Image Guided Surgery." EGVE. 2004.
[2] Accuvein.com /https://www.accuvein.com/.
[3] Getting started with Augmented Reality https://towardsdatascience.com/getting-started-with-augmented-and-virtual-reality-a51446661c3
[4] Karl Guttag on Technology https://www.kguttag.com/category/near-eye-augmented-reality/
[5] Reitmayr, Gerhard, et al. "Simultaneous localization and mapping for augmented reality." 2010 International Symposium on Ubiquitous Virtual Reality. IEEE, 2010.
[6] Dunn, Justin, et al. "Virtual and augmented reality in the treatment of phantom limb pain: a literature review." NeuroRehabilitation 40.4 (2017): 595-601.
[7] B. Smith, "An approach to graphs of linear forms (Unpublished work style),
[8] Beidel, Deborah C., et al. "Trauma management therapy with virtual-reality augmented exposure therapy for combat-related PTSD: A randomized controlled trial." Journal of anxiety disorders (2017).
[9] The American Homefront https://americanhomefront.wunc.org/post/after-success-florida-use-virtual-reality-treat-ptsd-expanding
[10] Silva, Jennifer NA, et al. "Emerging applications of virtual reality in cardiovascular medicine." JACC: Basic to Translational Science 3.3 (2018): 420-430.
[11] AR spot https://www.avrspot.com/holographic-mixed-augmented-reality-taking-off-2018/
[12] Medmovie https://medmovie.com/augmented-reality-heart/
[13] Meola, Antonio, et al. "Augmented reality in neurosurgery: a systematic review." Neurosurgical review 40.4 (2017): 537-548.
[14] Clinical neurology and neurosurgery https://www.sciencedirect.com/science/article/pii/S0303846718304517
[15] Rohrbach, Nina, et al. "An augmented reality approach for ADL support in Alzheimer's disease: a crossover trial." Journal of neuroengineering and rehabilitation 16.1 (2019): 66.
[16] Abbasi, Jennifer. "Augmented reality takes Parkinson disease dance therapy out of the classroom." Jama 317.4 (2017): 346-348.
On augmented reality in medicine
Eugenia Namiot
Abstract — Augmented reality is an actual trend in modern computer engineering. The main task of augmented reality is to transfer three-dimensional virtual objects in real-time into a three-dimensional real environment. This technology differs from virtual reality technology, in which the user can fully immerse himself in the virtual world. Thus, due to the possibility of generating any 3D-objects and their further integration into the real environment, augmented reality technologies are widely used in surgical practice, namely in training future surgeons. With the help of augmented reality, it has become possible to simulate various surgeries online, which greatly facilitates, for example, the practical part of the training of future surgeons. Using these technologies, the doctor can learn different surgical manipulations without using different real training material, which is often quite expensive and very different from the real tissues and organs that the surgeon has to face in the future. This article will consider various engineering features of augmented reality, which are used in different sections of surgery.
Keywords — augmented reality, medicine, surgery.
References
[1] Fischer, Jan, et al. "Medical Augmented Reality based on Commercial Image Guided Surgery." EGVE. 2004.
[2] Accuvein.com /https://www.accuvein.com/.
[3] Getting started with Augmented Reality https://towardsdatascience.com/getting-started-with-augmented-and-virtual-reality-a51446661c3
[4] Karl Guttag on Technology https://www.kguttag.com/category/near-eye-augmented-reality/
[5]Reitmayr, Gerhard, et al. "Simultaneous localization and mapping for augmented reality." 2010 International Symposium on Ubiquitous Virtual Reality. IEEE, 2010.
[6] Dunn, Justin, et al. "Virtual and augmented reality in the treatment of phantom limb pain: a literature review." NeuroRehabilitation 40.4 (2017): 595-601.
[7]B. Smith, "An approach to graphs of linear forms (Unpublished work style),
[8]Beidel, Deborah C., et al. "Trauma management therapy with virtual-reality augmented exposure therapy for combat-related PTSD: A randomized controlled trial." Journal of anxiety disorders (2017).
[9] The American Homefront https://americanhomefront.wunc.org/post/after-success-florida-use-virtual-reality-treat-ptsd-expanding
[10] Silva, Jennifer NA, et al. "Emerging applications of virtual reality in cardiovascular medicine." JACC: Basic to Translational Science 3.3 (2018): 420-430.
[11] AR spot https://www.avrspot.com/holographic-mixed-augmented-reality-taking-off-2018/
[12] Medmovie https://medmovie.com/augmented-reality-heart/
[13] Meola, Antonio, et al. "Augmented reality in neurosurgery: a systematic review." Neurosurgical review 40.4 (2017): 537-548.
[14] Clinical neurology and neurosurgery https ://www. sciencedirect.com/science/article/pii/S0303 846718304517
[15] Rohrbach, Nina, et al. "An augmented reality approach for ADL support in Alzheimer's disease: a crossover trial." Journal of neuroengineering and rehabilitation 16.1 (2019): 66.
[16] Abbasi, Jennifer. "Augmented reality takes Parkinson disease dance therapy out of the classroom." Jama 317.4 (2017): 346-348.
