3d-картирование в виртуальной Эндохирургии с использованием SLAM алгоритма Текст научной статьи по специальности «Медицинские технологии»

УДК 519.711

3D-КАРТИРОВАНИЕ В ВИРТУАЛЬНОЙ ЭНДОХИРУРГИИ С ИСПОЛЬЗОВАНИЕМ SLAM - АЛГОРИТМА

© 2012 А.В. Колсанов, А.К. Назарян, Б.И. Яремин, А.С. Воронин, С.С. Чаплыгин, Р.Р. Юнусов, А.А. Миронов

Самарский государственный медицинский университет

Поступила в редакцию 20.03.2012

В работе описана технология построения ЗБ-моделей органов брюшной полости в реальном времени для последующего использования полученной модели в симуляции операций, так и в перспективных работах по созданию самоориентирующихся роботизированных устройств. Ключевые слова: ЗБ-модель, математическое моделирование, SLAM-алгоритм.

ВВЕДЕНИЕ

В последнее время появляются исследования SLAM-задач, направленных на использование монокулярных камер как уникального сенсорного входа. Это получает большое практическое значение как в построении ЗБ-моделей органов брюшной полости в реальном времени для последующего использования полученной модели в симуляции операций, так и в перспективных работах по созданию самоориентирующихся роботизированных устройств. Задача SLAM (симультанная локализация и картирование) является классической для мобильной робототехники: мобильный сенсор перемещается по неизвестной траектории в неизвестной среде, и одновременно идет построение карты ЗБ-точек для определении позиции сенсора. Работы по созданию двухкамерных эндоскопов ведутся, однако высокая

Колсанов Александр Владимирович, доктор медицинских наук, профессор, заведующий кафедрой оперативной хирургии и клинической анатомии с курсом инновационных технологий. E-mail: avkolsanov@mail.ru Назарян Айкуш Карлосовна, старший лаборант кафедры оперативной хирургии и клинической анатомии с курсом инновационных технологий. E-mail: aikush77@mail.ru Яремин Борис Иванович, кандидат медицинских наук, старший преподаватель кафедры оперативной хирургии и клинической анатомии с курсом инновационных технологий. E-mail: boris.yaremin@gmail.com Воронин Александр Сергеевич, ассистент кафедры оперативной хирургии и клинической анатомии с курсом инновационных технологий. E-mail: alek.voronin86 @yandex.ru Чаплыгин Сергей Сегреевич, ассистент кафедры оперативной хирургии и клинической анатомии с курсом инновационных технологий.E-mail: chaplyginss@mail.ru Юнусов Ренат Рафатович, кандидат медицинских наук, доцент кафедры оперативной хирургии и клинической анатомии с курсом инновационных технологий. Миронов Алексей Александрович, кандидат медицинских наук, старший преподаватель кафедры оперативной хирургии и клинической анатомии с курсом инновационных технологий.

стоимость данных разработок не предполагает широкого и быстрого внедрения этих прототипов в медицинскую практику. Именно поэтому интерес представляет использование монокулярной камеры. Текстурированные ЭБ-модели позволяют проводить синтез в панораме, которая расширяет ограниченное поле зрения эндоскопа. Наконец, то, как камера движется по отношению к 3D-карте, известно точно и в режиме реального времени.

ЦЕЛЬ ИССЛЕДОВАНИЯ

Оценивая положительный опыт [1], разработавших систему с частотой 30Гц, генерирующую ЭБ-карту и позиционирующую камеру относительно нее, необходимо определить пути реализации данного алгоритма в условиях медицинской виртуализации.

МАТЕРИАЛЫ И МЕТОДЫ ИССЛЕДОВАНИЯ

Нами изучена возможность применения в реальных условиях камеры эндоскопа как источника данных для SLAM-алгоритма [4] с его использованием в медицинских целях. Данная работа представляет метод 3D моделирования на основе реализации эндоскопической последовательности с получением плотной 3D реконструкции в режиме реального времени. По сравнению с прошлыми работами, мы экспериментально продемонстрировали, что наш монокулярный SLAM алгоритм включает надежные показатели реального времени при обработке реальных изображений эндоскопа.

Основными допущениями при этом являются следующие:

- полость жесткая;

- эндоскопическая камера входит без вращательных движений.

Эти условия в частности достижимы при выполнении таких операций как лапароскопическая герниопластика.

Был разработан ряд методов для последовательной эндоскопической 3D реконструкции полости. Реконструкция выполняется с использованием стереоэндоскопов [6,7]. В обеих работах стереоэндоскоп для получения 3D структуры органа всегда указывает на одну область в полости даже при его перемещении. Стереоэн-доскопы были успешно использованы в работе визуальной SLAM [8], где анализируются различные особенности визуализации медицинских изображений. Тем не менее, мы можем иметь дело с монокулярными изображениями.

Монокулярные методы SLAM предполагают восстановление карты до неизвестного масштабного фактора, подразумевая, что однозначно могут быть измерены только относительные расстояния. Однако на практике, зная размер введённого в брюшную полость и визуализированного в ней инструмента, можно обеспечить измерение неизвестного масштабного фактора и, следовательно, реальные расстояния могут быть определены. Учитывая вероятностный характер SLAM карт, тем не менее, возможна погрешность в определении расстояний. Поэтому относительные расстояния вместе с соответствующими оценками ошибки должны вычистятся в реальном времени.

Карта должна использоваться как основа для построения фотореалистичных моделей реального времени, чтобы облегчить 3D визуализацию полости.

Что касается монокулярной компьютерной визуализации для определения эндоскопической последовательности 3D моделей [9], основой служит вычисление полости 3D структуры в соответствие с моделью полости на КТ-снимках. Совсем недавно [10], для визуализации использовали RANSAC + уравнивание с корректиров-

кой основы изображения для определения 3D структуры.

РЕЗУЛЬТАТЫ И ИХ ОБСУЖДЕНИЕ

Монокулярный SLAM правильно находит опорные точки и компенсирует движения камеры на частоту кадров [2, 11]. В данной работе мы показывает, что AR может быть поддержан, когда монокулярный SLAM адаптирован к медицинским изображениям.

Говоря о SLAM монокуляре, мы ориентируемся на EKF+ID+JCBB. В монокулярном SLAM первоначально был предложен EKF (Продленный фильтр Калмана) [1]. ID (обратная глубина) используется для кодирования точки на карте [4], улучшает линейность измерений уравнения и, следовательно, общую эффективность оценки. JCBB (совместное отделение совместимости и границы) [12] оказалось существенно более важным значением для определения степени жесткости. Эта комбинация была впервые использована в монокулярных камерах [13].

Предполагается, что основой является Гаус-стеровский вектор X, кодирующий локализацию камеры на карте, Xv, точки на карте кодируются с учетом обратной глубины, Y Плавное движение камеры кодируется в модели с постоянной скоростью. По этой причине расположение камеры (Xv), включает в себя: перевод (rw), ориентация определяется кавернионом (qrw), скорость (vw) и угловую скорость (wR). Гауссеровский вектор определяется средним значением x ü" = (xv" У\ У2 -), и ковариацией, P. Монокуляр последовательно обрабатывает и восстанавливает 3D структуры до необходимого масштабного коэффициента. Чтобы исключить величину трансформации первая камера определяется как абсолютная начальная точка, W (см. рис. 1).

ID точки кодирования [4] улучшают линей-

л УЩС \ix<) М 1

Ч\\^т(9,ф) „ Y, = у + —

1) , . 7 z л

А \ , -

I_Г z

Рис. 1. Камера (1) определяет границы кадра, Ж. Особенности, определяемые по отношению к положению камеры (2), (х. у 21)т, используется расстояние между камерой (2) и функцию, Л = 1 /р., и направляющий вектор, т ( П , П), определяется азимут и угол его увеличения.

ность измерения, и, следовательно, ЕСТ производительности при низком параллаксе, когда функция глубины больше перевода камеры. В результате, ГО повышает производительность для карты, состоящей только из близких функций. ГО функция 6 параметров вектора:

У! = Vi Zi 9i 4>i Pi)

(!)

Проекция точки луча на карте при первом наблюдении кодируется как: х., у., (место на камере, где точка наблюдалась в первый раз), и х. (азимут и угол его увеличения), которые определяют в устройстве луч вектора, т ^х). Точка глубины кодируются обратно р. = 1 /¿, точкой, определяющей положение является х. (см. рис.1):

(2)

Качество данных SLAM-реконструкции зависит от состояния данных ассоциации. Монокуляр SLAM сочетает точные геометрические показатели с оценкой корреляции изображения. EKF инновации определяет для каждой функции местоположение и эллиптическую неопределенность области на карте. Корреляция с текстурой патч внутри этой области, в нашем случае это 11x11 пикселей, определяется в первой точке на карте и меняется относительно перемещения камеры. Все точки связаны посредством положения камеры, совместимость их проверяется с помощью JCBB. Если нет, ветви и связанный с ними алгоритм применяют для определения несовместимых точек до обновления EKF.

Монокуляр SLAM в робототехнике использует корреляцию оценки, основанную на яркости, игнорируя информацию о цвете. Тем не менее внутренние образы имеют высокое красное и низкое синее содержание, поэтому мы используем зеленую полосу, высококонтрастную для редактора и хорошую текстуру для получения отличительных патчей для распознавания.

Для инициализации точки на карте применяется детектор значимости Харриса. В эндоскопе источник сета крепится к камере, что приводит к ошибочному отражению. Это происходит при производстве высокого уровня серых пикселей. Мы предполагаем, что если любой пиксель превышает порог патч, точка будет отклонена. Мы используем потоки 140-255.

Монокуляр SLAM фиксирует на ЭБ-карту редкие движения камеры вместе с соответствующими ковариациями. Мы предлагаем использовать карт ы S LAM, как геометрическую основу для поддержки информации в медицинских приборах.

На верхней части SLAM карты построена сетка из треугольных упругих текстурированных плиток. Предложен общий метод для трехмерной мозаики [14]. Стандартные 2Б-плитки определяются методом триангуляции Делоне в проекции ЭБ-карты на плоскости, XY, с абсолютной величиной, W. Текстура 3D треугольника собирается из образов, который полностью повторяет соответствующий 3D треугольник. На рис. 2 показаны эскизы моделирования фотореалистичного процесса.

Так как триангуляции представляют собой живой процесс, точки на карте и, следовательно, треугольники непрерывно создаются, стираются, и их значения меняются. Выполняется операция сопоставления новых и старых треугольников и воспроизведения изображения по мере оценки SLAM.

Измерение расстояния необходимо для некоторых хирургических операций, например, при пластики вентральной грыжи необходимо определить размер сетки для пластики. Учитывая вероятностный масштабный коэффициент 3D карты, для элемента известного размера, например, инструмент, наряду с оценками погрешности измерения, можно рассчитать реальное расстояние между точками на карте.

На SLAM карте были измерены две опорные точки (г1, г2) на известном расстоянии, которые определяют коэффициент масштабирования (s), расстояние между двумя точками на карте является (I, j):

1/ • "'т (3}

d{i,3) = s-

dm(ri,r2)

(Э)

где dm(I, j) и dm(r1, г2) евклидово расстояние между точками на которые ссылаются опорные точки (r1, r2).

Так как расстояние зависит от положения вектора SLAM (x), оценка ковариации расстояния распространяется линейно от SLAM ковариации с помощью матрицы Якоби (J):

J = ^,x=(xvTy1T...yrlT...yr2T...yiT

■yj'

(4)

где все функции кодируются в ГО. Так как d(I, ] зависит только от I, ] г1, и г2, J является редким значением и заменяется на (|г) и ковариа-ция (Рг) - матрицы используются для вычисления оценки погрешности изменений

Р,=

/р Уг] Уг| р Уг1 Уг2 P р \ гУг1У]

Р Уг2Уг1 р р Р

Р Р Р р 1 ViV]

V ^VjV-rl Р р 1 Уз У* Ру}У1 /

Рис. 2. а) особенности 3D, текущее изображение в плоскости x-y. Ь) особенности проецирования на плоскости x-y и триангуляции в этой плоскости. ^ триангуляция изображений обратного проецирования для получения текстур. d) конечная фотореалистичная реконструкция

Для AR-аннотации изображения в эндоскопе необходимы точные оценки движения камеры в режиме реального времени. Монокулярный SLAM оказался способен обеспечить движения камеры в режиме реального времени на 30 Гц, [2, 11], для недвижимых объектов основываясь на изображениях сделанных фотоаппаратом. AR полезен в лапараскопической хирургии, поскольку позволяет визуализировать значения других модальных изображений, такие как 3D-модели КТ или МРТ.

Наш вклад в том, чтобы показать, что EKF в SLAM монокуляре может успешно поддерживать AR-аннотации, используя для ввода последовательность изображений, соответствующих реальной эндоскопической картине брюшной полости.

Экспериментальная проверка выполняется на реальных изображениях (360x288) при 25 Гц сделанными при визуализации брюшной полости ручным монокулярным эндоскопом, последовательности изображений являются исходными данными для алгоритма. Режим реального вре-

мени соблюдается во всех экспериментах. Внутренние параметры эндоскопа были откалиброва-ны с использованием стандартного плоского калибровочного шаблона - метод, основанный на растворе Zhang с последующим уравниванием. Была применена модель с искажением двух радиальных параметров.

На рис. 3 и 4 показана модель текстурирован-ной треугольной сетки. Несмотря на малое количество точек, фотореалистичная модель обеспечивает простое понимание структуры 3D полости. На рис. 4 показан еще один пример фотореалистичной модели, соответствующей брюшной стенке во время операции герниопла-стики. Расстояния, вместе с погрешностями, были рассчитаны по отношению к шкале. Немедленный переход к реальным расстояниям возможен, если известно реальное расстояние между двумя точками в реконструкции (см. рис. 3). Рис. 3 (б) показывает оценку расстояний и погрешности. Первоначально, погрешность неопределенности является большой, но так как камера перемещается, точка расположения погрешнос-

Рис. 3. Ручной эндоскоп, 341 последовательный кадр. (а) несколько кадров. фотореалистичная модель с оценкой расстояния 2а, 95% погрешности интервала. (Ь) Прошлые расстояния и оценки погрешностей. Обратите внимание на сокращение погрешности при движении камеры и сбора информации с разных точек, обеспечивающих получение высокого параллакса

Рис. 4. Ручным эндоскопом снята последовательно брюшная стенка: (а) несколько кадров. фотореалистичная 3D модель и цилиндрическая вставка расширенной реальности; (Ь) AR-цилиндр с наложением эндоскопического изображения

ти уменьшается, и, следовательно, погрешность расстояния также уменьшается. Поскольку неопределенность рассчитывается в режиме реального времени с обратной визуальной связью, это дает возможность хирургу самому перемещать камеру в необходимом направлении для того чтобы сократить погрешность в расстоянии.

Так как 3D-карты и расположение камеры по отношению к карте доступны в режиме реального времени, можно закрепить AR-аннотации для сопоставления точек. На рис. 4 показан трехмерный AR-цилиндр с наложением эндоскопического изображения. Виртуальные вставки крепятся к карте и отмечаются в реальном месте даже когда находятся вне поля зрения камеры FOV. Мы показали, как исследовать полость с помощью ручного монокулярного эндоскопа. Некоторые функции 3D-карты и движения камеры рассчитываются в режиме реального времени на 25 Гц с помощью эндоскопа, также было показано, как, основываясь на SLAM-карте, вычислить фотореалистичную модель полости в режиме реального времени. 3D-карта обеспечивает основу AR-аннотации и измерению 3D расстояния. Наша работа состоит в том, чтобы показать эти возможности на реальных изображениях, полученных при исследовании брюшной полости монокулярным эндоскопом.

С помощью предложенного алгоритма ведутся работы по созданию, не имеющего аналогов в мире, аппаратно-программного комплекса «Виртуальный хирург» для 3D моделирования операционного процесса и учебно-методических модулей для системного обучения врача-хирурга методикам открытой хирургии с небольшим размером операционного поля, методикам эндо-васкулярной хирургии и эндоскопической хирургии на этапах додипломного и последипломного образования.

ВЫВОДЫ

Как только мы протестировали возможности основной техники, некоторые области будущей работы оказались весьма перспективными. Эксперименты, проводимые в рамках работы для проверки точности медицинских изображений, будут весьма перспективны. Кроме того, сотрудничество между инженерами и врачами необходимо для определения медицинских операций, в которых применение технологии монокулярного SLAM наиболее выгодно; до сих пор мы сосредоточены на брюшной полости.

Данные алгоритмы предполагают: 1) сцены жесткости, 2) плавные движения эндоскопа, 3) низкие помехи движению. Эти предположения не имеют общей медицинской картины: жесткость, в основном, не преобладает, внезапные движения и инструменты вызывают значительный беспорядок. Данная работа основана на решении данных проблем. Перемещение алгоритмов может обеспечить устойчивость движениям [16,17].

Работы осуществляются при финансовой поддержке Министерства образования и науки Российской Федерации.

СПИСОК ЛИТЕРАТУРЫ

1. Davison A.J. Real-time simultaneous localisation and mapping with a single camera. In: International Conference on Computer Vision. (2003).

2. Klein G, Murray D. Parallel tracking and mapping for small ar workspaces. In: Symposium on Mixed and Augmented Reality (ISMAR). (2007).

3. Eade E., Drummond T. Unifed loop closing and recovery for real time monocular SLAM. In: British Machine Vision Conference. (2008).

4. Civera J., Davison A., Montiel J.M.M. Inverse depth parametrization for monocular SLAM // IEEE Trans.

on Robotics and Automation 24(5) (2008) 932-945.

5. Garc O., Civera, J, Gemes, A., Muoz V., J.M.M., M. Realtime 3d modeling iaun from endoscope image sequences. In: Workshop on Advanced Sensing and Sensor Integration in Medical Robotics (ICRA2009).

6. Stoyanov D., Darzi A., Yang G.Z. A practical approach towards accurate dense 3d depth recovery for robotic laparoscopic surgery / / Computer Aided Surgery

(2005) 199-208.

7. Mourgues F., Devernay F., Coste-Mani're E. 3D reconstruction of the opereating Held for image overlay in 3D endoscopic surgery. In: IEEE/ACM Symp. Augmented. Reality. (2001) 191-192.

8. Mountney P., Stoyanov D., Davison A., Yang G.Z. Simultaneous stereoscope localization and soft-tissue mapping for minimal invasive surgery. In: Medical Image Computing and Computer-Assisted Intervention.

(2006) 347-354.

9. Burschka D., Li M., Taylor R., D. H.G., Ishii M. Scale-invariant registration of monocular endoscopic images to ct-scans for sinus surgery // Medical Image Analysis 9(5) (2005) 413-426.

10. Wu C., Sun Y., Chang C. Three-dimensional modeling from endoscopic video using geometric constraints via

feature positioning // IEEE Trans. on Biomedical engineering 54(7) (2007).

11. Davison A., Reid I., Molton N., Stasse O. Monoslam: Realtime single camera Slam // IEEE Trans. on Pattern Analysis and Machine Intelligence 29(6) (2007).

12. Neira J., Tardos J.D. Data association in stochastic mapping using the joint compatibility test // IEEE Trans. on Robotics and Automation (2001) 890-897.

13. Clemente L.A., Davison A.J., Reid I.D., NeiraJ., TardsJ.D. Mapping large oloops with a single hand-held camera. In: Robotics Science and Systems. (2007).

14. Civera J., Davison A.J., Magalln J.A., Montiel J.M.M. Drift-free real-time sequential mosaicing // Int. Journal of Computer Vision 51(2) (2009) 128-137.

15. Zhang Z. A flexible new technique for camera calibration // IEEE Trans. on Pattern Analysis and Machine Intelligence 22(11) (2000) 1330-1334.

16. Williams B., Klein G., Reid I. Real-time SLAM relocalisation. In: Proc. International Conference on Computer Vision. (2007).

17. Cummins M., Newman P. FAB-MAP: Probabilistic Localization and Mapping in the Space of Appearance // The International Journal of Robotics Research 27(6) (2008) 647-665.

3D-MAPPING IN VIRTUAL ENDOSURGERY WITH SLAM - ALGORITHM

© 2012 A.V. Kolsanov, A.K. Nazaryan, B.I. Yaremin, A.S. Voronin, S.S. Chaplygin, R.R., Unysov A.A. Mironov

Samara State Medical University

This paper describes the technology of 3D-models of the abdominal cavity in real time for later use the resulting model in a simulation of operations, as well as in prospective studies to establish a swiveling robotic devices.

Key words: 3D-model, mathematical modeling, SLAM-algorithm.

Alexander Kolsanov, Doctor of Medicine, Professor, Head at the Surgery and Clinical Anatomy with the Course of Innovative Technologies Department. E-mail: avkolsanov@mail.ru

Aykush Nazaryan, Senior Technician at the Surgery and

Clinical Anatomy with the Course of Innovative Technologies

Department. E-mail: aikush77@mail.ru

Boris Yaremin, Candidate of Medicine, Senior Lecturer at the

Surgery and Clinical Anatomy with the Course of Innovative

Technologies Department. E-mail: boris.yaremin@gmail.com

Alexander Voronin, Assistant Lecturer at the Surgery and

Clinical Anatomy with the Course of Innovative Technologies

Department. E-mail: alek.voronin86@yandex.ru

Sergey Chaplygin, Assistant Lecturer at the Surgery and

Clinical Anatomy with the Course of Innovative Technologies

Department. E-mail: chaplyginss@mail.ru

Renat Unysov, Candidate of Medicine, Associate Professor

at the Surgery and Clinical Anatomy with the Course of

Innovative Technologies Department.

Alexey Mironov, Candidate of Medicine, Senior Lecturer at the Surgery and Clinical Anatomy with the Course of Innovative Technologies Department.