CC BY
30
технологи в усло
(ОБЭ
A.Е. Быканов, к.м.н., врач-нейрохирург 7-го нейрохирургического отделения, научный сотрудник1 Г.В. Данилов, к.м.н., ученый секретарь1;
B.В. Костюмов, аспирант, программист факультета ВМК2; О.Г. Пилипенко, аспирант, программист факультета ВМК2; Б.М. Нутфуллин, аспирант, программист факультета ВМК2; О.А. Растворова, ординатор 7-го нейрохирургического отделения1; Д.И. Пицхелаури, д.м.н., профессор, зав. 7-м нейрохирургическим отделением1
Национальный медицинский исследовательский центр нейрохирургии им. академика Н.Н. Бурденко Минздрава РФ, ул. 4-я Тверская-Ямская, 16, Москва, 125047;
2Московский государственный университет им. М.В. Ломоносова, Ленинские горы, 1, Москва, 119991
Проведение операции начинающим нейрохирургом под постоянным контролем старшего хирурга, который имеет опыт тысяч операций, умеет справляться со всевозможными интраоперационными осложнениями, может их заранее прогнозировать и при этом никогда не устает, является на данный момент несбыточной мечтой, но может стать реальностью с развитием методов искусственного интеллекта.
Представлен обзор литературы по теме применения технологий искусственного интеллекта в условиях микрохирургической операционной. Поиск источников проведен в текстовой базе данных медицинских и биологических публикаций PubMed. Использовали ключевые слова «surgical procedures», «dexterity», «microsurgery» AND «artificial intelligence OR machine learning OR neural networks». Рассматривали статьи на английском и русском языках без ограничения по дате публикации. Выделены основные направления исследований по применению технологий искусственного интеллекта в условиях микрохирургической операционной.
Несмотря на то, что в последние годы машинное обучение все активнее начинает внедряться в медицинскую отрасль, по интересующей нас проблеме опубликовано незначительное количество исследований, а их результаты пока не имеют практического применения. Однако социальная значимость данного направления служит важным аргументом для его развития.
Ключевые слова: искусственный интеллект; микрохирургия; нейронные сети; микрохирургические навыки; машинное обучение.
Как цитировать: Bykanov A.E., Danilov G.V., Kostumov V.V., Pilipenko O.G., Nutfullin B.M., Rastvorova O.A., Pitskhelauri D.I. Artificial intelligence technologies in the microsurgical operating room (review). Sovremennye tehnologii v medicine 2023; 15(2): 86, https://doi.org/ 10.17691/stm2023.15.2.08
English
Artificial Intelligence Technologies
in the Microsurgical Operating Room (Review)
A.E. Bykanov, MD, PhD, Neurosurgeon, 7th Department of Neurosurgery, Researcher1; G.V. Danilov, MD, PhD, Academic Secretary1;
V.V. Kostumov, PhD Student, Programmer, the CMC Faculty2; O.G. Pilipenko, PhD Student, Programmer, the CMC Faculty2;
B.M. Nutfullin, PhD Student, Programmer, the CMC Faculty2; O.A. Rastvorova, Resident, 7th Department of Neurosurgery1;
D.I. Pitskhelauri, MD, DSc, Professor, Head of the 7th Department of Neurosurgery1
1National Medical Research Center for Neurosurgery named after Academician N.N. Burdenko, Ministry of Healthcare of the Russian Federation, 16, 4th Tverskaya-Yamskaya St., Moscow, 125047, Russia; 2Lomonosov Moscow State University, 1 Leninskiye Gory, Moscow, 119991, Russia
Для контактов: Быканов Андрей Егорович, e-mail: a.b.8888@yandex.ru
Surgery performed by a novice neurosurgeon under constant supervision of a senior surgeon with the experience of thousands of operations, able to handle any intraoperative complications and predict them in advance, and never getting tired, is currently an elusive dream, but can become a reality with the development of artificial intelligence methods.
This paper has presented a review of the literature on the use of artificial intelligence technologies in the microsurgical operating room. Searching for sources was carried out in the PubMed text database of medical and biological publications. The key words used were "surgical procedures", "dexterity", "microsurgery" AND "artificial intelligence" OR "machine learning" OR "neural networks". Articles in English and Russian were considered with no limitation to publication date. The main directions of research on the use of artificial intelligence technologies in the microsurgical operating room have been highlighted.
Despite the fact that in recent years machine learning has been increasingly introduced into the medical field, a small number of studies related to the problem of interest have been published, and their results have not proved to be of practical use yet. However, the social significance of this direction is an important argument for its development.
Key words: artificial intelligence; microsurgery; neural networks; microsurgical skills; machine learning.
Введение
В последние десятилетия наблюдается значительный интерес к практическому применению методов искусственного интеллекта (ИИ), в том числе машинного обучения, в области клинической медицины. Текущие успехи технологий ИИ в нейровизуализации открывают новые перспективы в развитии неинва-зивной и персонализированной диагностики. Так, активно развиваются методы радиомики — извлечения большого количества признаков из медицинских изображений. Эти признаки могут содержать информацию для описания опухолей и структур мозга, которые не видны невооруженным глазом [1-5]. Предполагается, что правильное представление и анализ изображения с нейровизуализационными характеристиками поможет различать типы опухолей и соотносить их с клиническими проявлениями заболевания, прогнозом и наиболее эффективным лечением.
Технологии, оценивающие взаимосвязь между особенностями визуализации опухолей и экспрессией генов, получили название радиогеномики [6-9]. Эти методы направлены на создание визуализаци-онных биомаркеров, которые могут идентифицировать генетические признаки заболевания без проведения биопсии.
Известны также успехи технологий ИИ в анализе молекулярных и генетических данных, сигналов от инвазивных датчиков, медицинских текстов. Универсальность подходов к применению ИИ открывает новые, оригинальные способы их использования в клинике.
С технической точки зрения термином «искусственный интеллект» можно обозначить математическую технологию, которая автоматизирует решение некоторой интеллектуальной задачи, традиционно решаемой человеком. В более широком смысле этим термином называют область компьютерных наук, в рамках которой такие решения разрабатываются.
Современный ИИ опирается на технологии машинного обучения — методы извлечения закономерностей и правил из репрезентативных для конкретной задачи данных (медицинских изображений, текстовых
записей, генетических последовательностей, лабораторных анализов и т.д.). Например, технологии ИИ могут находить «правила» предсказания неблагоприятного исхода лечения по набору предикторов, ретроспективно «изучая» достаточное количество таких случаев с известными исходами. Это свойство ИИ можно использовать в задачах автоматизации отдельных процессов диагностики, выбора лечебной тактики или прогноза исходов медицинской помощи по клиническим данным.
В медицинской практике, в частности в хирургии, ИИ наряду с хирургическими роботами, 3D-печатью и новыми методами визуализации позволяет решать большой круг задач, повышая уровень точности и эффективности операций.
Для микрохирургии, когда речь идет о вмешательствах на малых анатомических структурах с использованием оптических средств и микрохирургического инструментария, применение ИИ имеет еще более важное значение.
Одной из задач использования ИИ в микрохирургии является автоматическое распознавание критически важных для микрохирурга анатомических структур (артерий, вен, нервов и др.) на интраоперационных фотографиях, видеоизображениях или изображениях анатомических препаратов. Решение этой задачи создает перспективы для разработки средств автоматического оповещения о рисках травматизации критически важных структур во время операции в режиме реального времени, выбора траекторий для безопасной диссек-ции или разрезов в функционально значимых областях [10].
Искусственный интеллект может оценить владение хирургическими инструментами, проконтролировать положение микроинструмента в руках хирурга (положение его в руке, отношение к операционной ране), тремор рук хирурга.
Перспективными задачами для ИИ в микрохирургии служат определение этапа операции, прогнозирование исходов и осложнений, создание основы интеллектуальной системы поддержки принятия интраопе-рационных решений во время микрохирургического вмешательства.
Нетривиальной задачей использования ИИ в микрохирургии является оценка навыков начинающих хирургов и ординаторов, а также улучшение техники у более опытных специалистов. Решение этой задачи в силу крайней сложности и ответственности работы микрохирурга позволит вывести данную область медицины на новые рубежи.
Для оценки имеющихся решений задачи использования ИИ в условиях микрохирургической операционной выполнен анализ статей в текстовой базе данных медицинских и биологических публикаций PubMed. Поиск литературы осуществляли по ключевым словам «surgical procedures», «dexterity», «microsurgery» AND «artificial intelligence OR machine learning OR neural networks» среди статей на английском и русском языках без ограничения по дате публикации.
Автоматическая оценка уровня микрохирургических навыков
Непрерывное обучение и постоянное совершенствование микрохирургической техники являются обязательными условиями формирования квалифицированного микрохирурга. Часто на обретение необходимого уровня микрохирургических навыков уходит большая часть профессиональной жизни [11-13].
Микрохирургический тренинг требует постоянного участия наставника, который бы исправлял неоптимальные действия и движения микрохирурга, руководил процессом обучения. Можно провести параллель между подготовкой микрохирургов и олимпийских спортсменов: достижения высокого уровня невозможны без правильной системы подготовки и высокой квалификации тренеров. Однако вследствие большой клинической нагрузки и занятости опытных микрохирургов-наставников их постоянное присутствие в микрохирургической лаборатории невозможно, а старт обучения в условиях настоящей операционной вступает в противоречие с нормами медицинской этики. В этой ситуации технологии ИИ вполне можно использовать в процессе обучения для контроля за правильностью и эффективностью мануальных действий начинающего нейрохирурга.
К настоящему времени набор технологий ИИ, которые были бы адаптированы для анализа микрохирургических манипуляций, существенно ограничен. Например, в работах A. Bykanov c соавт. [14] и C.J. Coulson c соавт. [15] для оценки уровня микрохирургического тремора использовали акселерометры, прикрепленные к микрохирургическим инструментам. В работе K. Harada с соавт. [16] инфракрасные оптические маркеры отслеживания движения, инерци-альный измерительный блок и тензодатчики были установлены на микрохирургическом пинцете для измерения пространственных параметров, связанных с манипуляциями с инструментом. Методы ИИ и машинного обучения в данной работе не применяли. M.A. Applebaum с соавт. [17] сравнили такие параме-
тры, как время и количество движений в процессе выполнения микрохирургического задания пластическими хирургами с разным уровнем опыта, используя электромагнитное устройство отслеживания движения для записи перемещения рук хирурга. Такой подход к оценке производительности микронейрохирургических действий отличается объективностью и надежностью инструментальных измерений, но требует специального оборудования.
Экспертный анализ видеоизображений работы хирурга в условиях операционной может быть использован как альтернативный метод оценки степени овладения навыками микрохирургической техники. Однако привлечение эксперта к анализу таких изображений — времязатратный и крайне трудоемкий способ. Покадровый анализ движений микроинструмента по видеозаписям симуляционного хирургического действия был применен А. 6vaп с соавт. [18]. Попытки объективно оценить и категорировать микрохирургическое действие на основе анализа видеозаписи микрохирургического тренинга сделаны в работе Т. Satterwhite с соавт. [19]. Однако анализ и оценка действий обучающихся микрохирургов в данной работе были выполнены путем просмотра видеозаписей экспертами и выставления оценок по разработанной шкале, что не позволяет нивелировать влияние субъективного фактора на результаты анализа.
Многообещающей альтернативой указанным технологиям видятся методы машинного обучения, в первую очередь — компьютерное зрение, для автоматизированной оценки эффективности макро- и микрохирургических действий. Эти методы могут применяться на основе детекции и анализа перемещений микрохирургического инструмента в операционной ране. Проанализировав немногочисленную научную литературу по этой теме, мы обобщили основные процессы получения данных для анализа микрохирургических манипуляций с помощью машинного обучения (табл. 1).
Немногогочисленные данные научной литературы свидетельствуют о том, что методы машинного обучения позволяют выявлять сложные взаимосвязи в паттернах движений микрохирурга и прогнозировать параметры эффективности микрохирургического действия. Для реализации этих задач первым этапом необходимо обучить модель правильно классифицировать движение и сам микрохирургический инструмент в хирургическом видео. Исследования, выполняемые в настоящее время в данном направлении, в большинстве случаев сфокусированы на обучении компьютеров двум основным функциям: определению стадии хирургической операции и идентификации хирургического инструмента [20].
В работах по микрохирургии с применением машинного обучения чаще всего используют два вида источника данных: это видеозаписи операций [21] и набор переменных, которые получены с датчиков, закре-
Таблица 1
Особенности процессов сбора данных, используемых в машинном обучении, для анализа микрохирургических манипуляций
Процесс сбора данных Описание Преимущества Недостатки
Регистрация интероперационных характеристик Запись интероперационных характеристик, таких как внутрибрюшное давление, масса аспирационных и ирригационных мешков, наклон операционного стола и т.д. 1. Легко регистрировать, не требуется дополнительного оборудования в операционной 1. Часто характеристики регистрируются вручную 2. Времязатратный процесс
Ручная аннотация использования инструментов Ручная аннотация моментов времени, когда каждый инструмент вводится или выводится из использования 1. Высокая точность 2. Сильно коррелирует с основным хирургическим рабочим процессом 3. Не требует дополнительного оборудования в операционной 1. Времязатратный процесс
Использование инструментов с метками Обнаружение использования инструмента путем прикрепления радиочастотных идентификационных меток к каждому инструменту и размещения антенн по всей операционной. Антенны определяют инструмент как «активированный», когда хирург берет его в руки 1. Избегает трудоемкой ручной аннотации 2. Сильно коррелирует с основным хирургическим рабочим процессом 1. Процесс требует специального дополнительного оборудования в условиях операционной
Автоматическое детектирование использования инструментов по видео Автоматическое определение использования инструмента по видео операции с применением моделей машинного обучения 1. Позволяет избежать трудоемкой ручной аннотации и не требует дополнительного оборудования в операционной 2. Сильно коррелирует с основным хирургическим рабочим процессом 1. Небольшая потеря точности по сравнению с ручной аннотацией
Ручное извлечение признаков из видеоизображений Предполагает ручное определение различных типов признаков по видеоизображениям, таких как текстура, цветовые гистограммы, выделение формы объекта 1. Учитывает дополнительные признаки для определения фаз операций 2. Не требует дополнительного оборудования в операционной 1. Признаки создаются вручную и определяются заранее, а это означает, что информация, полезная для алгоритмов машинного обучения, может быть потеряна
Автоматическое извлечение признаков из видео Некоторые модели способны автоматически обучаться и определять важные признаки хирургических манипуляций по видеоизображениям 1. Изученные признаки могут обеспечить наибольшую дискриминационную способность для распознавания фаз, поскольку они учитывают все данные 1. Обучение может быть технически сложным, трудоемким и требовать значительных вычислительных ресурсов
пленных на микроинструментах или на теле оперирующего хирурга. Некоторые исследования комбинируют оба источника [22].
В исследовании N. Markarian с соавт. [21] модель глубокого обучения RetinaNet была создана для идентификации, локализации и аннотации хирургических инструментов по данным интраоперационных видеозаписей эндоскопических эндоназальных операций. Согласно выводам исследования, разработанная модель смогла успешно определять и правильно классифицировать хирургические инструменты. Однако все инструменты в работе относились к одному классу — «инструмент».
Интересное исследование выполнено D.J. Pangal с соавт. [23]. В данной работе авторы оценили возможности глубокой нейронной сети (DNN) предсказывать кровопотерю и исход повреждения внутренней сонной
артерии по данным 1 мин видео, полученного из ва-лидированного нейрохирургического тренажера для эндоназальной нейрохирургии. Результаты предсказания модели и экспертов в подавляющем большинстве случаев совпадали.
В работе R.B. McGoldrick с соавт. [24] исследователи для анализа плавности движений сосудистого микрохирурга, выполняющего микроанастамоз, использовали видеозаписи, сделанные непосредственно с камеры операционного микроскопа, и программу ProAnalyst, применив модель логистической регрессии и кубический сплайн.
I.T. Franco-Gonza'lez с соавт. [25] сконструировали стереоскопическую систему с использованием двух камер, которые записывают изображения с разных ракурсов хирургического пинцета. Программа для отслеживания 3D-движения была создана с применением
языка программирования C++ и библиотеки OpenCV 3.4.11.
В работе M.M. Oliveira с соавт [26] показано, что применение машинного обучения и компьютерного зрения при моделировании микрохирургических операций позволяет улучшить базовые навыки как ординаторов, так и специалистов с большим опытом.
Значительным шагом вперед в процессе улучшения распознавания этапов операции стало использование в алгоритмах анализа нейронных сетей с длительной кратковременной памятью (LSTM), что позволило улучшить точность определения фазы операции до 85-90%.
Важно отметить, что в связи с типичными ограничениями объема данных разработчики моделей часто применяют так называемое трансферное обучение [27], которое позволяет предобучить модель на одних данных (чаще всего — на открытых наборах, с помощью которых решают схожие задачи в той же предметной области) и затем дообучить на других, на которых решается целевая задача. В настоящее время известны следующие наборы открытых данных, которые используют в решении задач, связанных с оценкой точности хирургических операций:
EndoVis Challenge datasets — коллекция размеченных наборов данных, которые содержат видеозаписи различных типов хирургических операций для задач классификации, сегментации, детекции, локализации и т.д. [28];
Cholec80 — 80 видеозаписей эндоскопических опе-
раций, выполняемых 13 разными хирургами; все видео размечены с учетом фаз операций и наличия инструментов в кадре [29];
MICCAI challenge datasets — набор данных, который позволяет проводить большое количество соревнований по анализу медицинских данных, в том числе и по анализу материалов хирургических операций [30];
JHU-ISI и JIGSAWS — размеченный набор данных видеозаписей операций, проводимых восемью хирургами с тремя уровнями квалификации, которые выполнили в общей сложности 103 базовых роботизированных лабораторных испытания [31];
ATLAS Dione — 99 видеозаписей 6 типов операций, выполняемых 10 разными хирургами с помощью робот-ассистированной системы «да Винчи» (da Vinci Surgical System). Размер кадра — 854*480 пк, каждый из которых размечен на предмет наличия в кадре хирургических инструментов [32].
Теоретически можно использовать сотни и тысячи видеозаписей с целью их анализа с помощью методов машинного обучения. Однако для обучения модели необходимо просматривать и выполнять в «ручном режиме» разметку видеоизображений, что требует большого количества времени. Возможным решением данной проблемы является использование новых алгоритмов, способных самостоятельно выполнять аннотацию видеофайлов [33].
В табл. 2 мы приводим список методов машинного обучения, применяемых, по данным научной
Таблица 2
Методы машинного обучения, применяемые в анализе данных микрохирургических вмешательств
Алгоритм Описание Преимущества Недостатки
Скрытая марковская модель (НММ) [34, 35] Статистическая модель на основе марковских процессов. Вероятностный подход, моделирующий ряд наблюдаемых/скрытых состояний и вероятность перехода между скрытыми состояниями. Обнаружив переход наблюдаемых состояний (например, бимануальные движения инструмента), алгоритм оценивает наиболее вероятную последовательность скрытых состояний (например, в задаче наложения швов). Скрытые состояния часто представляют хирургические маневры, а метрики можно вывести из скрытых переходов состояний. Полученные данные можно использовать для анализа работы хирурга 1. Низкая сложность модели 2. Требуется относительно меньшее количество обучающих данных 3. Алгоритм эффективен при моделировании временной информации 1. Сегментация жестов из данных о движении может быть сложной задачей 2. Настройка параметров и разработка модели могут занять много времени 3. Функции, используемые в модели, определяются вручную
Алгоритм динамического искажения времени (йТО) [36, 37] Алгоритм, который находит оптимальное соответствие между двумя временны ми последовательностями, различающимися по времени или скорости 1. Простота и удобство в реализации 2. Очень эффективен при поиске сходств/соответствий между двумя последовательностями 1. Функции должны быть определены вручную 2. Одновременно можно сравнивать только две последовательности 3. Длительное время вычислений при поиске оптимального соответствия
Метод опорных векторов ^М) [38, 39] Метод построения разграничивающей линейной гиперплоскости на основе геометрического расстояния между данными. Предназначен для машинного обучения с учителем, который изучает гиперплоскость или границу принятия решений между классами. Гиперплоскость выводится путем максимизации гео- 1. Можно добиться нелинейной классификации с помощью ядра 2. Может быть адаптирован для регрессии 1. Сложно реализовать для больших обучающих данных 2. Трудно решать задачи с несколькими классификациями
Продолжение табл. 2
Алгоритм Описание Преимущества Недостатки
метрического расстояния между опорными векторами классов. Новые данные будут проецироваться на гиперпространство и впоследствии классифицироваться на основе отношения к гиперплоскости 3. Легко понять с низкой общей ошибкой 4. Низкая вычислительная сложность вывода 3. Чувствителен к отсутствующим данным, параметрам и выбору функций ядра
Метод к-бли-жайших соседей [40] Алгоритм обучения с учителем (по прецедентам) для классификации, в котором новая точка классифицируется по к-ближай-шим соседям из обучающей выборки. Алгоритм группирует точки каждого класса вместе. Во время вывода вычисляются евклидовы расстояния между новой наблюдаемой точкой данных и точками обучающих данных. Затем определяются к-ближайшие соседи (т.е. к-точки с кратчайшими расстояниями до наблюдаемой точки), и новая точка данных будет помечена как класс с наибольшим количеством экземпляров в к-ближай-ших соседях 1. Обучение не требуется в классическом виде 2. Низкая сложность алгоритма 3. Подходит для задач многоклассовой классификации 4. Низкая «стоимость» переобучения 5. Улучшенная обработка перекрывающихся полей данных 1. Плохая производительность при использовании данных большой размерности 2. «Ленивое» обучение, длительное время вывода с большими наборами данных 3. Чувствителен к шуму, отсутствующим данным и выбросам 4. Требуется функция масштабирования данных 5. Плохая производительность при несбалансированных по классам наборах данных
Наивный байесовский классификатор [41] Алгоритм машинного обучения с учителем для классификации, основанный на теореме Байеса. Упрощенный вариант алгоритма Байеса — наивный байесовский подход — построен с предположением, что признаки условно независимы. Класс с наибольшей апостериорной вероятностью является результатом предсказания 1. Простая, надежная и интерпретируемая логика 2. Нечувствителен к отсутствующим данным 3. Хорошо работает, когда признаки близки к условно независимым 4. Хорошо работает с небольшими наборами данных 1. Требует гипотезы условной независимости 2. Имеет тенденцию работать тем хуже, чем более сложные модели с большими наборами данных или коррелированными функциями используются 3. Требует априорной вероятности
Решающие деревья [40] Алгоритм обучения с учителем для классификации. Данные многократно разбиваются на подмножества и в конечном итоге классифицируются на конечных узлах в соответствии с логикой узлов по пути 1. Простой и интерпретируемый алгоритм 2. Подходит для больших данных 3. Низкая вычислительная мощность 4. Не требует никаких знаний предметной области или предположений о параметрах 5. Не чувствителен к потере функции 6. Основан на человеческой логике и детерминированный 1. Склонен к переобучению 2. Может быть нестабильным, так как небольшие изменения данных способны привести к новой древовидной архитектуре 3. Расчеты могут стать очень сложными 4. Трудно классифицировать временные последовательности 5. Требует предварительной обработки и выбора признаков 6. Последовательный процесс, его нельзя распараллелить
Случайный лес [42] Алгоритм обучения с учителем для классификации на базе решающих деревьев. Алгоритм объединяет несколько случайно созданных деревьев решений 1. Уменьшает необходимость переобучения в дереве решений и улучшает точность 2. Гибкость в отношении проблем регрессии 3. Устойчивость к отсутствующим данным 4. Высокая скорость обучения 1. Может потребоваться значительная вычислительная мощность 2. Может быть нестабильным, так как небольшие изменения данных способны привести к новой древовидной архитектуре 3. Сложно или совсем не интерпретируется в некоторых узлах признаков
Продолжение табл. 2
Алгоритм Описание Преимущества Недостатки
4. Высокая вычислительная стоимость при выводе с несколькими последовательными процессами
Логистическая регрессия [43] Алгоритм обучения с учителем для классификации на основе логистической (или сигмовидной) функции 1. Простота понимания, интерпретации и реализации 2. Высокая производительность 3. Хорошая точность для очень простых наборов данных 1. Может быть легко превзойден более сложными алгоритмами 2. Сложности при решении нелинейных задач 3. Чувствителен к расплывчатым чертам
Метод главных компонент (РСА) [44] Алгоритм обучения без учителя для уменьшения размерности данных. Линейно аппроксимирует данные по собственным векторам (с наибольшими собственными значениями). В результате выбираются направления с наибольшей дисперсией 1. Улучшает визуализацию данных 2. Повышает производительность алгоритма 3. Удаляет объекты, которые коррелируют 1. Основные компоненты (линейные комбинации исходных признаков) представляют собой абстрагированную информацию от данных, и их может быть трудно интерпретировать 2. Чувствителен к масштабу признаков и выбросов 3. Компромисс между потерей информации и уменьшением размерности
Линейный дис-криминантный анализ [40] Метод обучения с учителем для уменьшения размерности и классификации. Статистический метод, проецирующий данные на новые оси, которые максимизируют разделимость между классами за счет максимизации межклассовой дисперсии и минимизации внутриклассовой дисперсии 1. Позволяет контролируемо уменьшать размерности с предварительным знанием классов 2. Может превзойти метод главных компонент как метод уменьшения размерности 1. Не подходит для негауссовых выборок 2. Склонен к переоснащению 3. Проекционное пространство не может превышать существующие размеры 4. Ограничен типом образцов
Кластеризация по к-средним (k-means) [45] Итеративный алгоритм кластеризации (без учителя), который разделяет неразмеченные данные на к отдельных групп. Поэтому наблюдения, имеющие схожие характеристики, группируются вместе. Решение для новой точки о группировке в одну из к-групп основано на ее минимальном расстоянии от центра группы. Центры будут пересчитываться итеративно до сходимости. Затем средние значения кластеров будут использоваться для определения классов новых наблюдаемых точек данных 1. Простота реализации 2. Низкая сложность алгоритма 3. Масштабируется до больших наборов данных 1. Необходимо присваивать к, не подходящие под некоторые требования классификации 2. Чувствителен к выбросам и начальным значениям 3. Сложно кластеризовать данные разного размера 4. Сложно реализовать в случае данных большой размерности 5. Не подходит для «невыпуклой» классификации
ИНС и ГНС (искусственные и глубокие нейронные сети) [46] Совокупность искусственных нейронов, взаимодействующих между собой. ИНС представляет собой сети узлов (или нейронов), соединенных друг с другом для представления данных или аппроксимации. ГНС — это ИНС со многими слоями (т.е. глубокими слоями). Глубокие ИНС могут обучаться и определять оптимальные признаки из данных, которые можно обобщить, чтобы получить наилучшие результаты классификации при неявных сценариях 1. Алгоритм может достигать высокой точности 2. Способен моделировать сложные и нелинейные задачи 3. Может изучать закономерности и обобщать для обработки невидимых данных 4. Надежный и отказоустойчивый к шуму 1. Нужен большой объем обучающих данных 2. Занимает много времени в процессе обучения и требует значительных вычислительных мощностей для обучения сложных сетей 3. Трудно интерпретировать из-за его «черного ящика» 4. Процесс обучения является стохастическим — даже обучение с одними и теми же данными может привести к получению разных сетей
Окончание табл. 2
Алгоритм Описание Преимущества Недостатки
Сверточные нейронные сети (СНС) [47] СНС — это искусственная нейронная сеть с «глубокой» структурой, а также слоями операций свертки и слоями объединения. СНС имеет возможность обучаться наилучшим образом представлению признаков, которые потом используются для инвариантной к статистическому сдвигу классификации входной информации на основе ее иерархической структуры 1. Изучает репрезентативные признаки из данных 2. Может обрабатывать данные с шумом и недостатком информации 3. Широко используется для классификации изображений с высоким разрешением 4. Объединение может абстрагировать высокоуровневую информацию 5. Обучение может быть распараллелено 1. Занимает много времени в процессе обучения и требует значительных вычислительных мощностей (относительно методов обычного машинного обучения) 2. Функция объединения приводит к потере подробной и ценной информации 3. Низкая производительность при низком разрешении входного изображения
Рекуррентные нейронные сети [46] RNN-сети — разновидность архитектуры нейронных сетей, где связи между элементами образуют направленную последовательность. Предназначены для моделирования последовательных процессов. Они используют текущее наблюдение вместе с выходными данными сети в предыдущем состоянии для генерации выходных данных 1. Механизм совместного использования параметров, полнота по Тьюрингу 2. Способность к запоминанию делает алгоритм пригодным для обработки сигналов временных рядов, включая семантический анализ текста, классификацию его эмоционального окраса и языковой перевод 1. Трудно обучать 2. Незаметная проблема с затуханием градиента 3. Проблема взрыва градиента, которую можно решить с помощью обрезки градиента 4. Проблемы с кратковременной памятью
Нейросети долгой краткосрочной памяти О^ТМ) [48] LSTM-сеть — это искусственная нейронная сеть, содержащая LSTM-модули вместо или дополнительно к другим модулям в ИНС. LSTM-модуль — это рекуррентный модуль сети, способный запоминать значения как на короткие, так и на длинные промежутки времени 1. Лучше видит сложные зависимости, чем рекуррентные модели 2. Сети менее чувствительны к выбросам в данных 1. Дальние зависимости используются с низким качеством 2. Сложно распараллелить вычисления 3. Долгое обучение
литературы, в анализе видеоизображений микрохирургических вмешательств, с их краткой характеристикой.
Большинство исследований с использованием ИИ для анализа микронейрохирургических действий выполнены на моделях самых простых хирургических манипуляций, отдельных элементарных этапов операций (например, наложение швов, выполнение надрезов). Очевидно, что пилотные исследования в этой сфере обычно начинают с упрощенных моделей. Однако операция — это сложный комплекс разнообразных факторов, влияющих на хирургическую технику и результаты манипуляций, которые сложно учесть в эксперименте. И поэтому перенос моделей машинного обучения из экспериментальных условий в реальную практику не может гарантировать высокого качества работы, чем снижает их ценность.
Заключение
Несмотря на быстрое развитие методов машинного обучения в области клинической медицины, пока они находятся в начальной фазе апробации в задачах оценки микрохирургической техники и скорое внедре-
ние их в повседневную клиническую практику маловероятно. Однако имеются все основания считать, что использование технологий машинного обучения, в частности компьютерного зрения, в микрохирургии имеет хороший потенциал для улучшения процесса обучения микрохирургической технике в будущем. И это служит хорошей предпосылкой для развития особого направления искусственного интеллекта в области микронейрохирургии.
Финансирование. Исследование выполнено за счет гранта Российского научного фонда, проект №2275-10117.
Конфликт интересов. У авторов нет конфликта интересов.
Литература/References
1. Jian A., Jang K., Manuguerra M., Liu S., Magnussen J., Di leva A. Machine learning for the prediction of molecular markers in glioma on magnetic resonance imaging: a systematic review and meta-analysis. Neurosurgery 2021; 89(1): 31-44, https://doi.org/10.1093/neuros/nyab103.
2. Litvin A.A., Burkin D.A., Kropinov A.A., Paramzin F.N. Radiomics and digital image texture analysis in oncology
(review). Sovremennye tehnologii v medicine 2021; 13(2): 97, https://doi.Org/10.17691/stm2021.13.2.11.
3. Ning Z., Luo J., Xiao Q., Cai L., Chen Y., Yu X., Wang J., Zhang Y. Multi-modal magnetic resonance imaging-based grading analysis for gliomas by integrating radiomics and deep features. Ann Transl Med 2021; 9(4): 298, https://doi. org/10.21037/atm-20-4076.
4. Lambin P., Rios-Velazquez E., Leijenaar R., Carvalho S., van Stiphout R.G., Granton P., Zegers C.M., Gillies R., Boellard R., Dekker A., Aerts H.J. Radiomics: extracting more information from medical images using advanced feature analysis. Eur J Cancer 2012; 48(4): 441446, https://doi.org/10.1016/j.ejca.2011.11.036.
5. Habib A., Jovanovich N., Hoppe M., Ak M., Mamindla P., Colen R.R., Zinn P.O. MRI-based radiomics and radiogenomics in the management of low-grade gliomas: evaluating the evidence for a paradigm shift. J Clin Med 2021; 10(7): 1411, https://doi.org/10.3390/jcm10071411.
6. Cho H.H., Lee S.H., Kim J., Park H. Classification of the glioma grading using radiomics analysis. PeerJ 2018; 6: e5982, https://doi.org/10.7717/peerj.5982/supp-3.
7. Su C., Jiang J., Zhang S., Shi J., Xu K., Shen N., Zhang J., Li L., Zhao L., Zhang J., Qin Y., Liu Y., Zhu W. Radiomics based on multicontrast MRI can precisely differentiate among glioma subtypes and predict tumour-proliferative behaviour. Eur Radiol 2019; 29(4): 1986-1996, https://doi.org/10.1007/s00330-018-5704-8.
8. Cao X., Tan D., Liu Z., Liao M., Kan Y., Yao R., Zhang L., Nie L., Liao R., Chen S., Xie M. Differentiating solitary brain metastases from glioblastoma by radiomics features derived from MRI and 18F-FDG-PET and the combined application of multiple models. Sci Rep 2022; 12(1): 5722, https://doi. org/10.1038/s41598-022-09803-8.
9. Qian J., Herman M.G., Brinkmann D.H., Laack N.N., Kemp B.J., Hunt C.H., Lowe V., Pafundi D.H. Prediction of MGMT status for glioblastoma patients using radiomics feature extraction from 18F-DOPA-PET imaging. Int J Radiat Oncol Biol Phys 2020; 108(5): 1339-1346, https://doi.org/10.1016/j. ijrobp.2020.06.073.
10. Witten A.J., Patel N., Cohen-Gadol A. Image segmentation of operative neuroanatomy into tissue categories using a machine learning construct and its role in neurosurgical training. Oper Neurosurg (Hagerstown) 2022; 23(4): 279-286, https://doi.org/10.1227/ons.0000000000000322.
11. Лихтерман Л.Б. Врачевание: стандарты и творчество. Нейрохирургия 2020; 22(2): 105-108, https://doi.org/ 10.17650/1683-3295-2020-22-2-105-108.
Likhterman L.B. Healing: standards and art. Nejrohirurgia 2020; 22(2): 105-108, https://doi.org/10.17650/1683-3295-2020-22-2-105-108.
12. Гусев Е.И., Бурд Г.С., Коновалов А.Н. Неврология и нейрохирургия. Медицина; 2000; URL: http://snsk.az/snsk/ file/2013-05-29_11-31-06.pdf.
Gusev E.I., Burd G.S., Konovalov A.N. Nevrologiya i neyrokhirurgiya [Neurology and neurosurgery]. Meditsina; 2000; URL: http://snsk.az/snsk/file/2013-05-29_11-31-06.pdf.
13. Крылов В.В., Коновалов А.Н., Дашьян В.Г., Кондаков Е.Н., Таняшин С.В., Горелышев С.К., Древаль О.Н., Гринь А.А., Парфенов В.Е., Кушнирук П.И., Гуляев Д.А., Колотвинов В.С., Рзаев Д.А., Пошатаев К.Е., Кравец Л.Я., Можейко Р.А., Касьянов В.А., Кордонский А.Ю., Трифонов И.С., Каландари А.А., Шатохин Т.А., Айрапетян А.А., Далибалдян В.А., Григорьев И.В., Сытник А.В. Состояние
нейрохирургической службы Российской Федерации. Вопросы нейрохирургии им. Н.Н. Бурденко 2017; 81(1): 5-12, https://doi.org/10.17116/neiro20178075-12.
Krylov V.V., Konovalov A.N., Dash'yan V.G., Kondakov E.N., Tanyashin S.V., Gorelyshev S.K., Dreval' O.N., Grin' A.A., Parfenov V.E., Kushniruk P.I., Gulyaev D.A., Kolotvinov V.S., Rzaev D.A., Poshataev K.E., Kravets L.Ya., Mozheiko R.A., Kas'yanov V.A., Kordonskii A.Yu., Trifonov I.S., Kalandari A.A., Shatokhin T.A., Airapetyan A.A., Dalibaldyan V.A., Grigor'ev I.V., Sytnik A.V. Neurosurgery in Russian Federation. Voprosy neirokhirurgii im. N.N. Burdenko 2017; 81(1): 5-12, https://doi.org/10.17116/neiro20178075-12.
14. Bykanov A., Kiryushin M., Zagidullin T., Titov O., Rastvorova O. Effect of energy drinks on microsurgical hand tremor. Plast Reconstr Surg Glob Open 2021; 9(4): e3544, https://doi.org/10.1097/gox.0000000000003544.
15. Coulson C.J., Slack P.S., Ma X. The effect of supporting a surgeon's wrist on their hand tremor. Microsurgery 2010; 30(7): 565-568, https://doi.org/10.1002/micr.20776.
16. Harada K., Morita A., Minakawa Y., Baek Y.M., Sora S., Sugita N., Kimura T., Tanikawa R., Ishikawa T., Mitsuishi M. Assessing microneurosurgical skill with medico-engineering technology. World Neurosurg 2015; 84(4): 964-971, https://doi. org/10.1016/j.wneu.2015.05.033.
17. Applebaum M.A., Doren E.L., Ghanem A.M., Myers S.R., Harrington M., Smith D.J. Microsurgery competency during plastic surgery residency: an objective skills assessment of an integrated residency training program. Eplasty 2018;18: e25.
18. Övari A., Nemenyi D., Just T., Schuldt T., Buhr A., Mlynski R., Csokay A., Pau H.W., Valalik I. Positioning accuracy in otosurgery measured with optical tracking. PLoS One 2016; 11(3): e0152623, https://doi.org/10.1371/journal.pone.0152623.
19. Satterwhite T., Son J., Carey J., Echo A., Spurling T., Paro J., Gurtner G., Chang J., Lee G.K. The Stanford Microsurgery and Resident Training (SMaRT) scale: validation of an on-line global rating scale for technical assessment. Ann Plast Surg 2014; 72(Suppl 1): S84-S88, https://doi. org/10.1097/sap.0000000000000139.
20. Ward T.M., Mascagni P., Ban Y., Rosman G., Padoy N., Meireles O., Hashimoto D.A. Computer vision in surgery. Surgery 2021; 169(5): 1253-1256, https://doi.org/10.1016/j. surg.2020.10.039.
21. Markarian N., Kugener G., Pangal D.J., Unadkat V., Sinha A., Zhu Y., Roshannai A., Chan J., Hung A.J., Wrobel B.B., Anandkumar A., Zada G., Donoho D.A. Validation of machine learning-based automated surgical instrument annotation using publicly available intraoperative video. Oper Neurosurg (Hagerstown) 2022; 23(3): 235-240, https://doi. org/10.1227/ons.0000000000000274.
22. Jin A., Yeung S., Jopling J., Krause J., Azagury D., Milstein A., Fei-Fei L. Tool detection and operative skill assessment in surgical videos using region-based convolutional neural networks. In: Proc 2018 IEEE Winter Conf Appl Comput Vision WACV 2018; p. 691-699, https://doi. org/10.1109/wacv.2018.00081.
23. Pangal D.J., Kugener G., Zhu Y., Sinha A., Unadkat V., Cote D.J., Strickland B., Rutkowski M., Hung A., Anandkumar A., Han X.Y., Papyan V., Wrobel B., Zada G., Donoho D.A. Expert surgeons and deep learning models can predict the outcome of surgical hemorrhage from 1 min of video. Sci Rep 2022; 12(1): 8137, https://doi.org/10.1038/ s41598-022-11549-2.
24. McGoldrick R.B., Davis C.R., Paro J., Hui K., Nguyen D., Lee G.K. Motion analysis for microsurgical training: objective measures of dexterity, economy of movement, and ability. Plast Reconstr Surg 2015; 136(2): 231e-240e, https:// doi.org/10.1097/prs.0000000000001469.
25. Franco-González I.T., Pérez-Escamirosa F., Minor-Martínez A., Rosas-Barrientos J.V., Hernández-Paredes T.J. Development of a 3D motion tracking system for the analysis of skills in microsurgery. J Med Syst 2021; 45(12): 106, https:// doi.org/10.1007/s10916-021-01787-8.
26. Oliveira M.M., Quittes L., Costa P.H.V., Ramos T.M., Rodrigues A.C.F., Nicolato A., Malheiros J.A., Machado C. Computer vision coaching microsurgical laboratory training: PRIME (Proficiency Index in Microsurgical Education) proof of concept. Neurosurg Rev 2022; 45(2): 1601-1606, https://doi. org/10.1007/s10143-021-01663-6.
27. Wang J., Zhu H., Wang S.H., Zhang Y.D. A review of deep learning on medical image analysis. Mob Networks Appl 2020; 26: 351-380, https://doi.org/10.1007/s11036-020-01672-7.
28. Du X., Kurmann T., Chang P.L., Allan M., Ourselin S., Sznitman R., Kelly J.D., Stoyanov D. Articulated multiinstrument 2-D pose estimation using fully convolutional networks. IEEE Trans Med Imaging 2018; 37(5): 1276-1287, https://doi.org/10.1109/tmi.2017.2787672.
29. Twinanda A.P., Shehata S., Mutter D., Marescaux J., de Mathelin M., Padoy N. EndoNet: a deep architecture for recognition tasks on laparoscopic videos. IEEE Trans Med Imaging 2017; 36(1): 86-97, https://doi.org/10.1109/ tmi.2016.2593957.
30. Commowick O., Kain M., Casey R., Ameli R., Ferré J.C., Kerbrat A., Tourdias T., Cervenansky F., Camarasu-Pop S., Glatard T., Vukusic S., Edan G., Barillot C., Dojat M., Cotton F. Multiple sclerosis lesions segmentation from multiple experts: the MICCAI 2016 challenge dataset. Neuroimage 2021; 244: 118589, https://doi.org/10.1016/j.neuroimage.2021.118589.
31. Gao Y., Vedula S.S., Reiley C.E., Ahmidi N., Varadarajan B., Lin H.C., Tao L., Zappella L., Béjar B., Yuh D.D., Chen C.C.G., Vidal R., Khudanpur S., Hager G.D. JHU-ISI Gesture And Skill Assessment Working Set (JIGSAWS): a surgical activity dataset for human motion modeling. 2022. URL: https://cirl.lcsr.jhu.edu/wp-content/ uploads/2015/11/JIGSAWS.pdf.
32. Sarikaya D., Corso J.J., Guru K.A. Detection and localization of robotic tools in robot-assisted surgery videos using deep neural networks for region proposal and detection. IEEE Trans Med Imaging 2017; 36(7): 1542-1549, https://doi. org/10.1109/tmi.2017.2665671.
33. Yu T., Mutter D., Marescaux J., Padoy N. Learning from a tiny dataset of manual annotations: a teacher/student approach for surgical phase recognition. arXiv; 2018, https:// doi.org/10.48550/arxiv. 1812.00033.
34. Ahmidi N., Poddar P., Jones J.D., Vedula S.S., Ishii L., Hager G.D., Ishii M. Automated objective surgical skill assessment in the operating room from unstructured tool motion in septoplasty. Int J Comput Assist Radiol Surg 2015; 10(6): 981-991, https://doi.org/10.1007/s11548-015-1194-1.
35. Rosen J., Hannaford B., Richards C.G., Sinanan M.N. Markov modeling of minimally invasive surgery based on tool/ tissue interaction and force/torque signatures for evaluating surgical skills. IEEE Trans Biomed Eng 2001; 48(5): 579-https://doi.org/10.1109/10.918597.
36. Jiang J., Xing Y., Wang S., Liang K. Evaluation of
MP34-06 mac neural net J Urol 000000 0C
robotic surgery skills using dynamic time warping. Comput Methods Programs Biomed 2017; 152: 71-83, https://doi. org/10.1016/j.cmpb.2017.09.007.
37. Peng W., Xing Y., Liu R., Li J., Zhang Z. An automatic skill evaluation framework for robotic surgery training. Int J Med Robot 2019; 15(1): e1964, https://doi.org/10.1002/rcs.1964.
38. Poursartip B., LeBel M.E., McCracken L.C., Escoto A., Patel R.V., Naish M.D., Trejos A.L. Energy-based metrics for arthroscopic skills assessment. Sensors (Basel) 2017; 17(8): 1808, https://doi.org/10.3390/s17081808.
39. Gorantla K.R., Esfahani E.T. Surgical skill assessment using motor control features and hidden Markov model. Annu Int Conf IEEE Eng Med Biol Soc 2019; 2019: 5842-5845, https://doi.org/10.1109/embc.2019.8857629.
40. Bissonnette V., Mirchi N., Ledwos N., Alsidieri G., Winkler-Schwartz A., Del Maestro R.F.; Neurosurgical Simulation & Artificial Intelligence Learning Centre. Artificial intelligence distinguishes surgical training levels in a virtual reality spinal task. J Bone Joint Surg Am 2019; 101(23): e127, https://doi.org/10.2106/jbjs.18.01197.
41. Winkler-Schwartz A., Yilmaz R., Mirchi N., Bissonnette V., Ledwos N., Siyar S., Azarnoush H., Karlik B., Del Maestro R. Machine learning identification of surgical and operative factors associated with surgical expertise in virtual reality simulation. JAMA Netw Open 2019; 2(8): e198363, https://doi.org/10.1001/jamanetworkopen.2019.8363.
42. Hung A.J., Chen J., Che Z., Nilanon T., Jarc A., Titus M., Oh P.J., Gill I.S., Liu Y. Utilizing machine learning and automated performance metrics to evaluate robot-assisted radical prostatectomy performance and predict outcomes. J Endourol 2018; 32(5): 438-444, https://doi.org/10.1089/ end.2018.0035.
43. Baghdadi A., Hussein A.A., Ahmed Y., Cavuoto L.A., Guru K.A. A computer vision technique for automated assessment of surgical performance using surgeons console-feed videos. Int J Comput Assist Radiol Surg 2019; 14(4): 697707, https://doi.org/10.1007/s11548-018-1881-9.
44. Yamaguchi T., Suzuki K., Nakamura R. Development of a visualization and quantitative assessment system of laparoscopic surgery skill based on trajectory analysis from USB camera image. Int J Comput Assist Radiol Surg 2016; 11(Suppl): S254-S256.
45. Weede O., Mohrle F., Worn H., Falkinger M.; Feussner H. Movement analysis for surgical skill assessment and measurement of ergonomic conditions. In: International Conference on Artificial Intelligence, Moi and Simulation. IEEE; 2014; p. 97-102, https://doi.or aims.2014.69.
46. Kelly J.D., Petersen A., Len Bidirectional long short-term classification of temporally segm Assist Radiol Surg 2020; 15 org/10.1007/s11548-020-02269-
47. Gahan J.
ds>s>es>s>inei и
i: 2014 ¿П&й
nput ¡://doi.
arson E. convolutional botic skills.
________org/10.1097/ju.
g j
owards surgical tools ment based on deep .-ot Bionics 2022; 4(1): 62-71, rb.2022.3145672.
