CC BY
24
ДЛЯ КОРРЕСПОНДЕНЦИИ
McDougall E.M., MD, FRCSC Department of Urology, University of California, Irvine, Orange, California 92868, USA E-mail: elspethm@uci.edu
Э.М. МакДугалл, Ф.А. Корика, Дж.Р. Бокер, Л.Г. Сала, Г. Столяр, Дж.Ф. Борин, Ф.Т. Чу, Р.В. Клэймэн
Оценка конструктной валидности хирургического лапароскопического симулятора
E.M. McDougall, F.A. Corica, J.R. Boker, L.G. Sala, G. Stoliar, J.F. Borin, F.T. Chu, R.V. Clayman
Construct validity testing of a laparoscopic surgical simulator
Department of Urology, University of California, Irvine, Orange, CA, USA
Background. We present initial data on the construct, content, and face validity of the LAPMentor (Simbionix), virtual reality laparoscopic surgical simulator. Study design. Medical students (MS), residents and fellows (R/F), and experienced laparoscopic surgeons (ES), with <30 laparoscopic cases per year (ES<30) and those with >30 laparoscopic cases per year (ES>30), were tested on 9 basic skill tasks (SK) including manipulation of 0-and 30-degree cameras (SKl, SK2), eye-hand coordination (SK3), clipping (SK4), grasping and clipping (SK5), two-handed maneuvers (SK6), cutting (SK7), fulguration (SK8), and objecttranslocation (SK9). Results. Mean MS («=23), R/F («=24), ES<30 («=26), and ES>30 («=30) ages were 26 years (range 2l to 32 years), 3l years (range 27 to 39 years), 49 years (range 3l to 70 years) and 47 years (range 34 to 69 years), respectively. In the lower level skill tasks (SK3, SK4, SK5, and SK6) the ES>30, ES<30, and R/F had similar scores, but were all substantially better than the MS scores. In the higher level skill tasks (SK7, SK8, and SK9), the ES>30 scores tended to be better than the R/F and ES<30, which were similar, and these, in turn, were markedly better than the MS. The ES>30 had notably higher SK8 scores
Урологическое отделение, Калифорнийский университет, Ирвин, Оранж, Калифорния, США
Состояние проблемы. Мы представляем первоначальные данные о конструктной, содержательной и внешней валидности хирургического лапароскопического симулятора LAPMentor (компания 8тЫотх) со средствами виртуального отображения.
Дизайн исследования. Студенты-медики (М8), ординаторы и стипендиаты (Я/Б), а также опытные лапароскопические хирурги (Е8), проводившие <30 лапароскопических вмешательств ежегодно (Е8<30), а также те, которые проводили >30 лапароскопических операций в год (Е8>30), выполняли 9 заданий, направленных на формирование базовых навыков (8К), включая управление 0° и 30° камерами (8К1, 8К2), зрительно-моторную координацию (ВК3), клипи-рование (ВК4), захват и клипирование (ВК5), маневрирование двумя руками (ВК6), рассечение (8К7), коагуляцию (8К8) и перемещение объектов (8К9). Результаты. Средний возраст М8 (и=23), (и=24), Е8<30 (и=26) и Е8>30 (и=30) составил 26 (21-32), 31 (27-39), 49 (31-70) и 47 (34-69) лет соответственно. При выполнении заданий низшего порядка (8К3, 8К4, 8К5 и 8К6) Е8>30, Е8<30 и показали схожие результаты, которые были все же значительно лучше, чем в группе М8. При выполнении сложных заданий (8К7, 8К8 и 8К9) показатели Е8>30 имели тенденцию к превосходству над результатами групп и Е8<30, которые были примерно равными, но в свою очередь существенно превосходили данные группы М8. Параметры качества выполнения 8К8 в группе Е8>30 были заметно выше, чем в группах и Е8<30, которые были сопоставимы друг с другом и явно опережали результаты, полученные участниками группы М8.
than the R/F and ES<30, who had similar scores, and these had notably better scores than the MS.
Conclusions. The noncamera skills (SK3 to 9) of the LAPMentor surgical simulator can distinguish between laparoscopically naive and ES. SK8 showed the highest level of construct validity, by accurately differentiating among the MS, R/F, ES<30 and ES>30.
Заключение. По результатам работы на хирургическом си-муляторе LAPMentor в области приобретения навыков, не имеющих отношения к работе с камерой (SK3—9), можно отличить испытуемых из групп ES от тех, которые ранее не работали с лапароскопическими инструментами. Результаты выполнения задания SK8 выявили наивысший уровень конструктной валидности за счет точной дифференциации групп MS, R/F, ES<30 и ES>30.
J. Am. Coll. Surg. 2006; Vol. 202: 779-87.
Сокращения
Е8 — опытные лапароскопические хирурги М8 — студенты-медики
— ординаторы и стипендиаты 8К — учебные задания по формированию базовых навыков
Лапароскопия представляет неотъемлемый компонент современной повседневной урологической практики. Это направление быстро развивается в крупных медицинских центрах, однако медленно внедряется в общую практику урологии, поскольку в большинстве случаев предполагает весьма крутую кривую обучения. Сниженное восприятие глубины, двухмерное изображение, ослабленные тактильные ориентиры и ощущение конечного усилия, сообщаемого инструменту при работе в контринтуитивной среде, крайне затрудняют процесс обучения. Но по этим же причинам в отличие от открытой хирургической операции условия лапароскопического вмешательства можно воспроизвести компьютерными средствами виртуального отображения (виртуальной реальности). Необходимость постоянного обновления этих непростых лапароскопических навыков сделали базовую лапароскопию доступной для симуляционного обучения [1]. Таким образом, хирургические симуля-торы помогут хирургам-новичкам приобрести навыки управления лапароскопи-
ческими инструментами, компенсации угла расположения камеры и фалькрум-эффекта инструментов, а также отработать манипуляции обеими руками [2].
Перед началом работы на хирургическом симуляторе его следует тщательно и объективно проверить на предмет научной надежности и валидности [3]. Из 5 признанных типов валидности [содержательная, внешняя, конструктная, конкурентная и предсказательная (прогностическая)] мы остановились на 3 основных видах валидности: содержательной, внешней, конструктной. Одной из наиболее важных считается конструкт-ная валидность, поскольку она подтверждает способность симулятора по результатам анализа качества работы отличить опытного хирурга от неопытного. Содержательная валидность характеризует применимость симулятора как средства обучения и оценивается по данным официального заключения специалистов, которые хорошо в нем разбираются. Этот параметр позволяет определить реальную способность симулятора выполнять заявленные задачи обучения. Как правило, внешняя валидность произвольно оценивается неспециалистами и используется для оценки, насколько создаваемые симу-лятором условия близки к реальным, т.е. на каком уровне симулятор воспроизводит то, что он должен воспроизводить [3].
Цель настоящего исследования — представление начальной оценки конструктной, содержательной и внешней валидности хирургического симулятора ЬАРМеШог (БтЪюшх) при его использовании для формирования базовых навыков лапароскопической работы. Только после определения всех этих видов валидности целесообразно продолжать анализ с оценкой конкурентной (степень соответствия симулятора «золотому стандарту» технической подготовки) и прогностической (подтверждение возможности прогнозировать будущий уровень навыков стажера при переходе к реальной работе в операционной по показателям качества хирургической деятельности на симуляторе) валидности.
Материал и методы
После получения одобрения от Экспертного совета Калифорнийского университета (Ирвин) студенты-медики (МБ), ординаторы, стипендиаты в области общей хирургии и акушерства и гинекологии (Я/Р) и опытные лапароскопические хирурги (ЕБ) были приглашены для участия в исследовании, проведенном с августа 2004 по январь 2005 г. Группу ЕБ составили практикующие урологи, общие хирурги и гинекологи, проводящие лапароскопические вмешательства. Эта группа была разделена на 2 подгруппы: хирурги, проводящие <30 лапароскопических вмешательств в год (ЕБ<30), и хирурги, ежегодно проводящие >30 лапароскопических операций (ЕБ>30). В большинстве случаев врачи группы ЕБ>30 приняли участие в исследовании добровольно, во время 13-го Международного конгресса и Ежегодной конференции «ЕпёоЕхро» Общества лапа-роэндоскопических хирургов в Нью-Йорке (штат Нью-Йорк).
Система LAPMentor представляет компьютерный симулятор со средствами виртуального отображения, предназначенный для формирования основополагающих навыков лапароскопической работы. В его состав входят 2 симуляторных рабочих инструмента и камера. Движения инструмента и камеры передавали в виртуальную рабочую среду, включая тактильный регулятор, и отображали на 17-дюймовом плоском жидкокристаллическом мониторе. Задания по формированию базовых навыков (SK) включали работу с 0° камерой (SK1), работу с 30° камерой (SK2), зрительно-моторную координацию (SK3), клипирование кровоточащих участков (SK4), захват и клипирование источников кровотечения (SK5), работу обеими руками (SK6), рассечение (SK7), коагуляцию (SK8) и перемещение объектов (SK9) (табл. 1).
Каждое базовое SK было разделено на компоненты, которые варьировали соответственно характеру задания. Оценивали общее время выполнения каждого упражнения. Показатель точности в процентном
Таблица 1. Задания симулятора LAPMentor, направленные на формирование базовых навыков лапароскопии
Индекс задания Описание задания
SK1 Работа с 0° камерой
SK2 Работа с 30° камерой
SK3 Зрительно-моторная координация
SK4 Клипирование кровоточащих участков
SK5 Захват и клипирование источников кровотечения
SK6 Работа обеими руками
SK7 Рассечение
SK8 Коагуляция
SK9 Перемещение объектов
выражении был определен как число «пораженных» красных шариков, общее число снимков (SK1) и (SK2) или оба показателя, число корректных контактов с шариками, общее число «выбранных» шариков (SK3) или оба показателя, число правильно наложенных скобок, общее число наложенных скобок (SK4) или оба показателя, число случаев рассечения без посторонних повреждений, общее число рассечений (SK7) или оба показателя, а также количество коагулированных выделенных структур, их общее число (SK8) или оба показателя. Результаты по каждому базовому SK автоматически регистрировали в соответствии с заложенным в системе алгоритмом и сохраняли в виде электронных таблиц в защищенном паролем каталоге. Общие результаты анализа качества деятельности системы LAPMentor представляли по всем 9 заданиям.
Шкалы SK и их компонентов сравнивали между 3 группами участников. Затем заданные изготовителем показатели качества выполнения заданий, включающие данные о скорости и точности работы, сравнивали между собой с определением коэффициента корреляции каждого компонента с остальными. После персонального практического инструктажа по каждому задания, который включал определение ожидаемых показателей, регистрируемых переменных и штрафов за ошибки и проводился опытным специалистом, участникам предоставлялась возможность выполнить одну попытку, после которой регистрировалось качество их деятельности. Участники выполняли задания на симуляторе LAPMentor, последовательно переходя от задания 1 к заданию 9. Непосредственно по окончании работы на симуляторе проводили опрос каждого участника исследования (демографиче-
ские данные, опыт хирургической работы и впечатления от работы на симуляторе). В анализ включали данные опроса ES, касающиеся содержательной валидности, и MS, касающиеся внешней валидности.
Анализ данных включал в себя описательную статистику, подсчет коэффициентов корреляции и сравнительный анализ средних показателей качества работы между 3 группами. Статистическую значимость различий определяли с помощью однофак-торного дисперсионного анализа (ANOVA) или i-теста для независимых выборок. Значимые результаты ANOVA обрабатывали методом парных сравнений с применением теста Стьюдента—Ньюмана—Кейлса (для гомогенных дисперсий) или теста Гейм-са—Хоуэлла (для гетерогенных групповых дисперсий). В качестве критерия статистической значимости был установлен номинальный а-уровень <0,05, не сделано никакой поправки для контроля ошибки первого рода в случае множественных сравнений. Все расчеты проводили с помощью пакета статистических программ SPSS, версия 12.0 (SPSS Inc).
Результаты
Всего в исследовании участвовали 103 человека: 23 - MS, 24 - R/F, 26 - ES<30 и 30 — ES>30. Средний возраст участников по группам: MS - 26 лет (21-32), R/F - 31 год (27-39), ES<30-49 лет (31-70) и ES>30-47 лет (34-69). Возраст участников обеих групп ES был примерно одинаковым, но существенно выше, чем у лиц группы R/F, участники которой были, в свою очередь, заметно старше лиц группы MS. В группе MS было 25% женщин, в группе R/F - 21% и в группе ES -4%. К моменту исследования все участ-
Таблица 2. Показатели качества выполнения 9 заданий по формированию базовых навыков лапароскопической работы на симуляторе LAPMentor и общий индекс качества деятельности по 4 группам участников
Номер задания ES 30 ES<30 R/F MS
1 86±14 85±7 91 ±8 82±14
2 86±15 82±16 89±17 81 ±17
3 87±8 79±16 88±7 69±22
4 96±8 90±19 97±4 86±14
5 81 ±7 77±13 82±12 66±22
6 91 ±9 87±13 92±13 78±23
7 92±14 73±19 8 7±17 76±22
8 75±25 54±17 59±22 43±15
9 60±26 40±25 62±26 27±20
Общий индекс 756±79 680±86 754±72 615±99
Данные представлены в виде средних значений ±Э0.
ники из группы Я/Р принимали участие в <30 лапароскопических вмешательств в качестве ассистентов, за исключением 1 старшего ординатора-общего хирурга и 1 стипендиата-уролога, которые принимали участие в >50 вмешательствах. Ни один из участников группы МБ на момент начала исследования не имел опыта лапароскопической работы.
Существенных различий показателей качества работы с камерами (БК1 и БК2) между участниками 4 групп не обнаружено (табл. 2, 3). В группах ЕБ>30, ЕБ<30 и Я/Р результаты при выполнении заданий БК3, БК4, БК5 и БК6 также были примерно одинаковыми, но они были существенно выше, чем у лиц группы МБ. Результаты выполнения заданий БК7 (рассечение) и БК9 (перемещение объектов) в группах ЕБ>30 и Я/Р были схожими, но при этом значительно превышали данные (р<0,01 для БК7, р<0,001 для БК9), выявленные у участников групп ЕБ<30 и МБ, которые, в свою очередь, немногим отличались
Таблица 3. Статистической сравнение индексов системы LAPMentor по результатам выполнения базовых заданий участниками 4 групп
Задания системы LAPMentor Сравнение показателя качества деятельности по группам
БК1 Е8>30=Е8<30=В/Р=МБ (р=0,07)
8К2 Е8>30=Е8<30=В/Р=МБ (р=0,30)
8К3 Е8>30=Е8<30=В/Р=МБ (р<0,001)
8К4 Е8>30=Е8<30=В/Р=МБ (р<0,006)
8К5 Е8>30=Е8<30=В/Р=МБ (р<0,01)
8К6 Е8>30=Е8<30=В/Р=МБ (р<0,009)
8К7 Е8>30=В/Р>Е8<30=М8 (р<0,01)
8К8 Е8>30>В/Р (р<0,01)=Е8<30>М8 (р<0,001)
8К9 Е8>30=В/Р>Е8<30=М8 (р<0,001)
Общий индекс Е8>30=В/Р (р=0,95) > Е8<30 (р=0,0001) > М8 (р=0,0001)
между собой. Примечательно, что качество выполнения задания БК8 (коагуляция) в группах ЕБ<30 и Я/Р было примерно одинаковым, но в целом существенно менее высоким, чем в группе ЕБ>30 (р<0,01), данные которой, в свою очередь, оказались заметно выше по сравнению с группой МБ (р<0,001). При анализе общих и совокупных данных было выявлено, что участники групп ЕБ>30 и Я/Р получили примерно одинаковые результаты (р=0,95), которые были значительно выше результатов, полученных участниками группы ЕБ<30 (р=0,0001). Аналогично этому совокупные данные группы ЕБ<30 были существенно лучше, чем в группе МБ (р=0,0001).
Данные, касающиеся выполнения задания БК8 (коагуляция), были проанализированы повторно. Среднее и медиана качества выполнения для группы ЕБ>30 составили 86 и 93 соответственно (рис. 1). В группе Я/Р было несколько случаев превышения средних показателей БК8 группы ЕБ>30, а в группе ЕБ<30 их не было совсем.
100
^
| 90
СС
го
!й 80
Л
I
ф
=Е 70
О с
т 60
го ш
§ 501
т
СС ^
* 40ц
ф
I? 30-го
0
= 20-
1
ф
о 10-[=
0
МБ
В/Р ЕБ <3 0 ЕБ>30
59 54 86
56 56 83
Среднее 43 Медиана 40
Рис. 1. Сравнение показателей качества деятельности при выполнении SK8 со средними и медианами в каждой из групп
14 27,5 25
27.5 Н 35
100 90 80
и" 70 ¡Е 60 ^ 50 £ 40
■Е 30 ф
20 10 0
МБ В/Р ЕБ<30 ЕБ>30 ■ 76-100 ■ 51-75 ■ 26-50 ■ 0-25
Рис. 2. Сравнение показателей качества деятельности при выполнении SK8 по квартилям по 4 группам
_1_
_1_
Аналогично этому в группе МБ было мало случаев превышения показателей БК8 групп Я/Р и ЕБ<30, а в сравнении с группой ЕБ>30 их не было совсем. Все средние показатели в группах МБ, Я/Р и ЕБ<30 были ниже самого низкого показателя группы ЕБ>30.
Было отмечено, что одна из стипендиатов группы Я/Р прежде имела значительный опыт лапароскопической работы в области общей хирургии в Южной Америке до начала специализации в данной области. В связи с этим ее результаты были перенесены из группы Я/Р в более подходящую для нее группу ЕБ<30, а данные выполнения задания БК8 подвергнуты повторному анализу. Таким образом средний показатель качества выполнения БК8 в группе ЕБ>30 (86±14) оказался выше, чем в группе ЕБ<30 (79+15), правда, это различие было статистически незначимым. В этих группах индексы выполнения задания БК8 были значимо выше (р<0,0005) по сравнению с группой Я/Р после проведенных
изменений (52+17) и в группе МБ (43+16). Хотя в пересмотренной группе Я/Р показатели БК8 были выше, чем в группе МБ, различия были незначимы. Представляет интерес и тот факт, что 2 наивысших показателя выполнения БК8 в группе Я/Р при сравнении с группой ЕБ>30 существенно не различались (91+2,5 и 86+14 соответственно). У одного участника из группы Я/Р был внушительный опыт лапароскопической работы, а 2 других целенаправленно специализировались в данной области. Показатель качества выполнения БК8 этих участников группы Я/Р (91+2,5) был значительно выше, чем у всей группы Я/Р при анализе без 4 самых высоких результатов (52+17; _р<0,0005). Показатели качества деятельности также анализировали в виде процентных квартилей: 76% — 100%, 51% — 75%, 26% - 50% и 0% - 25% (рис. 2).
Показатели БК8 85% участников группы ЕБ>30 находились в квартиле 76-100, а 15% — в квартиле 51-75%. Ни у одного участника группы ЕБ>30 показатель БК8 не
Таблица 4. Внешняя валидность системы ЬАРМепЬг по оценкам участников групп МБ и (п=36)
Вопрос Ответы
1 2 3 4 5
Какова система 1_АРМеп!ог в работе? п (%) (1 = трудная, 3 = средняя, 5 = простая) 0 2 (6) 13 (36) 15 (42) 6 (17)
Насколько реалистично симулятор 1_АРМеп!ог воспроизводит условия работы? п (%) (1 = совсем плохо, 3 = до некоторой степени, 5 = очень хорошо) 0 4 (11) 16 (46) 12 (34) 3 (9)
Таблица 5. Содержательная валидность системы ЬАРМепЬг по оценкам участников группы ЕБ>30 (п=23)
Вопрос Ответы
1 2 3 4 5 6
Полезен ли симулятор 1_АРМеп!ог для подготовки ординаторов? п (%) (1 = нет, 3 = в некоторой степени, 5 = да) 0 2 (9) 3 (13) 11 (48) 7 (30)
1_АРМеп!ог лучше или хуже тазового тренажера? п (%) (1 = хуже, 3 = одинаков, 5 = лучше) 3 (13) - 11 (48) - 9(39)
Можете ли вы рекомендовать закупить симулятор 1_АРМеп!ог для обучения? п (%) (1 = нет, 5 = да) 2 (9) - - - 21 (91) -
Предоставляет ли симулятор 1_АРМепЬг благоприятные условия для подготовки ординаторов перед началом реальной лапароскопической деятельности? п (%) (1 = нет, 5 = да, 6 = не знаю) 2 (8) 17 (47) 4 (17)
Можно ли рассматривать симулятор 1_АРМеп!ог как разрешенный инструмент сертификации? п (%) (1 = нет, 5 = до, 6 = не знаю) 6 (26) 8 (35) 9 (39)
превышал 50%. В группе ЕБ<30 25% участников были классифицированы в квартиль 76-100, 70% - в квартиль 51-75 и 26% -в квартиль 50 (по 35% в каждую квартальную группу), а 5% - в квартиль 0-25%. В группе Я/Р 27,5% участников были отнесены в квартиль 76-100, 27,5% - в квартиль 51-75, 45% - в квартиль 26-50 и ни одного в квартиль 0-25%. В группе МБ 77% участников были отнесены в квартиль 26-50, 14% - в квартиль 51-75 и по 4,5% -в квартили 76-100 и 0-25%.
Показатели качества выполнения заданий по каждой группе представлены в табл. 2. Участники группы МБ были наименее точны при выполнении заданий БК3, БК5, БК6 и БК9. Важно отметить, что
лица из группы МБ не превзошли участников группы Я/Р ни по одному заданию.
Участники групп МБ и Я/Р оценивали внешнюю валидность (реалистичность воспроизведения ситуации) системы ЬАРМепШг. Из них 94% оценили симу-лятор как среднюю систему по простоте использования и выполнения различных практических заданий. 89% участников сочли, что симулятор ЬАРМепШг в практическом плане реалистично воспроизводит рабочую ситуацию (табл. 4).
Участников группы ЕБ>30 попросили оценить содержательную валидность симу-лятора LAPMentor (табл. 5). Большинство из них (91%) сочло систему LAPMentor полезным учебным средством, а 87% ответи-
ли, что симулятор так же хорош или даже лучше обычного тазового тренажера для обучения навыкам лапароскопической работы. 91% участников группы ЕБ>30 намерены рекомендовать систему LAPMentor для применения в рамках программы лапароскопической подготовки (см. табл. 5), а 74% считают, что она предоставляет хорошие условия для подготовки ординаторов перед началом реальной лапароскопической работы в операционной. 35% опрошенных из группы ЕБ>30 назвали симу-лятор LAPMentor адекватным средством сертификации, однако 39% не были уверены, что его можно использовать в этом качестве (см. табл. 5).
Обсуждение
Результаты заданий по работе с камерами (БК1 и БК2) хирургического симуля-тора LAPMentor не различаются в группах стажеров, как это ожидалось для заданий представляющих основные (фундаментальные) способности. По результатам заданий более высокого уровня, но одновременно менее сложных, таких как зрительно-моторная координация (БК3), клипирование источников кровотечения (БК4), захват и клипирование кровоточащих участков (БК5), а также манипуляции обеими руками (БК6) предоставляли информацию, с помощью которой можно было различить хирургов, не имеющих и имеющих опыт лапароскопической работы. Однако эти задания не позволяли дифференцировать хирургов в зависимости от их прежнего опыта лапароскопических вмешательств.
Задания более высокого уровня и умеренной сложности, включая рассечение (БК7) и перемещение объектов (БК9),
также предоставляли информацию, с помощью которой можно было различить хирургов, не имеющих и имеющих опыт лапароскопической работы. Интересно, что при выполнении этих заданий показатели качества работы в группах ЕБ>30 и Я/Р были примерно одинаковыми, равно как в группах ЕБ<30 и МБ, но данные групп ЕБ>30 и Я/Р были заметно выше, чем в группах ЕБ<30 и МБ.
Задание, связанное с коагуляцией (БК8), требует квалификации очень высокого уровня. Оно предполагает одновременную работу с инструментами обеими руками, сходную с диссекцией, и пользование ножным приводом коагулирующего инструмента. Кроме того, правая педаль используется в сочетании с инструментом правой руки, а левая — с инструментом, управляемым левой рукой. С учетом этих особенностей данная задача, будучи более сложной, может быть и более ценной при выявлении хирургического опыта работы.
Действительно, показатели выполнения этого задания в группе ЕБ>30 были значительно лучше по сравнению с другими группами. Примечательно, что результаты выполнения БК8 участниками групп ЕБ<30 и Я/Р были примерно одинаковыми, но значительно превосходили данные группы МБ. Максимальный показатель выполнения БК8 в группе Я/Р у нескольких лиц был выше среднего показателя в группе ЕБ>30, но самый низкий результат БК8 в группе ЕБ>30 не был ниже среднего показателя группы Я/Р. Следует отметить, что максимальный результат в группе ЕБ<30 не превышал среднего показателя группы ЕБ>30, а показатели группы ЕБ<30 были сопоставимы с показателями группы Я/Р. Аналогично максимальный результат БК8 в группе МБ не превышал среднего по группе ЕБ>30. Таким образом, несколько
участников групп MS и R/F очень хорошо справились с этим заданием высокого уровня, но ни один из их результатов не был лучше среднего показателя в группе ES>30. Эти данные подтверждают вывод о конструктной валидности SK8 системы LAPMentor.
Любопытно, что хирурги, обладающие некоторым опытом лапароскопической работы (R/F, ES<30 и ES>30) демонстрировали схожие результаты при работе с камерой по сравнению с испытуемыми группы MS. Это может быть следствием того, что ES редко используют камеры, а R/F пользуются ими чаще. Навыки работы с камерами по сути отражают основополагающие способности, поэтому трудно ожидать ярких различий по этому показателю между новичками и ES. Таким образом, опыт в области выполнения этих манипуляций отражался на результатах деятельности, подтверждая гипотезу о том, что навыки работы с камерой имеют низкую кон-структную валидность, если тестируются на симуляторе LAPMentor. R/F устойчиво работали лучше, чем MS, и их результаты были аналогичны результатам ES. Лицам группы MS требовалось больше времени на выполнение большинства базовых SK по сравнению с другими группами.
Ограничение настоящего исследования, которое может стать причиной для критики достоверности результатов, состоит в том, что участникам предоставлялась только одна практическая попытка для выполнения заданий. По данным Gallagher и соавт. [4] в небольших группах (6 опытных хирургов и 6 хирургов, не имеющих опыта в области лапароскопии) показатели качества деятельности отдельных лиц и группы в целом существенно улучшаются при проведении нескольких (до 3) зачетных попыток. Другие исследо-
ватели утверждают, что люди с более богатым опытом виртуальных игр лучше действуют (работают) в условиях виртуальной реальности и при использовании модельных лапароскопических симуляторов по сравнению с теми, кто регулярно не играет в подобные игры [5]. Это также может приводить к систематической ошибке, поскольку в исследовании участвовали опытные хирурги старшего возраста (медиана возраста — 45 лет по сравнению с 26 годами в группе МБ и 32 — Я/Р). У участников этих 2 групп, естественно, опыт видеоигр больше, так как они моложе, что теоретически может способствовать их успехам при работе на симуляторе.
Система LAPMentor обеспечивала реалистичный формат воспроизведения и была названа участниками относительно простой в работе, т.е. данный симулятор обладает внешней валидностью. Наличие содержательной валидности симулятора LAPMentor также получило подтверждение. В большинстве случаев участники группы ЕБ>30 сочли симулятор ценным средством обучения и подготовки и рекомендовали включить его в программу подготовки по лапароскопии. Наиболее интересным следует признать тот факт, что на данный момент отсутствуют данные, подтверждающие наличие прогностической и конкурентной валидности у симулятора LAPMentor, однако треть ЕБ назвали его адекватным инструментом сертификации. Правда, это может отражать недостаточное понимание важности оценки научной валидности хирургических симуляторов. При другом подходе, по аналогии с подготовкой пилотов, оценка симуляторов может быть настолько интуитивной, что некоторые хирурги признают ее необходимость в направлении привилегий и сертификации.
Компьютерные средства воспроизведения быстро развиваются и могут стать полезными инструментами хирургической подготовки и аттестации хирургов. Достоверных подтверждений их превосходства над тазовыми тренажерами пока нет, но компьютерные лапароскопические симуля-торы способствуют объективной оценке хирургических навыков, относительно свободны от преднамеренных или систематических ошибок, позволяют снизить внутри- и межличностные различия между испытуемыми, к тому же они более надежны [2, 6, 7]. Показатели индивидуальной деятельности регистрируются автоматически, исключая затратное по времени и средствам участие человека, а также противоречивые оценки, связанные с его необъективностью или невнимательностью. Эти средства могут стать ценными инструментами контроля процесса обучения с оценкой результатов по ходу работы. Несомненно, объективный анализ точности и эффективности формирования навыков является уникальной характеристикой компьютерных систем. Однако хирургические симуляторы в том виде, в котором они существуют, менее гибкие по сравнению с тазовыми тренажерами в отношении введения новых задач и дороги при эксплуатации в рамках учебных программ [7].
При должном внимании к развитию данного направления медицинской промышленности гибкость симуляторных систем, несомненно, будет повышаться, а дополнительные программные средства и модули со временем сделают их применение междисциплинарным. Следует признать, что поначалу вопросы стоимости будут препятствовать этому развитию, однако сильным аргументом в пользу применения симуляторов в специализированных учебных центрах станет перспектива повышения качества хирургической подготовки.
Согласно данным, приводимым Seymour с соавт. [1], ординаторы, отобранные для мини-инвазивной хирургической подготовки с использованием средств виртуального отображения (MIST-VR), выполняют диссекцию желчного пузыря на 29% быстрее и в 6 раз реже допускают ошибки по сравнению с не проходившими подготовку на симуляторах. Кроме того, симуляторы устраняют внутри- и межиндивидуальные различия между испытуемыми, что может оправдывать высокую стоимость компьютерных симуляторов. Среди их других достоинств можно назвать снижение затрат рабочего времени преподавателей. По завершении базовой подготовки по встроенной в систему программе стажер может получать инструкции и работать на симуля-торе один.
Ряд других компьютерных лапароскопических симуляторов с набором заданий, анатомическим воспроизведением и наличием (или отсутствием) тактильного регулятора обладают высокой конструктной валидностью. Среди них можно назвать MIST-VR (Mentice AB) [8-10], LapSim (Immersion Medical) [11], MISTELS (SAGES FLS program) [12] и Xitact LS500 (Xitact SA) [13]. Следует признать, что современные валидные хирургические симуляторы работают только в области формирования базовых лапароскопических навыков. Симуляторы, предназначенные для приобретения навыков более высокого уровня и отдельных лапароскопических вмешательств, пока не имеют полной валидации. Важно также сравнить симуляторы между собой, используя один и тот же процесс валидации. Такие исследования в настоящее время проводятся при содействии Комитета хирургической подготовки Общества лапароэндоскопи-ческих хирургов.
Несмотря на то что конструктная ва-лидность является важной характеристикой и ее следует оценить до того, как си-мулятор будет использоваться в качестве инструмента анализа, пока что исследование данного средства обучения только начинается. Планируется провести более продолжительные исследования 2 других очень важных типов валидности: прогностической и конкурентной. Только после определения этих характеристик может быть одобрено применение симулятора в качестве инструмента обучения и анализа. В настоящее время идут испытания, направленные на оценку прогностической валидности системы LAPMentor. Обучение и оценка уровня технических навыков в хирургии представляют наименее систематизированные и стандартизованные компоненты классического хирургического обучения. Недавние ограничения продолжительности рабочего дня ординаторов, рост стоимости операционного времени, внимание общества к медицинским ошибкам и вопросы этики обучения хирургическим навыкам в операционной стимулируют разработку учебных программ приобретения основополагающих лапароскопических навыков при отсутствии риска. Внедрение хирургических стимуляторов в учебные программы, по-видимому, будет предоставлять возможность обучения при отсутствии риска для максимального увеличения опыта и снижения продолжительности обучения сложным хирургическим методикам, а также способствовать снижению частоты осложнений. Имеются данные, свидетельствующие о том, что приобретенные навыки лапароскопической работы на симуляторе способствуют повышению безопасности пациента и минимизации продолжительности вмешательства [1].
Обучение на неодушевленных объектах способствует формированию реальных навыков лапароскопической работы, однако их объективная количественная оценка затруднена и требует контроля и анализа со стороны человека [2]. Компьютерные симуляторы позволяют объективно оценивать уровень формируемого навыка на основе качества деятельности, эффективности движения инструментов, учета ошибок, а не только по времени, затраченному на выполнение задания. Этот компьютерный формат функционирования позволяет также контролировать и сравнивать качество индивидуальной работы в динамике, что отражает кривую обучения, свойственную определенному навыку или вмешательству, а также обеспечивает возможность сравнения результатов работы отдельных лиц с данными квалифицированных коллег и специалистов. При подтверждении прогностической валидности можно сформулировать критерии уровня квалификации по отдельным навыкам и вмешательствам, а при соответствующих условиях это позволит хирургам переходить к реальной работе в операционной по достижению установленного уровня подготовки. Пребывание в операционной для ординаторов будет скорее привилегией, заслуженной в процессе обучения. К тому же симуляторы, подобные LAPMentor, регистрируют не только то, что делается, они обладают встроенными программными средствами, которые извещают хирурга о совершенной ошибке, позволяя ему быстро исправить ее и продолжить корректную и безопасную работу по выполнению задания, процедуры или того и другого.
В заключение следует отметить, что хирургический симулятор LAPMentor обладает приемлемой содержательной и внешней, а также подтвержденной конструктной ва-
лидностью. А точнее, БК8 - электрохирургическая коагуляция, выполняемая обеими руками с применением ножного переключателя - была единственной манипуляцией, по результатам выполнения которой можно было четко различить лиц групп МБ, Я/Р, ЕБ<30 и ЕБ>30. Чтобы определить, об-
ладает ли данный лапароскопический си-мулятор прогностической и конкурентной валидностью, требуются дополнительные испытания, прежде чем прибор можно будет рекомендовать для включения в состав курса обучения как валидное и надежное средство подготовки и оценки качества деятельности.
Вклад авторов
Идея и дизайн: McDougall, Boker, Clayman.
Сбор данных: McDougall, Corica, Sala, Stoliar, Borin, Chu.
Анализ и трактовка результатов: McDougall, Corica, Boker, Clayman.
Подготовка рукописи: McDougall, Corica, Boker, Clayman.
Критический анализ: Boker, Clayman.
Статистическая экспертиза: Boker.
Источники финансирования: McDougall, Clayman.
Общий контроль: McDougall, Clayman.
^HTepaTypa/Reíerenees
1. Seymour N.E., Gallagher A.G., Roman SA., et al. Virtual reality training improves operating room performance. Results of a randomized, double-blind study. Ann Surg. 2002; Vol. 236: 458—64.
2. Madan A.K., Frantzides C.T., Shervin N., Tebbit C.L. Assessment of individual hand performance in box trainers compared to virtual reality trainers. Ann Surg. 2003; Vol. 69: 1112—4.
3. McDougall E.M. Surgical simulation. AUA Updates (Accepted for publication).
4. Gallagher A.G., Lederman A.B., McGlade K., et al. Discriminative validity of the Minimally Invasive Surgical Trainer in Virtual Reality (MIST-VR) using criteria levels based on experience. Surg Endosc. 2004; Vol. 18: 660-5.
5. Enochsson L., Isaksson B., Tour R., et al. Visuospatial skills and computer game experience influence the performance of virtual endoscopy. J Gastrointest Surg. 2004; Vol. 8: 876-82.
6. Munz Y., Kumar B.D., Moorthy K., et al. Laparoscopic virtual reality and box trainers: is one superior to the other? Surg Endosc. 2004; Vol. 18: 485-94.
7. Kothari S.N., Kaplan B.J., DeMaria E.J., et al. Training in laparoscopic suturing skills using a new computer-based virtual reality simulator (MIST-VR) provides results comparable to those with an established pelvic trainer system. J Laparoendosc Adv Surg. Tech A. 2002; Vol. 12: 167-73.
8. Taffinder N., Sutton C., Fishwick R.J., et al. Validation of virtual reality to teach and assess psychomotor skills in laparoscopic surgery: results from randomized controlled studies using the MIST-VR laparoscopic simulator. Stud Health Technol Inform. 1998; Vol. 50: 124-30.
9. Gallagher A.G., Richie K., McClure N., McGuigan J. Objective psychomotor skills assessment of experienced, junior, and novice laparoscopists with virtual reality. World J Surg. 2001; Vol. 25: 1478-83.
10. McNatt S.S., Smith C.D. A computer-based laparoscopic skill assessment device differentiates experienced from novice laparoscopic surgeons. Surg Endosc. 2001; Vol. 15: 1085-9.
11. Duffy A.J., Hogle N.J., McCarthy H., et al. Construct validity for the LapSim laparoscopic surgical simulator. Surg Endosc. 2005; Vol. 19: 401-5.
12. Fried G.M., Feldman L.S., Vassiliou M.C., et al. Proving the values of simulation in laparoscopic surgery. Ann Surg. 2004; Vol. 240: 518-28.
13. Schijven M., Jakimowicz J. Construct validity. Expert and novices performing on the Xitact LS500 laparoscopy simulator. Surg Endosc. 2003; Vol. 17: 803-10.
