CC BY
29
ДЛЯ КОРРЕСПОНДЕНЦИИ
Rajesh Aggarwal —
Department of Biosurgery
and Surgical Technology,
St Mary's Campus, Imperial College
Healthcare NHS Trust,
10 th Floor, Queen Elizabeth
the Queen Mother Building,
St Mary's Hospital, Praed Street,
LondonW2 1NY, UK
E-mail: rajesh.aggarwal@imperial.ac.uk
Р. Аггарвал, П. Крочет, А. Диас, А. Мисра, П. Зиприн, А. Дарзи
Лапароскопическая холецистэктомия: разработка учебной программы с использованием средств виртуального отображения
R. Aggarwal, P. Crochet, A. Dias, A. Misra, P. Ziprin, A. Darzi
Development of a virtual reality training curriculum for laparoscopic cholecystectomy
Department of Biosurgery and Surgical Technology, St Mary's Campus, Imperial College Healthcare NHS Trust, London, UK
Background. Training within a proficiency-based virtual reality (VR) curriculum may reduce errors during real surgical procedures. This study used a scientific methodology for development of a VR training curriculum for laparoscopic cholecystectomy. Methods. Inexperienced (had performed fewer than 10 laparoscopic cholecystectomies), intermediate (20—50) and experienced (more than 100) surgeons were recruited. Construct validity was defined as the ability to differentiate between the 3 levels of experience, based on simulator-derived metrics for 9 basic skills, 4 procedural tasks and full laparoscopic chole-cystectomy on a high-fidelity VR simulator. Inexperienced subjects performed ten repetitions for learning curve analysis. Proficiency measures were based on the performance of experienced surgeons.
Results. 30 inexperienced, 11 intermediate and 16 experienced operators were recruited. 8 of 9 basic skills and three of four procedural tasks were found to be constructed valid. The full
Отделение биохирургии и хирургических технологий, St Mary's Campus, Имперский колледж здравоохранения NHS Trust, Лондон, Великобритания
Состояние проблемы. Внедрение учебной программы на основе квалификационной оценки, предполагающей использование средств виртуального отображения (ВО), может способствовать снижению количества ошибок во время выполнения реальных хирургических вмешательств. В данном исследовании для разработки учебной программы с применением симуляции лапароскопической холецистэктомии использовались научные методы.
Методы. К исследованию были привлечены начинающие (выполнившие <10 лапароскопических холецистэктомий), квалифицированные (выполнившие от 20 до 50 холецистэктомий) и высококвалифицированные (выполнившие >100 холецистэктомий) хирурги. Конструктная валид-ность определялась способностью дифференцирования 3 уровней опыта на основании показателей, полученных с помощью средств ВО, для 9 основных навыков, 4 дидактических заданий, моделирующих этапы оперативного вмешательства, и полной лапароскопической холецистэктомии на симуляторе с высокой достоверностью воспроизведения реального процесса. С целью анализа кривой обучаемости начинающие хирурги выполняли 10 повторов. Эталоном при определении уровня профессионализма служили показатели, полученные в ходе работы высококвалифицированных хирургов.
Результаты. В исследование были включены 30 начинающих, 11 квалифицированных и 16 высококвалифицированных хирургов. Конструктно валидными были признаны 8 из 9 основных навыков и 3 из 4 дидактических
procedure revealed significant intergroup differences for time (1541, 673 and 816 s; p=0.002), movements (1021, 595 and 638; p=0.006) and path length (2038, 1235 and 1303 cm; p=0.033). Learning curves plateaued between the second and ninth sessions.
Conclusion. This study shows that it is possible to define and develop a whole-procedure VR training curriculum for laparoscopic cholecystectomy using structured scientific methodology.
заданий, моделирующих этапы оперативного вмешательства. При выполнении полной версии виртуального оперативного вмешательства были выявлены значимые межгрупповые отличия показателей времени (1541, 673 и 816 с; р=0,002), количества движений (1021, 595 и 638; р=0,006) и длины пути (2038, 1235 и 1303 см; р=0,033). Кривые обучения вышли на уровень плато между 2-м и 9-м сеансами.
Заключение. Результаты исследования свидетельствуют о том, что последовательное использование научных методов позволяет описать и разработать программу для обучения лапароскопической холецистэктомии с применением средств ВО.
Обучение в условиях операционной часто происходит бесструктурно, эпизодично и зависит от случайных факторов, связанных с пациентами и их заболеванием. Не вызывает сомнений, что для достижения определенного уровня компетентности в выбранной области начинающим хирургам необходимо совершенствовать практические навыки. Для объяснения большей продолжительности выполнения оперативного вмешательства, большей частоты осложнений и даже более высокого показателя смертности в течение такого периода совершенствования навыков неоднократно использовался термин «кривая обучения» [1, 2]. Хотя процесс обучения проходит под контролем опытных специалистов, а пациент предоставляет информированное согласие, в современной медицинской практике подобный подход не приемлем с экономической и этической точек зрения. Таким образом, необходимо исследовать, определить и внедрить способы совершенствования хирургических навыков, которые позволят не подвергать пациента риску и предотвратить устранимые ошибки хирурга [3].
Для совершенствования технических навыков на ранних этапах обучения была предложена симуляция с виртуальным отображением (ВО) и компьютерным моделированием [4]. В недавно выполненном систематическом обзоре обосновывалась необходимость перехода к использованию
имитации оперативного вмешательства в области лапароскопии и эндоскопии, поскольку при этом удается «обеспечить безопасный, эффективный и этичный путь приобретения хирургических навыков» [5]. Тем не менее авторы указывают, что качество рассмотренных исследований сильно варьировало, и в них использовалось значительное количество различных стратегий обучения участников. Было сделано заключение о том, что обучающие модули предпочтительно свести к стандартной учебной программе [6].
Цель учебной программы — приобретение обучающимися навыков определенного уровня, необходимых для перехода к оперированию более сложных случаев. Это не просто работа на симуляторе, но и особый режим обучения, который определяет степень перенесения навыков в условиях операционной. Этот режим состоит из обучения, основанного на имеющихся теоретических знаниях, пошагового усвоения технических навыков, получения обратной связи и развития профессиональных навыков с дальнейшим применением их в реальных условиях [7].
Цель данного исследования — разработка научно обоснованной пошаговой учебной программы с ВО для приобретения технических навыков выполнения лапароскопической холецистэктомии (ЛХ). Хотя программы обучения для приобретения основных и специальных навыков на симуля-
торах с ВО были описаны ранее [8, 9], это первый случай применения последовательного научного метода для анализа средства ВО ЛХ в полном объеме с целью разработки учебной программы. Основная трудность состояла в определении иерархической модели тренинга, подкрепленной объективным измерением уровня профессионализма, а конечная цель — демонстрация значимого снижения длительности и наклона кривой обучения во время выполнения ЛХ реальным пациентам.
Методы
Участвовавшие в исследовании субъекты были распределены на 3 группы: высококвалифицированные хирурги, выполнившие >100 ЛХ, квалифицированные хирурги, выполнившие от 20 до 50 ЛХ, и начинающие хирурги, выполнившие <10 ЛХ. Для включения в группы начинающих хирургов субъекты, которые не выполнили ни одной ЛХ, должны были выполнять роль первых ассистентов не менее
чем в 5 ЛХ. Набор в исследование проводился лишь на основании собеседования. Единственным критерием исключения был опыт предшествующего использования лапароскопических симуляторов любого вида, включая тренажеры-коробки.
Технические средства виртуального отображения
Лапароскопический хирургический си-мулятор для ВО LAP Mentor™ (Simbionix Corporation, Cleveland, Ohio, США) предполагает отработку основных навыков, необходимых для лапароскопии, выполнение заданий, специфичных для оперативных вмешательств данного типа, и полную симуляцию операций холецистэктомии. Имеется 9 основных навыков (таких как манипуляции обеими руками, рис. 1А), 4 дидактических задания, моделирующих этапы оперативного вмешательства (например, диссекция тканей в проекции треугольника Кало, рис. 1Б) и 18 полных симуляций операций ЛХ. Полные версии операций
Рис. 1. Некоторые навыки, моделирующие этапы оперативного вмешательства: А - основные навыки манипуляций обеими руками; Б - задание, специфичное для оперативного вмешательства данного типа - диссекция тканей в проекции треугольника Кало
ЛХ отличаются особенностями анатомии билиарной системы и выраженностью воспаления. В рамках данного исследования, целью которого была разработка программы обучения начинающих хирургов-эндоскопистов, использовался лишь первый тип ЛХ, легендой которого являлся пациент с желчной коликой в анамнезе и стандартной анатомией билиарной системы.
Субъекты выполняли манипуляции на виртуальных тканях с помощью пары лапароскопических инструментов через устройство, моделирующее тактильный ответ. Тип инструмента (зажим, ножницы, клипатор, диатермический крючок и т. п.) выбирали с помощью экранного меню. Подробное описание предлагаемых симулятором заданий представлено на табл. 1.
Таблица 1. Описание модулей симулятора хирургический симулятор для ВО LAP Mentor™
Навык или задание Описание
Основные навыки
Манипуляция камерой с углом обзора 0° Используя камеру с торцевой оптикой (0°), найти и сфотографировать в виртуальной среде 10 шариков
Манипуляция камерой с углом обзора 30° Используя камеру со скошенной оптикой (30°), локализовать и сфотографировать в виртуальной среде 10 шариков
Зрительно-моторная координация Локализовать каждый мигающий шарик и коснуться его инструментом соответствующего цвета
Наложение клипс В пределах определенного сегмента наложить клипсу на трубку, из которой течет жидкость до того, как будет заполнена емкость
Клипирование и захватывание Безопасным образом захватить трубку и в пределах определенного сегмента наложить на нее клипсу до того, как будет заполнена емкость
Манипуляции обеими руками Используя 2 зажима локализовать шарики, расположенные в студенистой массе, а затем поместить их в экстракционный пакет
Рассечение тканей Безопасным образом отрезать и выделить диск, используя один инструмент для ретракции, а ножницы - для аккуратного рассечения
Электрокоагуляция Используя крючок, прижечь выделенную тесемку, оттягивая другие тесемки с помощью вспомогательного инструмента
Перемещение объектов Выполнить манипуляции с объектом с помощью двух зажимов и, используя минимальное количество перемещений, сориентировать объект относительно соответствующего прозрачного объекта
Дидактические задания, моделирующие этапы оперативного вмешательства
Клипирование и рассечение тканей - ретракция желчного пузыря Желчный пузырь предварительно выделен, выполнена ретракция зажимом с захватом за карман Гартмана. Необходимо наложить клипсу на пузырную артерию и пузырных проток на заданном отрезке с последующим безопасным рассечением между наложенными клипсами
Клипирование и рассечение тканей - манипуляции двумя руками Выполнить ретракцию предварительно выделенного желчного пузыря за карман Гартмана. После правильного выполнения ретракции наложить клипсу на пузырную артерию и пузырный проток в пределах заданного отрезка с последующим безопасным рассечением между наложенными клипсами
Диссекция тканей в проекции треугольника Кало Захватить воронку желчного пузыря, выполнить его ретракцию от печени с последующей диссекцией брюшины, покрывающей пузырный проток и артерию
Выделение желчного пузыря Выделить желчный пузырь из его ложа в печени с соответствующей ретракцией и диссекцией сращений между брюшиной и ложем желчного пузыря. Продолжать диссекцию до отделения желчного пузыря от печени
Полное оперативное вмешательство Симуляция выполнения холецистэктомии в полном объеме на основании анатомической модели, созданной по данным КТ/МРТ реальных пациентов. Необходимо с помощью набора соответствующих инструментов выполнить виртуальную холецистэктомию в полном объеме
Примечание. КТ - компьютерная томография, МРТ - магнитно-резонансная томография. Медицинское образование и профессиональное развитие №2 (24) 2016
Предложенные задания
Каждый из 9 базовых навыков, 4 дидактических задания, моделирующих этапы операции, и симуляция полной ЛХ были выполнены в ходе 2 сеансов квалифицированными и высококвалифицированными хирургами-участниками, и в ходе 10 сеансов — начинающими хирургами. Перед началом выполнения задания каждому участнику предоставлялась возможность непосредственно ознакомиться с симуля-тором под руководством опытного оператора. Перед каждым заданием опытный оператор демонстрировал технику его выполнения, при этом субъект-участник имел возможность задать интересующие его вопросы. Длительность ознакомительного периода составляла примерно 30 мин. Во время непосредственного выполнения заданий помощь участникам не предоставлялась.
Все сеансы были разделены перерывом длительностью не менее 1 ч, а начинающие хирурги-участники выполняли не более 2 сеансов за день.
Оценка результативности
Данные по каждому выполняемому заданию объективно оценивались симулято-ром в фоновом режиме. Регистрировались различные данные, в том числе затраченное время, показатели экономности движений и аккуратности, время прижигания и балловая оценка ошибок. Данные сохранялись программным обеспечением симулятора в виде электронных таблиц ExcelTM (Microsoft Corporation, Redmond, Washington, США).
Конструктная валидность — это тестирование модели на способность к дифференцированию различных уровней опыта и, следовательно, на ее пригодность для оценки результативности [7]. Конструктная ва-лидность каждого виртуального задания и обоснованность использования определенных виртуальных условий, созданных симулятором, для оценки технических навыков, необходимых при выполнении лапароскопии, определяли путем сравнения средних показателей результативности трех групп хирургов в ходе первых двух сеансов обучения. Статистический анализ кривых обучения начинающих хирургов-эндоскопистов использовали для выяснения, могут ли повторные занятия приблизить продемонстрированные ими показатели к соответствующим показателям опытных хирургов. Эталонные точки, которые должны быть достигнуты перед переходом к следующему этапу учебной программы, определяли, рассчитывая средний показатель в баллах для каждого параметра во время второго сеанса выполнения заданий каждым опытным хирургом. Предполагалось, что при выполнении второй попытки задания опытные хирурги уже освоились со симулятором, который был им не знаком во время первой попытки.
Характер прохождения начинающими хирургами этих ясно обозначенных этапов (результаты сравнения показателей, полученных с помощью симулятора, т. е. конструктной валидности, анализа кривой обучения и определения эталонных точек) позволяет составить программу для обучения технике операции, опираясь на доказательную базу, а не на предположения. Таким образом, программа подготовки начинающих хирургов является профессионально и научно обоснованной.
Статистический анализ
Выбор количества субъектов в группе (не менее 10) осуществлялся с учетом двустороннего критерия с а=0,05 и мощностью (1—в)=0,80 и предполагаемым уменьшением времени, затраченного на завершение заданий опытными хирургами, на 30%, по сравнению с соответствующим показателем для неопытных хирургов (по данным ранее проведенных исследований с использованием средств ВО) [8, 9]. Расчетное количество — 8 субъектов — было увеличено до 10 с поправкой на возможное выпадение или на техническую неисправность симулятора. В исследование были привлечены 30 неопытных хирургов, при этом 10 субъектов прошли 10 сеансов обучения 9 основным навыкам, другие 10 субъектов практиковались лишь в выполнении 4 дидактических заданий, моделирующих этапы оперативного вмешательства, и еще 10 субъектов практиковались в выполнении виртуальной холецистэктомии в полном объеме. Было необходимо убедиться, что начинающие хирурги не пройдут 10 сеансов обучения на одном модуле ВО с последующим переходом к другому, что могло бы нежелательно исказить результаты исследования. Подобная проблема не возникала при тренинге квалифицированных и высококвалифицированных хирургов, поскольку они выполняли лишь 2 повтора каждого задания.
Полученные данные были проанализированы при помощи SPSS® версии 16.0 (SPSS, Chicago, Illinois, США) с использованием непараметрических критериев. Сравнение показателей результативности в группах начинающих, квалифицированных и высококвалифицированных субъектов проводили с использованием критерия Краскела—Уоллиса и ^-критерия Манна—
Уитни в соответствии с необходимостью. Данные кривой обучения были проанализированы с помощью критерия Фридмана (непараметрический дисперсионный анализ с повторными измерениями). Затем были выполнены множественные сравнения для определения момента выхода показателей на плато. Статистическая значимость была установлена на уровне р<0,05.
Результаты
В исследование были привлечены 57 субъектов, из них 16 были высококвалифицированными, 11 обладали средним уровнем квалификации и 30 были начинающими хирургами. Из 16 высококвалифицированных хирургов 9 субъектов дважды выполнили задания на развитие 9 основных навыков, 11 субъектов выполнили 4 дидактических задания, моделирующих этапы оперативного вмешательства, и 10 субъектов выполнили виртуальную холе-цистэктомию в полном объеме. 30 начинающих хирургов были разделены на 3 равные группы. Участники 1-й группы 10 раз выполнили упражнения на развитие 9 основных навыков, участники 2-й группы — 4 дидактических задания, моделирующих этапы оперативного вмешательства, а 3-й — 10 раз выполнили виртуальную хо-лецистэктомию в полном объеме.
Основные навыки
8 из 9 основных навыков оказались конструктно валидными, преимущественно в отношении показателей затраченного времени и скорости завершения (табл. 2). Начинающие, квалифицированные и высококвалифицированные хирурги выпол-
Таблица 2. Список надежных измерений для оценки базовых навыков
Задание Затраченное время, с Уровень точности, % Общая скорость, см/с Общее количество движений Общая длина пути,см
Манипуляция камерой с углом обзора 0° X X
Манипуляция камерой с углом обзора 30° X
Зрительно-моторная координация
Наложение клипс X
Клипирование и захватывание X X
Манипуляции обеими руками X X X X
Рассечение тканей X
Электрокоагуляция X
Перемещение объектов X
няли упражнение «Клипирование и захватывание» со значимыми различиями в показателях времени (161, 120 и 111 с соответственно, /=0,009) и общей скорости (5,6; 7,4 и 7,9 см/с, /=0,011). При выполнении упражнения «Манипуляции обеими руками» имелось межгрупповое различие в показателях времени (171, 107 и 102 с; /=0,001), общей скорости (6,3; 6,7 и 7,3 см/с; /1=0,049), общего количества движений (239, 128 и 128; /=0,007) (рис. 2) и общей длины пути (673, 484 и 512 см;
/=0,016), пройденного концами инструментов. Кроме того, разница по этим показателям была значима для двух навыков между группами начинающих и квалифицированных хирургов, а также между группами начинающих и высококвалифицированных хирургов, однако разницы между группами квалифицированных и высококвалифицированных хирургов не отмечалось.
Анализ кривых обучения для группы начинающих хирургов выявил значимый
300
250
200
150
100
50
0
Т
_1_
_1_
J_
_L
Начинающие
Квалифици- Высоко-
рованные квалифицированные
Рис. 2. Общее количество движений для упражнения «Манипуляции обеими руками» Горизонтальными линиями в «ящике» проиллюстрирована медиана, «ящиками» - межквар-тильный размах, а «усами» - амплитуда. Окружность иллюстрирует выброс (р=0,007, критерий Краскела-Уоллиса).
уровень улучшения в упражнениях «Кли-пирование и захватывание» и «Манипуляции обеими руками» для вышеупомянутых валидных показателей, кроме общей скорости для последнего навыка. Все показатели вышли на уровень плато между 6-м и 9-м сеансами для данной группы, однако показатель общей скорости в упражнении «Клипирование и захватывание» вышел на плато на 2-м обучающем сеансе.
Дидактические задания
По данным, зарегистрированным симу-лятором, показатели, определяемые при выполнении задания «Клипирование и рассечение тканей — ретракция желчного пузыря» субъектами трех разных групп, не отличались. При выполнении задания «Клипиро-вание и рассечение тканей — манипуляции
2000
с
2 ф ф
з
■о О
1500
1000
500
Т
двумя руками» значимые различия имелись лишь в показателе общей скорости (3,5 см/с у начинающих хирургов, 4,1 см/с у квалифицированных хирургов и 4,7 см/с у высококвалифицированных хирургов, /1=0,049). Для задания «Диссекция тканей в проекции треугольника Кало» показатели затраченного времени (р<0,001), общего количества движений (/=0,002),общей длины пути (/=0,011), общей скорости (/=0,001), показатель аккуратности (/=0,002), общее время прижигания (/=0,003) и общее время прижигания без контакта с тканью (/<0,001) после 1-го сеанса значимо отличались среди начинающих, квалифицированных и высококвалифицированных хирургов. При выполнении задания «Выделение желчного пузыря» у всех начинающих хирургов были отмечены статистически значимые кривые обучения всех конструктно валидных показателей с плато на 4-м сеансе (рис. 3).
т
° ° "Г
_1_
4 5 6 Номер сеанса
10
Рис. 3. Кривая обучения для общего количества движений при выполнении упражнения «Выделение желчного пузыря»
Горизонтальными линиями в «ящике» проиллюстрирована медиана, «ящиками» - межквартиль-ный размах, а «усами» - амплитуда. Окружности и звездочки репрезентуют выбросы и предельные случаи.
0
2
3
7
8
9
Выполнение виртуальной холецистэктомии в полном объеме
При выполнении виртуальной холецистэктомии в полном объеме были продемонстрированы значимые различия между субъектами трех групп по показателям затраченного времени (1541, 673 и 816 с, /=0,002), времени до выделения желчного пузыря (1487, 635 и 768, /=0,002), общего количества движений (1021, 565 и 768, /=0,006) и общей длины пути (2038, 1235 и 1303 см; /=0,033). Все конструктно валидные показатели также характеризовались значимыми кривыми обучения с плато на 2-м и 3-м сеансах (/<0,001).
ны для составления учебной программы. Были исключены 2 показателя — общая скорость в упражнении «Клипирование и захватывание», поскольку обучение, направленное на повышение скорости было сочтено нецелесообразным, и время до выделения желчного пузыря во время выполнения виртуальной холецистэкто-мии в полном объеме, поскольку оно было практически идентично показателю затраченного времени и не служило мерой роста профессионализма. Итогом проведения исследования послужило создание квалификационно обоснованной учебной программы на основе виртуальной ЛХ, выполняемой в полном объеме (рис. 4).
Составление учебной программы
Обсуждение
Результаты исследования, кратко изложенные в табл. 3, были использова-
В данном исследовании был задействован пошаговый анализ модулей и показа-
Таблица 3. Показатели, исходные для разработки программы обучения
Задание Показатель Конструктная валидность Кривая обучения Сеанс выхода на плато Эталонная точка
Навык
Клипирование Затраченное время, с X X 9-й 104
и захватывание Общая скорость, см/с X X 2-й 8,3*
Манипуляции обе- Затраченное время, с X X 6-й 89
ими руками Общее количество движений X X 8-й 106
Общая длина пути, см X X 8-й 440
Задания
Диссекция тканей Затраченное время, с X X 7-й 278
в проекции треугольника Кало Общее количество движений X X 7-й 241
Общее время прижигания, с X 7-й 15
Выделение желч- Затраченное время, с X X 4-й 312
ного пузыря Время до выделения желчного пузыря, с X X 4-й 219*
Общее количество движений X X 4-й 274
Общая длина пути, см X X 4-й 511
Выполнение Затраченное время (с) X X 2-й 548
виртуальной Время до выделения желчного пузыря (с) X X 2-й 521*
холецистэктомии в полном объеме Общее количество движений X X 3-й 481
Общая длина пути, см X X 3-й 1012
*Показатели, не включенные в учебную программу (рис. 4).
Рис. 4. Построенная с использованием доказательной базы учебная программа на основе виртуальной лапароскопической холецистэктомии, выполняемой в полном объеме
телей средства виртуального отображения, по результатам которого была разработана учебная программа на основе виртуальной ЛХ, выполняемой в полном объеме. Кон-структную валидацию модулей выполняли
путем сравнения производительности действий участников, разделенных по уровню хирургического опыта на 3 группы. Далее были получены кривые обучения, свидетельствующие о том, что повторный
тренинг на самом деле улучшает измерявшуюся симулятором производительность действий начинающих хирургов. Технические навыки, приобретенные в ходе тренинга на симуляторе, релевантны для ЛХ и способствуют сокращению периода, требуемого для достижения профессионального уровня, необходимого для выполнения реальных оперативных вмешательств.
Согласно учебной программе, подготовка начинается с модулей основных навыков, с двумя сеансами повторения заданий на развитие 9 базовых навыков. Далее следует наработка двух наиболее тяжело усваиваемых (по данным кривых обучения) навыков. Переход к выполнению дидактических заданий, моделирующих этапы операции, требует достижения эталонных критериев производительности, рассчитанных на основании данных о производительности действий опытных хирургов. Структура учебной программы идентична для 4 дидактических заданий, моделирующих этапы операции, которые подготавливают обучаемого к модулю выполнения виртуальной ЛХ в полном объеме. При этом перед завершением тренировочного периода к обучающемуся также предъявляются требования, касающиеся достижения критериев производительности. Следует отметить, что учебная программа следует скорее принципу дистрибутивности, а не массивности, при этом в день проводится не более 2 обучающих сеансов, разделенных перерывом длительностью не менее 1 ч [10, 11]. Наконец, для того чтобы гарантировать закономерное, а не случайное получение высокого балла, достижение каждого эталонного показателя необходимо продемонстрировать в течение 2 последовательных сеансов.
Данные, полученные в ходе этого исследования, четко подтвердили конструктную
валидность и прогрессирование кривой обучения модулей стимулятора. Интересно, что между показателями производительности квалифицированных и высококвалифицированных хирургов при работе на симуляторе значимых различий не наблюдалось. Это наблюдение подтверждает факт того, что группа квалифицированных хирургов приближается к фазе плато своей кривой обучения ЛХ. Таким образом, занятия, согласно программе обучения, с большей вероятностью принесут пользу начинающим хирургам. Кроме того, заслуживает внимания тот факт, что тенденция к сходству результатов при повышении уровня опыта и на фоне повторного тренинга начинающих хирургов.
Конструктная валидность упражнения для развития основных навыков на симу-ляторе для ВО LAP Mentor™ изучалась и в ходе других исследований. McDougall и соавт. [12] анализировали эффективность деятельности субъектов, разделенных по уровню опыта на 4 группы, согласно сумме баллов для каждого навыка [12]. Хотя исходы в отношении конструктной валидности основных навыков были положительными, пока не ясно, насколько произвольный подсчет баллов, предложенный производителем симулятора, приемлем для определения степени овладения навыками. Необходимо разработать доказательства удельного веса различных компонентов, которые составляют этот балловый показатель. В то же время в соответствии с результатами McDougall и со-авт. [12], Zhang и соавт. [13] представили хорошие доказательства конструктной ва-лидности основных навыков, касающихся времени и общего баллового показателя.
В нескольких ранее проведенных исследованиях оценивались валидность и кривые обучения других устройств ВО [14, 15].
Однако выработанные базовые принципы использования симуляции в программе клинического обучения не были объединены в последовательную и преемственную систему квалификационно обоснованного обучения. Результаты систематического обзора, выполненного Sturm и соавт., свидетельствовали о наличии нескольких стратегий обучения на основе ВО, используемых для подготовки к реальным оперативным вмешательствам. В большинстве исследований субъектов готовили на основе предписанного количества повторений; при использовании квалификационной оценки применялись изолированные модули, основанные на показателях эффективности, продемонстрированных опытными хирургами [16, 17]. Для того чтобы расширить сферу использования обучающих симуля-торов в программах подготовки хирургов-интернов следует предоставить руководство по использованию симулятора, являющееся рекомендованной программой обучения. Это позволит стандартизировать подходы в лапароскопической хирургии и послужит гарантией того, что начинающие хирурги перейдут к выполнению оперативных вмешательств реальным пациентам лишь после достижения рекомендованных уровня квалификации.
Общими препятствиями к внедрению учебной программы являются высокая стоимость приобретения и эксплуатации симулятора, необходимость выделения дополнительного пространства для проведения тренинга и дополнительных учебных часов для включения учебной программы с применением средств ВО в учебный план подготовки врачей-интернов [18]. Возможно, сокращение кривой обучения во время выполнения реальных оперативных вмешательств будет способствовать снижению общей стоимости
подготовки каждого отдельного интерна-хирурга. Что касается графика занятий, согласно учебной программе, рекомендуется проводить не более 2 учебных сеансов в день с перерывом длительностью не менее 1 ч между занятиями. Необходимость распределять занятия во времени очевидна, однако пока неясно, как часто следует их проводить: 1 раз в день или 1 раз в неделю [10, 11]. Внедрение данной учебной программы потребует определенных компромиссов при назначении учебных сеансов, однако при этом не следует забывать о важности приобретения навыков, поскольку выполнение учебной программы предполагает достижение определенных показателей квалификации.
Данная учебная программа не предназначена для замещения работы в операционной, однако она позволит части кривой обучения сформироваться в лабораторных условиях [4]. При разработке учебной программы не учитывался ранее имевшийся опыт выполнения оперативных вмешательств или владение техническими навыками и не проводилось объективное измерение этих показателей перед зачислением начинающих хирургов на обучающий курс. В качестве начальной части программы обучения целесообразно внедрить модуль для развития когнитивных навыков, наподобие того, который используется для ЛХ в Английском королевском хирургическом колледже [19]. Завершение данной учебной программы основывается на координационных навыках, а не на балловой оценке безопасности и не на показателях клинического исхода. Важным направлением исследований является использование шкал оценки технических навыков с их последующей интеграцией в программное обеспечение симулятора [20].
Крайне важно распространить данную учебную программу среди других пользователей средств ВО, что позволит выполнить внешнюю валидацию учебной программы и оценить ее простоту и применимость, а также окончательно определить, на самом ли деле она позволяет подготовленным с ее помощью начинающим хирургам с большей легкостью и сноровкой переходить к выполнению лапароскопиче-
ских оперативных вмешательств реальным пациентам. Таким образом, когда другие хирургические центры тоже перейдут к системе обучения на основе средств ВО с объективным измерением показателей квалификации перед выполнением оперативных вмешательств, — лишь вопрос времени.
Конфликт интересов
Авторы заявляют об отсутствии конфликта интересов.
Сведения о ведущем авторе
Аггарвал Раджеш (Aggarwal Rajesh) — врач отделения биохирургии и хирургической технологии, кампус Св. Марии Имперского колледжа Фонда государственной службы здравоохранения, больница Св. Марии, Лондон, Великобритания E-mail: rajesh.aggarwal@imperial.ac.uk
^HTepaTypa/Reíerenees
1. Reichenbach D.J., Tackett A.D., Harris J., Camach D., et al. Laparoscopic colon resection early in the learning curve: what is the appropriate setting? Ann Surg. 2006; Vol. 243: 730-5.
2. Watson D.I., Baigrie R.J., Jamieson G.G. A learning curve for laparoscopic fundoplication. Definable, avoidable, or a waste of time? Ann Surg. 1996; Vol. 224: 198-203.
3. Aggarwal R., Darzi A. Technical-skills training in the 21st century. N Engl J Med. 2006; Vol. 355: 2695-6.
4. Aggarwal R., Ward J., Balasundaram I., Sains P., et al. Proving the effectiveness of virtual reality simulation for training laparoscopic surgery. Ann Surg. 2007; Vol. 246: 771-9.
5. Sturm L.P., Windsor J.A., Cosman P.H., Cregan P., et al. A systematic review of skills transfer after surgical simulation training. Ann Surg. 2008; Vol. 248: 166-79.
6. Anastakis D.J., Wanzel K.R., Brown M.H., McIlroy J.H., et al. Evaluating the effectiveness of a 2-year curriculum in a surgical skills center. Am J Surg. 2003; Vol. 185: 378-85.
7. Aggarwal R., Grantcharov T.P., Darzi A. Framework for systematic training and assessment of technical skills. J Am Coll Surg. 2007; Vol. 204: 697-705.
8. Aggarwal R., Grantcharov T.P., Eriksen J.R., Blirup D., et al. An evidence-based virtual reality training program for novice laparoscopic surgeons. Ann Surg. 2006; Vol. 244: 310-4.
9. Aggarwal R., Grantcharov T., Moorthy K., Hance J., et al. A competency-based virtual reality training curriculum for the acquisition of laparoscopic psychomotor skill. Am J Surg. 2006; Vol. 191: 128-33.
10. Mackay S., Morgan P., Datta V., Chang A., et al. Practice distribution in procedural skills training: a randomized controlled trial. Surg Endosc. 2002; Vol. 16: 957-61.
11. Moulton C.A., Dubrowski A., Macrae H., Graham B., et al. Teaching surgical skills: what kind of practice makes perfect? a randomized, controlled trial. Ann Surg. 2006; Vol. 244: 400-9.
12. McDougall E.M., Corica F.A., Boker J.R., Sala L.G., et al. Construct validity testing of a laparoscopic surgical simulator. J Am Coll Surg. 2006; Vol. 202: 779-87.
13. Zhang A., Hunerbein M., Dai Y., Schlag P.M., et al. Construct validity testing of a laparoscopic surgery simulator (Lap Mentor): evaluation of surgical skill with a virtual laparoscopic training simulator. Surg Endosc. 2008; Vol. 22: 1440-4.
14. Gallagher A.G., Satava R.M. Virtual reality as a metric for the assessment of laparoscopic psychomotor skills. Learning curves and reliability measures. Surg Endosc. 2002; Vol. 16: 1746-52.
15. Grantcharov T.P., Bardram L., Funch-Jensen P., Rosenberg J. Learning curves and impact of previous operative experience on performance on a virtual reality simulator to test laparoscopic surgical skills. Am J Surg. 2003; Vol. 185: 146-9.
16. Grantcharov T.P., Kristiansen V.B., Bendix J., Bardram L., et al. Randomized clinical trial of virtual reality simulation for laparoscopic skills training. Br J Surg. 2004; Vol. 91: 146-50.
17. Seymour N.E., Gallagher A.G., Roman S.A., O'Brien M.K., et al. Virtual reality training improves operating room performance: results of a randomized, double-blinded study. Ann Surg. 2002; Vol. 236: 458-63.
18. MacRae H.M., Satterthwaite L., Reznick R.K. Setting up a surgical skills center. World J Surg. 2008; Vol. 32: 189-95.
19. Darzi A. Laparoscopic Cholecystectomy Course Handbook. London: Royal College of Surgeons of England, 1996.
20. Aggarwal R., Moorthy K., Darzi A. Laparoscopic skills training and assessment. Br J Surg. 2004; Vol. 91: 1549-58.
ДЛЯ КОРРЕСПОНДЕНЦИИ
Dr. Shazia Sadaf,
Senior Instructor — Education Coordinator,
Department of Surgery
and Educational Development,
Faculty Offices, Link Building,
Aga Khan University,
P.O. Box 3500, Stadium Road,
Karachi - 74800
E-mail: shazia.sadaf@aku.edu
Ш. Садаф1, С. Хан2, С.К. Али3
Практические советы по составлению валидного и надежного банка вопросов множественного выбора
Sh. Sadaf1, S. Khan2, S.K. Ali3
Tips for Developing a Valid and Reliable Bank of Multiple Choice Questions (MCQs)
1 Department of Surgery and Educational Development, Aga Khan University, Karachi, Pakistan
2 Department of Surgery, Aga Khan University, Karachi, Pakistan
3 Department for Educational Development, Aga Khan University, Karachi, Pakistan
Introduction. Multiple choice questions (MCQs) are one of the most frequently used written assessments particularly when there is a large body of material to be tested and a large number of students to be assessed. MCQ examinations have manageable logistics, are easy to administer, can be scored rapidly and difficulty indices and the discriminatory value of each item can be easily calculated, facilitating standard application. Methods of ensuring quality assurance are essential when assessment is used for the purposes of certification.
Methods. Developing MCQs requires a concerted effort from curriculum planners, content experts, course coordinators and medical educators. This article aims at outlining a stepwise approach towards ensuring quality assurance in written assessments in an integrated curriculum from aligning assessment with the learning to ensuring banking of good quality MCQs. Discussion. Coordinated eff orts and a stepwise approach towards item development, coupled with focused faculty development exercises, is a cost-effective means of developing a huge 'Question Data Bank' of valid and reliable test items which
1 Кафедра хирургии и развития системы образования, Университет Aga Khan, Карачи, Пакистан
2 Кафедра хирургии, Университет Aga Khan, Карачи, Пакистан
3 Кафедра развития системы образования, Университет Aga Khan, Карачи, Пакистан
Состояние проблемы. Вопросы множественного выбора (multiple choice questions, MCQ) — один из наиболее часто используемых письменных инструментов оценки, особенно если необходимо оценить большой объем учебного материала у большого числа студентов. Экзамены с использованием MCQ имеют управляемую систему организации, просты в проведении, позволяют быстро подсчитать баллы и легко рассчитать индексы сложности и дискриминативности для каждого задания, упрощая стандартную процедуру проведения экзамена. Когда этот вид оценки применяется для сертификации специалистов, важно использовать соответствующие методы обеспечения качества. Разработка MCQ требует концентрации общих усилий специалистов по планированию учебной программы, экспертов по содержанию, координаторов курса и преподавателей медицинских специальностей. Цель этой статьи — обрисовать поэтапный подход к обеспечению качества письменной оценки по комплексной учебной программе, начиная с выверки соответствия оценки программе обучения и заканчивая созданием банка вопросов множественного выбора (MCQ). Обсуждение. Скоординированные усилия и поэтапный подход к разработке тем наряду с целенаправленной работой профессорско-преподавательского коллектива являются экономически эффективным средством создания огромного банка вопросов валидных и надежных экзаменационных заданий, который может
can serve as a National Resource for the Professional Regulatory Councils in the country for their Licensure Examination.
Keywords
• faculty development
• multidisciplinary
• multiple choice questions
• post hoc analysis
• question bank
Вопросы множественного выбора (MCQ) — один из наиболее часто используемых письменных инструментов оценки. Этот инструмент особенно эффективен, если проводится оценка большого объема учебного материала у большого числа студентов [1—4]. Экзамены с использованием MCQ имеют управляемую систему организации, просты в проведении, позволяют быстро подсчитать баллы [1]. С помощью этого инструмента можно быстро рассчитать индексы сложности и дискриминативности для каждого задания, упрощая стандартную процедуру проведения экзамена [1, 3]. Когда такой вид оценки применяется для сертификации специалистов, важно использовать соответствующие методы обеспечения качества [1]. Мы описываем поэтапный подход к обеспечению качества письменной оценки по комплексной учебной программе, начиная с выверки соответствия оценки программе обучения и заканчивая созданием банка MCQ.
Методы Этап 1. Общие усилия
Основным ресурсом при разработке MCQ является время, необходимое для создания валидных заданий. Разработка
использоваться в качестве национального ресурса для профессиональных советов по регулированию в данной стране при проведении экзаменов на получение лицензии.
Ключевые слова
• обучение преподавателей
• мультидисциплинарный
• вопросы множественного выбора
• апостериорный анализ
• банк вопросов
MCQ требует концентрации общих усилий специалистов по планированию учебной программы, экспертов по содержанию, координаторов курса и преподавателей медицинских специальностей. Специалисты по планированию учебной программы определяют область оценки и утверждают методы оценки; эксперты по содержанию определяют объем знаний, который подлежит проверке; координаторы курса обрисовывают реальную картину полученного опыта обучения, которая необязательно должна совпадать с ожиданиями специалистов по разработке и планированию учебной программы; преподаватели медицинских специальностей обеспечивают техническую часть в создании соответствующего задания. Для объединения усилий всех этих людей требуются значительная административная поддержка и участие руководства кафедры, которое играет важную роль движущей силы в данном процессе.
Этап 2. Разработка плана проведения экзамена
Валидность и надежность можно назвать «лакмусовой бумажкой» инструмента оценки. Чтобы экзамен можно было считать надежным и валидным, важно, чтобы его проведение соответствовало заранее составленному плану [2].
Это позволит гарантировать, что в экзаменационных материалах будут в полной и равной мере представлены все необходимые и важные понятия [3]. Такая стратегия во время экзамена позволит исключить напрасную трату времени и ресурсов на оценку знаний студента, касающихся несущественных и поверхностных вопросов. Также это позволяет гарантировать, что определенные темы/узкие специализации/задачи не будут представлены в экзаменационных материалах шире, чем другие [4].
Как только составлен план проведения экзамена, его нужно сравнить с имеющимися тестовыми материалами [2]. Знания важнейших понятий необходимо проверять из года в год. Чтобы результаты экзамена имели высокую надежность, требуется внести соответствующие изменения в данные или информацию, представленные в плане, и убедиться, что изменения в MCQ проверяют знания этого же понятия. Если одно и то же задание использовать часто, оно станет бесполезным для проверки понимания студентами данного понятия [2].
Этап 3. Критический обзор существующего банка вопросов
Координаторы, участвующие в отборе заданий для включения в экзаменационный лист, скорее всего, выявят неверные задания, пробелы и недостатки в существующем банке вопросов ^В). С целью восполнения этих пробелов составляются новые вопросы, а существующие вопросы пересматриваются на предмет их структуры и содержания [2]. Это необходимо
выполнять постоянно, чтобы полностью пересматривать (проверить и исправить) каждое задание по крайней мере каждые 5 лет. Поскольку медицина очень быстро развивается, все варианты необходимо рассматривать критически с учетом поступающей новой информации, обеспечивая содержательную и конструктную валид-ности. Конструкцию вопроса следует рассматривать как часть предварительного и апостериорного анализа.
Для каждой дисциплины мы предлагаем координаторам, экспертам по содержанию и преподавателям медицинских специальностей критически пересмотреть экзаменационные MCQ за предшествующие 4—5 лет. Это преследует несколько целей:
• Определить, насколько хорошо предыдущие экзаменационные материалы соответствуют плану проведения экзамена.
• Определить, как часто за предыдущие 5 лет использовалось данное задание. Как упоминалось ранее, если задание используется многократно, это может привести к снижению надежности результатов оценки.
• Пересмотреть индексы сложности и дискриминативности для отдельных заданий, а также экзамена в целом. Изменение характера этих индексов за прошедшие годы послужит признаком изменения стратегий обучения, модификации воздействия различных клинических ситуаций и к последующей неэффективности задания.
• Выявить дефекты в структуре MCQ, которые могут негативно повлиять на использование заданий как надежного инструмента оценки [1].
Этап 4. Разработка заданий
профессорско-преподавательским коллективом
Для того чтобы обеспечить широкое участие в разработке экзаменационных материалов, все члены профессорско-преподавательского коллектива, оценивающие студентов, должны пройти базовую подготовку по разработке и критическому рассмотрению MCQ, участвуя в регулярных семинарах под руководством специалистов в области медицинского образования [4]. Эти специалисты должны быть готовы к периодическому пересмотру заданий и к тому, чтобы предоставить конструктивные ответы, которые помогут развивать навыки составления заданий. Критика без конкретных указаний только отобьет охоту предпринимать дальнейшие попытки и повысит нагрузку на немногих оставшихся сотрудников.
Если не считать талантливых составителей тестов, наиболее частым препятствием в разработке MCQ является творческий кризис. Мы считаем, что большинство членов профессорско-преподавательского коллектива испытывают трудности с разработкой MCQ, если работают за рамками контекста и без четких указаний. Поэтому после рассмотрения плана проведения экзамена руководитель курса/координатор медицинской практики должны разработать точный перечень заданий, которые необходимо включить в экзаменационные материалы. Например, если в обзоре имеющегося ряда вопросов отсутствует задание, посвященное часто встречающимся патогенным возбудителям заболеваний желчевыводящей системы и медикаментозной терапии этих заболеваний, координатор ставит эти специфические цели обучения специалисту по содержанию/предмету для дальнейшей разработки соответствующих MCQ.
Этап 5. Коллегиальное и мультидисциплинарное рассмотрение новых MCQ
Как только составлены MCQ, задание должны оценить эксперты по содержанию, которые часто имеют различные научные интересы [1]. В нашем учреждении все новые MCQ проходят 2 цикла рассмотрения, перед тем как будут приняты. Первый цикл — внутрикафедральное рассмотрение коллегами, работающими на нашей кафедре. Например, вопросы, связанные с патологией почек, составленные нефрологом, рассматривает группа, включающая терапевтов, кардиологов, врачей-инфекционистов и т.д., в пределах медицинского факультета. Это гарантирует одинаковое понимание задания при прочтении, которое предусматривается его разработчиком, а также то, что проверяемая информация подобрана правильно и что задание соответствует уровню экзаменуемых. Это первая проверка, если она выполняется добросовестно, то в значительной степени обеспечивает высокое качество задания. Точный механизм реализации процесса проверки может варьировать. На более крупных кафедрах для этой цели может быть сформирован комитет по проверке вопросов. На небольших кафедрах/в отделах для этой цели проводится ряд заседаний, на которых могут присутствовать разные сотрудники факультета, в зависимости от их занятости.
На втором цикле осуществляется мультидисциплинарная проверка, которая играет важную роль для обеспечения соответствия всех заданий общим целям программы обучения. Мы осознаем тот факт, что ни одно понятие в медицине не стоит особняком. Каждый раздел ин-
формации подтверждается множеством фактических данных, которые в процессе обучения могут преподаваться разными специалистами. Поэтому при создании валидного задания необходимо, чтобы информация была представлена из нескольких разделов. Если задание для тестов для экзамена по педиатрии посвящено эмбриологии, очевидно, что эмбриолог должен иметь возможность проверять и улучшать MCQ. Это упражнение также позволяет выполнить оценку в других тестах по смежным темам. Например, ведение пациентов с инфарктом миокарда подходит, как для области терапии, так и для области неотложной медицины, и поэтому проверка знаний по этой важной теме валидна в обеих областях. Эта проверка предоставляет идеальную возможность внести изменения в общие задания таким образом, чтобы они оценивали различные задачи и позволили разработать всестороннюю группу MCQ.
В нашем учреждении мы организуем ежегодные практические семинары с участием всех руководителей в качестве способа поощрения активного участия сотрудников их кафедр. На такие практические семинары, которые проводятся за пределами университета в конце недели, приглашаются члены клинического профессорско-преподавательского коллектива, научные сотрудники, приглашенные экзаменаторы и преподаватели медицинских специальностей [1]. Это позволяет обеспечить максимальное участие — на собственном опыте мы убедились, что за последние 3 года число участников среди сотрудников факультета выросло с 60 до 145.
Мультидисциплинарные группы формируются в соответствии с проверяемыми (рассматриваемыми) дисциплинами. Например, группа, которая будет прове-
рять MCQ по акушерству и гинекологии, должна включать экспертов по содержанию, а также педиатров, семейных врачей (врачей общей практики), хирургов, эндокринологов, физиологов и преподавателя соответствующей медицинской специальности как главного эксперта в составе этой группы. Таким образом, члены профессорско-преподавательского коллектива получают возможность развивать навыки составления вопросов благодаря мультидисциплинарному совместному опыту обучения [1].
Этап 6. Определение основных характеристик задания и составление вопросов для банка вопросов
Для того чтобы пользователь мог сохранить или сформировать банк рассмотренных MCQ, важно, после того как задания рассмотрены, проверены и одобрены, определить их характеристики, которые упростят их извлечение из QB. Эти характеристики включают такие категории, как клиническая презентация, дисциплина, система органов, процесс заболевания и специальные задачи, основанные на принципах учебного заведения, связанных с обучением и оценкой и с учебным планом [5]. Для каждой рассмотренной темы необходимо заполнить Форму с описанием характеристик MCQ, которая упростит процесс загрузки MCQ в QB. В разных учебных заведениях используются разные системы и программы, которые используются для работы с QB. Наш QB создан в программе Excel и имеет определенные характеристики, психометрические особенности, включающие индекс сложности и индекс дискриминативности, он изолирован от Интернета эффективной систе-
мой защиты от вирусов/«червей» и системой безопасного резервного копирования данных.
Этап 7. Выбор тем для экзаменационного листа
Составление групп из 100 или более вопросов для проверки знаний на более высоких уровнях, например, в области представлений и решения задач, требует тщательного подбора заданий высокого качества и приверженности плану проведения экзамена. Поэтому выбор заданий для экзаменационного листа — это научная задача, решая которую координаторы на основании плана проведения экзамена выбирают 70% заданий средней сложности и приблизительно 10—15% с индексами «легкое» и «сложное». После правильной загрузки задания в QB, процесс извлечения осуществляется путем сортировки по характеристикам и психометрическим данным, в результате чего получается относительно просто и правильно выбрать задания для экзаменационного листа [5].
Этап 8. Апостериорный анализ
Этот этап является последним, но, вероятно, самым важным. Он позволяет получить измеряемый результат от вложенных в описанную выше задачу времени и усилий. Подробный апостериорный анализ включает рассмотрение (проверку) анализа задания, при котором определяются индекс сложности и индекс дискриминативности для каждого задания, принимаются реше-
ния, касающиеся выбора заданий на основании анализа темы и ответов эксперта по предмету/содержанию [1]. Полученные индексы используются для определения того, является ли задание валидным и надежным. Если выявлены какие-либо проблемы, задание не используется как элемент QB, пока не будет пересмотрено и скорректировано. Если тема признается приемлемой, следует пересмотреть стратегию обучения/изучения, направленную на решение конкретной задачи. После каждого использования индексы для каждого задания заносятся в QB. Эта информация является дополнительным аспектом для разработки сбалансированного метода проведения экзамена [3].
Обсуждение
Разработка качественного банка валидных и надежных заданий для вопросов множественного выбора, направленных на оценку когнитивных способностей и соответствующих рекомендациям, касающимся создания задания, является непростой задачей для разработчика. По нашему опыту, это требует многомесячных объединенных усилий группы специалистов. Скоординированные усилия и поэтапный подход к разработке заданий наряду с целенаправленной работой профессорско-преподавательского коллектива являются экономически эффективным средством создания огромного банка вопросов для валидных и надежных экзаменационных заданий, которые можно использовать в качестве национального ресурса для профессиональных регуляторных советов в данной стране при проведении экзаменов на получение лицензии.
Сведения об авторах
Садаф Шазиа (Shazia Sadaf) — кафедра хирургии и развития системы образования, Университет Aga Khan, Карачи, Пакистан
Хан Садаф (Khan Sadaf) — кафедра хирургии, Университет Aga Khan, Карачи, Пакистан Али Сиеда Каузер (Ali Syeda Kauser) — кафедра развития системы образования, Университет Aga Khan, Карачи, Пакистан
.HTepaTypa/References
1. Case S.M., Swanson D.B. Constructing Written Test Questions for the Basic and Clinical Sciences. 3rd ed. Philadelphia: National Board of Medical Examiners, 2001.
2. Wass V., Van der Vleuten C., Shatzer J., Jones R. Assessment of clinical competence. Lancet. 2001; Vol. 357: 945-9.
3. Mc Coubrie P. Improving the fairness of multiple-choice questions: A literature review. Med Teach. 2004; Vol. 26: 709-12.
4. Mc Coubrie P., McKnight L. Single best answer MCQs: A new format for the FRCR part 2a exam. Clin Radiol. 2008; Vol. 63: 506-10.
5. Vale C.D. Computerized item banking. In: S.M. Downing, T.M. Haladyna (eds). Handbook of Test Development. Mahwah, NJ: Erlbaum, 2006.
