CC BY
21
ДЛЯ КОРРЕСПОНДЕНЦИИ
Prof. Gamal E.H.A. el Shallaly, Surgical Department, Alzaiem Alazhari University, PO Box 2910 Khartoum, Sudan E-mail: gamalshallaly@rcsed.ac.uk
Г.Э.Х.А. Эль Шаллали, А.М. Мекки
Использование компьютеризированного клинического обследования для оценки знаний и навыков по хирургии у студентов медицинских вузов
G.E.H.A. El Shallaly, A.M. Mekki Use of computer-based clinical examination to assess medical students in surgery
Alzaiem Alazhari University, Khartoum, Sudan
Introduction. To improve the viewing of the video-projected structured clinical examination (ViPSCE), we developed a comput-erizedversion; the computer-based clinical examination (CCE). This was used to assess medical students' higher knowledge and problem solvingskills in surgery. We present how we did this, test score descriptive statistics, and the students' evaluation of the CCE.
Methods. A CCE insurgery was administered to assess a class of 43 final year medical students at the end of their surgical clerkship. Like the ViPSCE, the exam was delivered as a slide show, using a PowerPoint computer program. However, instead of projecting it onto a screen, each student used a computer. There were 20 slides containing either still photos or short video clips of clinical situations in surgery. The students answeredby hand writing on the exam papers. At the end, they completed evaluation forms. The exam papers were corrected manually. Test score descriptive statistics were calculated and correlated with the students' scores in other exams in surgery.
Results. Administration of the CCE was straightforward. The test scores were normally distributed (mean = median = 4.9). They correlated significantly with the total scores obtained by the students in surgery (r=0.68), and with each of the other exam modalities in surgery, such as the multiple choice and structured essay questions. Acceptability of the CCE to the students was high and they recommended the use of the CCE in other departments.
Университет Alzaiem, Хартум, Судан
Состояние проблемы. С целью улучшения передачи изображения при работе с видеоспроектированным структурированным клиническим экзаменом (ViPSCE) мы разработали его компьютерную версию - компьютеризированное клиническое обследование (computer-based clinical examination, CCE). Оно использовалось для оценки знаний, полученных студентами в медицинском вузе, и способности к решению хирургических проблем. В статье представлено описание данного процесса оценки, а также описательные статистические данные по экзаменационным баллам и результаты оценки студентами программы CCE.
Методы. Программа CCE в хирургии использовалась для оценки группы из 43 студентов медицинских вузов последнего года обучения по окончании медицинской практики по хирургии. Как и в случае использования видеопрограммы ViPSCE, экзамен проводили с использованием презентации PowerPoint. Однако вместо проецирования изображения на экран каждый студент использовал персональный компьютер. Презентация состояла из 20 слайдов, содержащих либо фотоснимки, либо короткие видеоклипы, представляющие клинические ситуации в хирургии. Студенты записывали свои ответы на экзаменационных листах. По окончании экзамена они заполняли формы оценки. Исправления в экзаменационные листы вносили вручную. Методом описательной статистики были рассчитаны экзаменационные баллы, которые затем были сопоставлены с результатами оценки студентов во время других экзаменов по хирургии.
Результаты. Использование CCE не вызвало затруднений. Наблюдалось нормальное распределение экзаменационных баллов (среднее = медиана = 4,9). Эти значения достоверно коррелировали с общими результатами оценки (баллами), полученными студентами по хирургии (r=0,68), а также с результатами использования других форм приема экзамена по хирургии, таких как задание на выбор пра-
Discussion. CCE is feasible and popular with students. It inherits the validity and reliability of the ViPSCE with the added advantage of improving the viewing of the slides.
Keywords
• assessment of medical students
• eomputer assisted assessment (CAA)
• computer-based assessment (CBA)
• e-assessment of surgical clerkship examination
• objective structured clinical exam (OSCE)
• undergraduate medical education
• video-projected structured clinical examination (ViPSCE)
вильного ответа из нескольких возможных (тест с выбором ответов) и структурированные проверочные тесты. Была отмечена высокая степень приемлемости ССЕ для студентов — они рекомендовали использовать данную форму на других отделениях факультета.
Обсуждение. ССЕ представляет вполне осуществимую и популярную среди студентов программу. Она также достоверна и надежна, как и программа МР8СЕ, и имеет дополнительное преимущество, которое заключается в улучшении передачи изображения за счет использования слайдов.
Ключевые слова
• оценка студентов медицинских вузов
• оценка с помощью компьютера
• компьютерное тестирование
• электронное тестирование на экзамене по окончании медицинской практики по хирургии
• объективный структурированный клинический экзамен
• высшее медицинское образование
• видеоспроектированный структурированный клинический экзамен
Государственный университет Ака1еш
А1агЬап носит имя первого президента Республики Судан. Он был основан в 1994 г., и к настоящему моменту медицинский факультет университета окончили 1400 врачей. Судан расположен к югу от Сахары, ресурсы в этом африканском государстве ограничены.
Авторы создали видеопрограмму структурированного клинического экзамена (У1Р8СЕ) в 2001 г. [1, 2]. Программа У1Р8СЕ заменяет устный («живой») экзамен как инструмент оценки студентов по предмету клинической хирургии на нашем отделении факультета.
Инструмент полезен для оценки когнитивных навыков студентов, в том числе способности решать возникающие хирургические проблемы. Он доказал свою достоверность, надежность и практическую осуществимость и позволяет сберечь средства и время как персоналу, так и студентам [2]. Поэтому неудивительно, что инструмент быстро приобрел популярность среди преподавателей и студентов как на
других отделениях нашего факультета, так и в других медицинских вузах Судана.
Однако программа \TPSCE имеет ряд ограничений. Экзаменационные материалы включают слайды с фотоснимками или короткими видеоклипами, отображающими пациентов, инструментарий, исследования или процедуры. Одна из проблем, связанная с использованием программы У1Р8СЕ, заключалась в возможности передачи четкого изображения, представленного на слайдах, при его проецировании на экран. Частично эта проблема была решена после принятия ряда мер. Мы использовали помещение, которое было достаточно большим, чтобы разместить разное число студентов (120—150 человек), оснащенное широким экраном, чтобы в нем поместился большой экран, который можно было видеть даже с бокового угла. Свет в помещении около экрана можно было приглушить, чтобы улучшить четкость изображения на слайдах, но в остальном помещении свет был достаточно ярким, чтобы студенты могли прочесть и ответить на вопросы, распечатанные на бумаге.
Использовались видеопроекторы с высоким разрешением и высокой мощностью светового потока. Студентам со слабым зрением разрешалось сесть в первом ряду, рядом с экраном.
У нас имеется центр информационных технологий (IT) на 50 компьютеров, построенный рядом с медицинским факультетом. Предполагалось, что отображение экзаменационных слайдов на экранах компьютеров позволит повысить четкость представленных на слайдах изображений для студентов и уменьшит ряд требований к помещению. После этого появилась идея преобразовать программу ViPSCE в компьютерный формат и создать компьютерную программу для проведения экзамена. Идея использования компьютеров для оценки студентов медицинских вузов не нова. Мы представляем модель проведения экзамена, которую можно использовать в учебных заведениях с ограниченными ресурсами при наличии компьютеров. Исследование не требовало изучения участников.
Методы
Подготовка к проведению экзамена
Мы оценивали группу из 43 студентов медицинских вузов последнего года обучения по окончании медицинской практики по хирургии. Все студенты были суданцами, более или менее сопоставимыми по возрасту. Экзамен проводили в форме презентации из 20 слайдов, созданных в компьютерной программе PowerPoint (Microsoft, 2007). Слайды сменялись автоматически каждые 3 мин, что сопровождалось звуком аплодисментов, чтобы привлечь внимание студента к изображению на следующем слайде.
На некоторых слайдах были представлены фотоснимки, на других — короткие видеоклипы продолжительностью менее 1 мин. Представленный материал включал фотографии пациентов, результаты исследований (рентгенологическое исследование с контрастом или без, компьютерная томография), хирургических инструментов, катетеров и различных трубок для проведения анестезии и хирургических процедур. Видеоклипы демонстрировали пациентов, уко-торых выполняли физикальное обследование, например, при таких состояниях, как грыжа, а также проводились хирургические процедуры, например, эндоскопическое исследование и спинальная анестезия. Все фотографии и видеоматериалы были сняты с участием пациентов, проходивших лечение в Государственной клинической больнице после получения их согласия. Чтобы обеспечить равномерное распределение тем курса по хирургии в экзаменационных вопросах, проводились предэкзаменационные встречи, на которых присутствовал весь персонал отделения хирургии. Темы включали как неотложные ситуации, так и плановые случаи. Равномерное распределение тем по хирургии было обеспечено за счет готового материала, который мы уже создали для программы МР8СЕ [2]. Распределение по темам выглядело следующим образом: 12 вопросов по общей хирургии, по 2 вопроса по ортопедии, урологии, детской хирургии и анестезиологии.
Экзаменационные листы содержали вопросы, проиллюстрированные слайдами. Число вопросов соответствовало числу слайдов. Вопросы были составлены в объективной и структурированной форме, преимущественно в форме описания хирургических задач. Мы избегали вопросов, требующих развернутого ответа. Вопросы были направлены на оценку знаний
на всех уровнях, от простого определения до решения сложных задач.
Примеры вопросов, на которые отвечали студенты, и схема вопроса представлены на рис. 1.
Студенты отвечали на вопросы, записывая ответы в специально отведенные для этого графы на том же экзаменационном листе.
Проведение экзамена
В отделении имеются 2 помещения, в каждом из них установлено по 25 компьютеров. 43 студента были разделены на 2 группы. Каждый студент работал на отдельном компьютере (рис. 2, 3). В каж-
дом помещении присутствовали 2—3 специалиста по 1Т, чтобы помочь студентам в случае возникновения технических проблем. Кроме того, в каждом классе присутствовал по крайней мере один хирург-консультант. Обе группы проходили один и тот же тест с использованием одинакового порядка выполнения.
Перед началом экзамена студентам кратко описывали порядок его проведения. Программа была подготовлена заранее, и начать работу можно было одним нажатием кнопки мыши.
Обе группы начали и завершили экзамен приблизительно в одно и то же время, что позволило предотвратить общение между группами. Студентам запретили иметь при себе мобильные (сотовые) теле-
Вопрос 1. Это данные эндоскопического исследования двенадцатиперстной кишки у молодого мужчины, который жалуется на боль в эпигастральной области, усиливающуюся при голоде, и который не принимает никаких лекарственных средств.
Каков диагноз? (1 балл)
Каков наиболее вероятный этиологический фактор? (1 балл)
Укажите 3 лекарственных средства, которые обычно используются в комбинации для лече- (1,5 балла) ния этого состояния
(0 (")
(Ш)
Укажите 3 угрожающих жизни осложнения этого состояния (1,5 балла)
(0 (")
Вопрос 2. Это изделие используется для лечения данного пациента с ножевым ранением в области грудной клетки.
Название этого изделия (1 балл)
Перечислите 2 показания для использования этого изделия (2 балла)
(0 (")
Укажите 2 осложнения при использовании этого изделия, которых не следует допускать (2 балла)
(0 (")
Рис. 1. Пример вопросов (объективных и структурированных), на которые отвечают студенты
Рис. 2. Проведение экзамена с использованием CCE (вид из передней части класса). Студенты записывают свои ответы в опросный (экзаменационный) лист
фоны и другие средства связи, а специалисты по 1Т помогали наблюдать за студентами (рис. 2).
Студентам демонстрировали одновременно одни и те же слайды как на общем экране с помощью проектора, так и на компьютере (рис. 3). Это было сделано потому, что студентов попросили сравнить два изображения при заполнении специальной формы по оценке компьютерной программы, которая им выдавалась в конце экзамена. Продолжительность экзамена составила 60 минут (по 3 мин на слайд). Слайды сменялись автоматически. После последнего слайда (по окончании экзамена) студентам давали еще 3 мин на проверку ответов. Во время этих последних 3 мин студентам разрешалось самостоятельно просматривать слайды по желанию. После экзамена студенты заполняли формы оценки.
Экзаменационные листы проверяли вручную с использованием шаблона с ответами. Максимальное количество экзаменационных баллов составляло 100 - по 5 баллов на слайд. Общее количество баллов делили на 10 для получения результата оценки максимум 10 баллов. Таким обра-
зом, экзамен с использованием программы CCE составлял 10% от общей суммы баллов экзамена по хирургии (100 баллов). Другие инструменты оценки, которые использовались при проведении экзамена по хирургии, включали OSCE (40 баллов), тест с выбором ответов (MCQ) (20 баллов) и краткий структурированный экзаменационный опросник или SSEQ (30 баллов).
Анализ результатов оценки в баллах при использовании CCE и форм оценки
Результаты оценки в баллах при использовании CCE были описаны статистически (с помощью пакета программ обработки статистических данных SPSS 16.0, SPSSInc, Чикаго, Иллинойс, США) и сопоставлены с результатами, полученными студентами по хирургии при использовании других инструментов.
Формы оценки были проанализированы вручную путем простого подсчета и расчета процентных значений. Были определены общие темы и подсчитаны положительные и отрицательные утверждения.
Результаты
Результаты оценки: распределение и корреляции
На рис. 4 представлено распределение результатов оценки при использовании ССЕ. Гистограмма отображает нормальное распределение с учетом среднего значения (4,9), медианы (4,9), стандартного отклонения (1,17), с диапазоном 5 (2,5—7,5).
Двусторонние критерии корреляции Пирсона продемонстрировали высокую корреляционную связь (^<0,001) между результатом оценки каждого студента, полученным с использованием ССЕ, с общим результатом оценки по хирургии (г=0,683), с объединенными результатами оценки с использованием инструментов SSEQ и MCQ, т.е. общими результатами экзамена при использовании бумажных форм (г=0,513), а также с результатами оценки с использованием инструментов SSEQ (г=0,505) и MCQ (г=0,482) при определении корреляции с результатом оценки с использованием ССЕ по отдельности (табл. 1).
Приемлемость компьютерной программы тестирования для студентов и их оценка
В оценке приняло участие 28 человек (65% от проходивших экзамен).
Максимально возможный балл — 10. Наивысший балл — 7,5. Наименьший балл — 2,5.
Большинство студентов расценили инструкции по проведению экзамена (85%) и слайды (86%) как четкие или очень четкие (табл. 2). Размещение на местах большинство студентов посчитали комфортным (79%). Также большинство (65%) студентов посчитали, что компьютерные изображения и видеоматериалы лучше, чем изображения, проецируемые на экран, и что ССЕ следует рекомендовать для использования на других отделениях факультета (64%). Произвольные комментарии свидетельствовали о том, что большинству студентов такая форма проведения экзамена понравилась, особенно в связи с использованием 1Т.
Только 6 (21%) студентов отметили, что у них возникли проблемы, связанные с нехваткой времени (они посчитали, что его было мало), и/или с вопросами, которые они посчитали слишком сложными.
Рис. 3. Проведение экзамена с использованием CCE. Вид из задней части класса. Обратите внимание на более высокую четкость изображений на экранах компьютеров по сравнению с изображением, спроецированным на экран
6 -
: 4 -
2 _
Рис. 4. Распределение результатов оценки с использованием CCE у 43 студентов
Среднее = 4,9721
Стандартное отклонение = 1,17885 п=43
3,00 4,00 5,00 6,00
Компьютерное представление
7,00
0
Таблица 1. Корреляционная связь между результатами оценки при использовании CCE и результатами оценки при использовании различных компонентов при проведении экзамена по хирургии у каждого студента
Показатель Р а
Результаты оценки при использовании ССЕ по сравнению с общими результатами оценки по хирургии 0,68 0,000
Результаты оценки при использовании ССЕ по сравнению с результатами оценки при использовании бумажных форм (ББЕО+МСО) 0,51 0,000
ССЕ по сравнению с ББЕО 0,51 0,001
ССЕ по сравнению с МСО 0,43 0,004
ССЕ по сравнению с ОБСЕ 0,48 0,001
Примечание. ССЕ — компьютерная программа для проведения клинического экзамена; SSEQ — краткий структурированный экзаменационный опросник; MCQ — тест с выбором ответов; бумажные экзаменационные формы включают SSEQ и MCQ; общий результат оценки при использовании бумажных форм представляет сумму результатов оценки студента с использованием SSEQ и MCQ; ОСКЭ — объективный структурированный клинический экзамен; клинический экзамен включал оценку с использованием ОСКЭ и ССЕ.
Таблица 2. Оценка студентами компьютерной программы CCE (п=28)
Инструкции Слайды Размещение на местах Сравнение использования проецируемого изображения (ViPSCE) на экзамене с использованием компьютерного изображения (№)
Понятные 24 (86%) Четкие или очень четкие 24 (85%) Комфортное 22 (79%) Лучше 18 (65%)
Непонятные 3 (11%) Нечеткие 2 (7%) Некомфортное 4 (14%) Хуже 4 (14%)
Данные пропущены 2 (7%) Данные пропущены 2 (7%) Не отличается 6 (21%)
Обсуждение
На медицинском факультете Университета А^Иап мы использовали различные инструменты оценки при проведении итогового экзамена в конце медицинской практики по хирургии. В прошлом этот экзамен состоял из теоретической и клинической частей, и каждая из них составляла 50% от общего количества баллов на экзамене. Устный экзамен являлся частью традиционного клинического экзамена. Устный экзамен был заменен на ViPSCЕ [1, 2], а традиционный клинический экзамен — на ОСКЭ. В этой статье мы описали трансформацию ViPSCE в ССЕ и представили свой опыт применения этой программы, статистический анализ результатов оценки, полученных при ее использовании, и оценку студентами приемлемости этой программы для проведения экзамена.
Компьютеры использовались для проверки знаний и навыков решения задач в медицине с 1960-х гг. [3]. Опрос, проведенный в медицинских вузах Великобритании, касающийся использования компьютеров, показал, что СВА может улучшить оценку врачей и других медицинских работников за счет более эффективного проведения экзаменов. Программа в целом востребована среди учащихся и эффективна в плане представления материалов и расчета баллов по результатам тестов [4]. СВА, которая также носит название компьютерного тестирования (СВТ), и САА все чаще используются в качестве инструмента оценки по многим медицинским дисциплинам [5—7]. Мы изучили модель проведения экзамена, которая может использоваться в учебных заведениях с ограниченными ресурсами при наличии компьютеров.
Как и ViPSCE, ССЕ позволяет оценить знания на всех уровнях, начиная от простого определения до критического анализа и решения сложных задач. В этом случае программа дополняет ОСКЭ, в ходе которого можно оценить хирургические навыки, в том числе сбор анамнеза и фи-зикальное обследование, а также знания студентов. На некоторых медицинских факультетах ОСКЭ состоит из стационарных и интерактивных рабочих мест. ViPSCE мы использовали как инструмент для обеспечения стационарных рабочих мест, и поэтому оставили наш ОСКЭ только для интерактивных рабочих мест при проведении экзамена. В результате практическая часть клинического экзамена может быть выполнена при наличии 27 рабочих мест. В этом случае преимущество заключается в увеличении охвата тем и глубины оценки знаний во время экзамена.
Легкость, с которой был проведен экзамен, подтвердила целесообразность использования данной программы. Первоначальная стоимость проведения экспертизы для организации 1Т и оборудования помещений с кондиционером и установкой достаточного числа компьютеров может быть высокой. Число студентов постоянно растет, и необходимо увеличивать число компьютеров и помещений. Организация центров 1Т может быть рентабельна в долгосрочной перспективе, поскольку эти центры могут использоваться не только студентами, но и коммерческими структурами, арендующими их для проведения курсов обучения, семинаров, а также для других целей.
Во время использования ССЕ серьезных проблем или сбоев не отмечено. Вероятно, отчасти это было связано с тем, что программа уже была установлена на компьютеры и проверена 1Т-специалистами
до начала экзамена. 1 или 2 студента начали экзамен до того, как был дан сигнал к началу; эти студенты получили предупреждение и указание, что необходимо дождаться сигнала.
Было отмечено нормальное распределение результатов оценки при использовании ССЕ при среднем значении 4,97, что очень близко к проходному баллу (5). Диапазон результатов оценки от 2,5 до 7,5 свидетельствует о сбалансированной сложности экзамена, который оказался и не слишком простым, и не слишком сложным для студентов.
Результаты оценки каждого студента коррелировали с результатами оценки этого студента по хирургии с использованием других инструментов, что отражало степень надежности ССЕ. Стоит отметить, что ССЕ не позволяет оценить хирургические навыки, тем не менее между результатами оценки с использованием программы и результатами оценки с использованием ОСКЭ была обнаружена сильная корреляционная связь. Это подтверждает обоснованность названия, которое мы дали этому инструменту оценки: компьютерная программа для проведения клинического экзамена. В перспективе у нас разработка специального программного обеспечения, которое позволит отвечать на экзаменационные вопросы и вносить исправления непосредственно на компьютере. Это также позволит использовать компьютер в качестве инструмента обучения и самооценки.
Долю ответов на уровне 65% можно расценивать как низкую. Ответившие студенты в целом не отличались от студентов, которые не ответили. Некоторые студенты не сдали свои формы оценки. В этом случае было бы полезно, если бы мы попросили студентов сдать свои формы оценки сразу
после экзамена, до того, как им разрешили покинуть экзаменационный класс.
Наш опрос показал высокий уровень компьютерной грамотности среди наших студентов, хотя сам по себе экзамен не требовал глубоких знаний по использованию компьютера. Программа ССЕ подтвердила свою популярность среди учащихся, которые обычно приветствуют идею использования компьютеров в качестве инструмента для проведения экзамена. Большинство студентов посчитали слайды четкими, рабочее место комфортным, и, в целом, они одобрили использование ССЕ.
Меньшинство, которое высказало неодобрение, свое отрицательное мнение связало с отведенным временем и сложностью вопросов, но не с методом проведения экзамена, предусматривающим использование компьютеров [8].
Компьютер вошел в нашу жизнь, и проведение экзаменов с его использованием как инструмента для самооценки студентов продемонстрировало большие возможности [9].
Заключение
ССЕ — полезный метод оценки, дополняющий ОСКЭ. Программа также вполне осуществима на практике при наличии достаточного числа компьютеров. ССЕ заключает в себе положительные характеристики программы ViPSCE как достоверный, надежный и практичный метод проведения экзамена, приемлемый для студентов, но имеет и дополнительное преимущество, которое заключается в улучшении передачи изображения за счет использования слайдов и в будущем позволит на компьютере выполнять оценку.
Сведения об авторах
Университет Alzaiem, Хартум, Судан:
Эль Шаллали Гамал Э.Х.А. (El Shallaly Gamal E H A) — профессор, врач хирургического отделения
E-mail: gamalshallaly@rcsed.ac.uk
Мекки Абдельрахман М. (Mekki Abdelrahman M.) — врач хирургического отделения
^HTepaTypa/Reierenees
1. El Shallaly G.H., Ali E.A. Use of a Video-Projected Structured Clinical Examination (ViPSCE) instead of oral examination in the assessment of final year medical students. Med Educ 2003; Vol. 37: 1048.
2. El Shallaly G., Ali E. Use of a Video-Projected Structured Clinical Examination (ViPSCE) instead of oral Examination in the assessment of final year medical students. Educ Health (Abingdon)/ 2004; Vol. 17: 17—26.
3. Swets J.D., Feurzeig W. Computer aided instruction. Science. 1965; Vol. 150: 572—6.
4. Cantillon P., Irish B., Sales D. Using computers for assessment in medicine. Br Med J. 2004; Vol. 329: 606-9.
5. Wolfson P.J., Veloski J.J., Robeson M.R., Maxwell K.S. Administration of open-ended test questions by computer in a clerkship final examination. Acad Med. 200; Vol. 76: 835-9.
6. Hulsman R.L., Mollema E.D., Hoos A.M., De Haes J.C., et al. Assessment of medicalcommunication skills by computer: assessment method and student experiences. Med Educ. 2004; Vol. 38: 813-24.
7. Lieberman S.A., Frye A.W., Litwins S.D., Rasmusson K.A., et al. Introduction of patient video clips into computer-based testing: effects on item statistics and reliability estimates. Acad Med. 2003; Vol. 78: 48-51.
8. Hochlehnert A., Brass K., Moeltner A., Juenger J. Does medical students' preference oftest format (computer-based vs. paper-based) have an influence on performance? BMC Med Educ. 2011; Vol. 11: 89.
9. Agrawal S., Norman G.R., Eva K.W. Influences on medical students' self-regulated learning after test completion. Med Educ. 2012; Vol. 46: 326-35.
