CC BY
22
Мизгирёв Д.В., Васильева Е.Ю. ОЦЕНКА ПРАКТИЧЕСКИХ УМЕНИЙ ПО ХИРУРГИИ У ВЫПУСКНИКОВ МЕДИЦИНСКОГО ВУЗА
ОЦЕНКА ПРАКТИЧЕСКИХ УМЕНИЙ ПО ХИРУРГИИ У ВЫПУСКНИКОВ МЕДИЦИНСКОГО ВУЗА
Мизгирёв Д.В.*, Васильева Е.Ю. УДК: 614.253:617.5.003.12
Северный государственный медицинский университет, Архангельск DOI: 10.2588VBPNMSC.2018.41.16.022
Резюме. Проанализированы результаты оценки практических умений выпускников лечебного факультета (п = 328) с помощью способа объективной структурированной оценки и традиционной оценки без использования оценочных листов, а также субъективное восприятие выпускниками и преподавателями объективности и справедливости оценивания. Результаты использования способа объективной структурированной оценки значимо отличались от результатов традиционной оценки умений ^<0,001). Способ обеспечивает уменьшение кадровых и временных затрат и обладает высоким уровнем объективности оценки.
Ключевые слова: объективная структурированная оценка, практические умения, хирургия, оценочный лист, клиническая задача, выпускники, медицинский вуз.
ASSESSMENT OF GRADUATES' PRACTICAL SKILLS ON SURGERY IN MEDICAL SCHOOL
Mizgirjov D.V.*, Vasileva E.Yu.
Federal State Budget Educational Institution of Higher Education «Northern State Medical University» of the Ministry of Healthcare of the Russian Federation, Arkhangelsk
Abstract. Results of the assessment of the surgical skills of graduates of the medical faculty (n = 328), with the comparison of the method of objective structured assessment of surgical skills and traditional assessment without use of checklists, and subjective perception of the objectivity and fairness of the evaluation by graduates and teachers were studied. Results of the objective structured assessment significantly differed from the results of the traditional assessment of skills (p<0,001). Method provides reduction in personnel and time-consuming and has a high level of objectivity of assessment.
Keywords: objective structured assessment, practical skills, surgery, checklist, clinical case, graduates, medical school.
Формирование практических умений по хирургии в медицинском вузе на основе компетентностного подхода требует новых решений в области разработки методов и средств обучения и оценки [1; 2]. Анализ ситуации в области оценки хирургических умений в практике высшей школы показал, что традиционным методом их оценки является субъективное, неструктурированное наблюдение за выполнением обучающимися манипуляций [6]. Критерии оценки при этом обычно носят субъективный характер, не отражая в полной мере степень овладения хирургическими умениями. Недостатками традиционного метода являются отсутствие объективности и чётких критериев оценивания, зависимость от субъективных факторов [4; 11]. На современном этапе развития медицинского образования актуализируется проблема разработки и внедрения диагностических средств, которые должны отвечать требованиям структурированности и интегративности [3; 4; 5; 9; 10; 13; 14].
Цель исследования состояла в обосновании и апробации способа объективной структурированной оценки практических умений по хирургии у выпускников медицинского вуза.
Материалы и методы
Способ объективной структурированной оценки хирургических умений был реализован на базе кафедры факультетской хирургии Северного ГМУ в период с 2013 по 2016 год. Исследование проспективное, в электронную базу данных вносили сведения о результатах оценки хирургических умений выпускников лечебного факультета, которые сдавали зачет (п = 328). Отметки, полученные выпускниками, сравнивали с отметками, полученными традиционным способом, т.е. без использования оценоч-
* е-mail: denimsur@rambler.ru
ных листов. Также изучали субъективное восприятие выпускниками и преподавателями объективности и справедливости, оценивания с помощью оценочных листов и без них, в одномоментном исследовании приняли участие 142 выпускника и 17 преподавателей хирургических кафедр. Для сбора данных использовалась анкета «Объективность и справедливость оценки знаний в вузе» [8], включавшая в себя вопросы на определение объективности оценки и выявление удовлетворенности разъяснением критериев оценивания, организацией экзамена и его результатами.
Предлагаемый способ оценки характеризуется уменьшением финансовых, временных, кадровых затрат, а также возможностями оценки широкого спектра умений в малых группах одним экзаменатором при обеспечении высокого уровня объективности.
Комплект заданий состоял из 14 вариантов билетов (и соответствующих им оценочных листов), что позволяет провести оценку в одной группе экзаменуемых выпускников, не повторяя хирургические ситуации. Поскольку сущность оценки заключается в личной демонстрации студентом умения, можно не стремиться к созданию большого банка билетов, рассчитанного на индивидуальное задание для каждого - умение невозможно «списать».
Задания включают в себя два комплекта билетов, один из которых содержит клиническую задачу и вопросы к ней. Второй комплект содержит билеты с заданиями по оформлению листа врачебных назначений при лечении пациентов с хирургической патологией.
Пример клинической задачи:
Больная 34 лет, доставлена после длительного употребления алкоголя, 4 часа назад ударилась дома животом об угол стола, жалуется на боли в эпигастрии, тошноту.
Мизгирёв Д.В., Васильева Е.Ю.
ОЦЕНКА ПРАКТИЧЕСКИХ УМЕНИЙ ПО ХИРУРГИИ У ВЫПУСКНИКОВ МЕДИЦИНСКОГО ВУЗА
Объективно: живот умеренно вздут, напряжён, болезненный в эпигастрии, перитонеальные симптомы слабо положительны в верхних отделах. Перистальтика ослаблена. При УЗИ не исключается скудное количество свободной жидкости в брюшной полости. Задание:
1. Выберите возможные варианты патологии для проведения дифференциальной диагностики по описанной симптоматике.
2. Перечислите неинвазивные и инвазивные методы диагностики, применимые у данной пациентки.
3. Соберите набор инструментов для диагностического оперативного вмешательства при описанной ситуации, продемонстрируйте методику выполнения, назовите показания к лапаротомии.
4. Пациент 17 лет доставлен после суицидальный попытки - нанёс себе рану средней трети предплечья с пересечением вен. Окажите первую врачебную помощь.
Пример задания по оформлению листа врачебных назначений:
Задание: Оформите лист назначений пациенту с острой спаечной кишечной непроходимостью.
Каждое задание в билете соответствует определённому разделу оценочного листа для экзаменатора, с полным раскрытием отдельных компонентов ответа и/или демонстрации умений, имеющих определённое балльное выражение, то есть за каждый выполненный пункт экзаменуемый получает в ходе оценки определенное количество баллов.
Пример оценочного листа к клинической задаче представлен в таблице 1.
Оценку осуществляют на базе симуляционного класса (центра), где имеются муляжи, инструменты, расходные материалы, состав и количество которых позволяют продемонстрировать требуемые умения. При этом экзаменатор в оценочном листе регистрирует компоненты ответа и демонстрации, сравнивая их с изложенными в столбце «критерий» и отмечая набранные баллы. После завершения оценки итоговые баллы трансформируют в отметку: 26 баллов и более - отлично, от 22 до 25,9 балла
- хорошо, от 18 до 21,9 балла - удовлетворительно, менее 18 баллов - неудовлетворительно.
Статистическая обработка выполнялась с использованием пакета SPSS Statistics 17.0 (SPSS Inc., Chicago, IL, USA) и включала расчет средних величин (M), 95% доверительного интервала (ДИ). При сравнении показателей использовался непараметрический критерий Уилкоксона. Критический уровень значимости в исследовании принимался равным 95% (p<0,05).
Результаты
При изучении результатов оценки по предлагаемому способу с традиционной оценкой, не сопровождавшейся использованием оценочных листов (Табл. 2), выявлено, что общий средний балл при традиционной оценке составил 3,81±0,84 (95% ДИ 3,72-3,91), а при объективной оценке
- 3,46±0,87 (95% ДИ 3,37-3,55), отличия значимы (крите-
Табл. 1. Оценочный лист
ФИО Группа № Экзаменатор Задание №___ Лист назначений №___
№ п/п Критерий балл
1 Диагноз, причины состояния 4,5
1.1 Предположительный диагноз острый панкреатит 2,0 2,0
1.2 Предположительный диагноз закрытая травма живота 2,0 2,0
1.3 Предложены правильно другие заболевания (0,5) 0,5
2 Диагностика состояния 5,0
2.1 Анализы крови (общий 0,5, биохимия 1,0), мочи (диастаза 0,5) 2,0
2.2 Компьютерная томография 1,0 1,0
2.3 Лапароскопия 1,0, лапароцентез/шарящий катетер 1,0 2,0
3 Набор и методика лапароцентеза, лапароскопии 8,0
3.1 Собран набор инструментов для лапароцентеза (шприц и анестетик 0,5, скальпель 0,5, иглодержатель с иглой 0,5, шприц 0,5, катетер/лапароскоп 0,5, троакар 0,5; инструменты названы правильно 0,5) 3,5
3.2 Демонстрация пункции (работа в перчатках 0,5; выбор точки для дренирования 0,5; обработка кожи и анестезия 0,5, разрез кожи скальпелем 0,5; профилактика повреждения органов 0,5) 2,5
3.3 Демонстрация лапароцентеза (введение шарящего катетера/лапароскопа 0,5, диагностика в четырёх квадрантах 0,5, показания к лапаротомии -гемоперитонеум при нестабильной гемодинамике 0,5, содержимое полых органов 0,5) 2,0
4 Рана предплечья, повреждение вен 3,5
4.1 Давящая повязка (или асептическая повязка + венозный жгут - 0,5) 1,0
4.2 Асептическая повязка (наложен бинт или подушеч-на на раны 0,5, наложение туров в проксимальном направлении 0,5, фиксация правильна 0,5) 1,5
4.3 Самооценка правильности наложения (остановка кровотечения 0,5, пульсация артерий запястья 0,5) 1,0
5 Лист назначений 7,0
5.1 Указан стол (0,5), двигательный режим (0,5) 1,0
5.2 Назначения корректны по способу введения 0,5
5.3 Указание процентов, объёма, массы препаратов (в полном объёме 1,0; в неполном объёме 0,5) 1,0
5.4 Написаны в латинской транскрипции 1,0
5.5 Указана кратность введения 0,5
5.6 Препараты подобраны в соответствии с патологией (в полном объёме 2,0; в неполном объёме 1,0) 2,0
5.7 Процедуры
Контрольные анализы корректны 0,5
Лечебные и диагностические процедуры корректны 0,5
Итоговый балл 28
рий Уилкоксона, z = -10,770, р<0,001), причём объективная оценка оказалась более консервативной, «строгой».
Высокую оценку объективности оценки с использованием оценочных листов дали 71,8% выпускников, при этом 64,1% были высоко удовлетворены результатами. Только 7,0% экзаменуемых не были удовлетворены орга-
Мизгирёв Д.В., Васильева Е.Ю. ОЦЕНКА ПРАКТИЧЕСКИХ УМЕНИЙ ПО ХИРУРГИИ У ВЫПУСКНИКОВ МЕДИЦИНСКОГО ВУЗА
Табл. 2. Сравнительная оценка практических умений традиционным способом и способом объективной структурированной оценки
Сведения об оценке 2013 г. 2014 г. 2015 г. 2016 г.
практических умении Без оценоч- По оценочно- Без оценоч- По оценочно- Без оценоч- По оценочно- Без оценоч- По оценочно-
ного листа му листу ного листа му листу ного листа му листу ного листа му листу
Количество экзаменуемых 78 78 81 81 83 83 86 86
Количество «2» 4 8 5 9 4 10 4 11
Количество «3» 18 26 27 39 29 40 27 40
Количество «4» 46 34 32 22 31 21 37 24
Количество «5» 20 10 17 11 19 12 18 11
Средняя отметка 3,92±0,83 3,59±0,84 3,75±0,86 3,43±0,87 3,78±0,86 3,42±0,89 3,80±0,82 3,41±0,87
низацией структурированной оценки. Все опрошенные преподаватели считают, что использование оценочных листов позволяет объективно оценить уровень овладения практическими умениями, и в случае выбора способа оценки они предпочли бы использование оценочных листов.
Обсуждение. Способ объективной структурированной оценки, апробированный в зарубежных вузах [6; 7; 12], не лишён недостатков, к которым можно отнести необходимость создания множества станций для проверки различных умений, значительные временные и человеческие затраты, а также трудоёмкость подсчёта баллов из оценочных листов на разных станциях. Кроме того, указанный способ осуществляется, как правило, при проведении оценки в больших (несколько десятков человек) группах экзаменуемых. Опыт нашего университета демонстрирует возможность проведения оценки широкого спектра практических умений по чётко структурированным критериям одним преподавателем в малых группах, освоение методики оценки не требует долгой и сложной подготовки.
Основные трудности связаны с разработкой заданий междисциплинарного характера и оценочных листов, что требует от преподавателей межпредметной компетентности и постоянного совершенствования оценочной деятельности.
Выводы
Предложенный способ позволяет уменьшить затраты на организацию и проведение оценки, делает возможным проведение оценки в малых группах обучающихся одним экзаменатором с использованием одного помещения и оценкой широкого спектра умений у каждого обучающегося при обеспечении объективности оценки, повышает достоверность оценки и доверие экзаменуемых к результатам оценки практических умений.
Авторы заявляют об отсутствии конфликта интересов.
ЛИТЕРАТУРА/REFERENCES
1. Акопов, А.Л. Хороший хирург - что вкладывается в это понятие? А.Л. Акопов, Ж. Массард, Д. Артюх // Вестник хирургии им. И.И. Грекова. - 2015.
- № 4. - С. 87-92. [Akopov, A.L. Horoshij hirurg - chto vkladyvaetsja v jeto ponja-tie? A.L. Akopov, Zh. Massard, D. Artjuh // Vestnik hirurgii im. I.I. Grekova. - 2015.
- № 4. - S. 87-92].
2. Дыдыкин, С.С. Пути улучшения хирургической подготовки студентов в России / С.С. Дыдыкин, К.В. Жмеренецкий, Б.М. Когути др. // Вестник хирургии им. И.И.
Грекова. - 2017. - №1. - С. 97-101. [Dydykin, S.S. Puti uluchshenija hirurgicheskoj podgotovki studentov v Rossii / S.S. Dydykin, K.V. Zhmereneckij, B.M. Koguti dr. // Vestnik hirurgii im. I.I. Grekova. - 2017. - №1. - S. 97-101].
3. Инструктивное письмо Министерства высшего и среднего специального образования СССР от 26.10.81 №31 «О контроле учебной работы и оценке знаний студентов на экзаменах». [Instruktivnoe pis'mo Ministerstva vysshego i srednego special'nogo obrazovanija SSSR ot 26.10.81 №31 «O kontrole uchebnoj raboty i ocenke znanij studentov na jekzamenah»].
4. Богословский, В.А. Методические рекомендации по проектированию оценочных средств для реализации многоуровневых образовательных программ ВПО при комптетентностном подходе / В. А. Богословский [и др.]. - М.: Изд-во МГУ, 2007.
- 148 с. [Bogoslovskij, V.A. Metodicheskie rekomendacii po proektirovaniju ocenochnyh sredstv dlja realizacii mnogourovnevyh obrazovatel'nyh programm VPO pri komptetentn-ostnom podhode / V. A. Bogoslovskij [i dr.]. - M.: Izd-vo MGU, 2007. - 148 s].
5. Психологическая диагностика: Учебное пособие / Под ред. К.М. Гуревича и Е.М. Борисовой // М.: Изд-во УРАО, 1997. - 304 с. [Psihologicheskaja diagnostika: Uchebn-oe posobie / Pod red. K.M. Gurevicha i E.M. Borisovoj // M.: Izd-vo URAO, 1997. - 304 s].
6. Риклефс, В.П. Организация и проведение объективного структурированного клинического экзамена (ОСКЭ) / В.П. Риклефс, Г.М. Мулдаева, Р.С. Досмагамбетова // Электронный ресурс http://rosomed.ru/ckeditor_assets/attachments/58/2014-6c-02.pdf. [Riklefs, V.P. Organizacija i provedenie ob#ektivnogo strukturirovannogo klini-cheskogo jekzamena (OSKJe) / V.P. Riklefs, G.M. Muldaeva, R.S. Dosmagambetova // Jelektronnyj resurs http://rosomed.ru/ckeditor_assets/attachments/58/2014-6c-02.pdf].
7. Стандарты контроля качества обучения в медицинском вузе : учеб. пособие // Е.Ю. Васильева [и др.]. Архангельск : Изд-во Сев. гос. мед. ун-та, 2012. - 283 с. [Standarty kontrolja kachestva obuchenija v medicinskom vuze : ucheb. posobie // E.Ju. Vasil'eva [i dr.]. Arhangel'sk : Izd-vo Sev. gos. med. un-ta, 2012. - 283 s].
8. Томилова, М.И. Оценка знаний в вузе в восприятии студентов / М.И. Томилова, Е.Ю. Васильева, О.А. Харькова //Экология человека. - 2013. - № 9. - С. 29-33. [To-milova, M.I. Ocenka znanij v vuze v vosprijatii studentov / M.I. Tomilova, E.Ju. Vasil'eva, O.A. Har'kova //Jekologija cheloveka. - 2013. - № 9. - S. 29-33].
9. Федеральный закон «Об основах охраны здоровья граждан в Российской Федерации» от 21.11.2011 N 323-ФЗ (действующая редакция, 2016). Электронный ресурс // http://www.consultant.ru/document/cons_doc_LAW_121895/. [Federal'nyj zakon «Ob osnovah ohrany zdorov'ja grazhdan v Rossijskoj Federacii» ot 21.11.2011 N 323-FZ (dejstvujushhaja redakcija, 2016). Jelektronnyj resurs // http://www.consu-ltant.ru/document/cons_doc_LAW_121895/].
10. Фокин, Ю.Г. Возможные пути объективизации оценивания результатов обучения при компетентностном задании требований / Ю.Г. Фокин // Избранные статьи из сборника трудов Международной академии наук высшей школы 2012 года. // Электронный ресурс http://fpo.msu.ru/content/view/310. [Fokin, Ju.G. Vozmozhnye puti ob#ektivizacii ocenivanija rezul'tatov obuchenija pri kompetentnostnom zadanii trebovanij / Ju.G. Fokin // Izbrannye stat'i iz sbornika trudov Mezhdunarodnoj akademii nauk vyssh-ej shkoly 2012 goda. // Jelektronnyj resurs http://fpo.msu.ru/content/view/310].
11. Hollingworth, T. OSCEs for the MRCOG Part 2 : A Self-Assessment Guide. Second edition T. Hollingworth, J. Rymer. - Hodder Arnold, 2011. - 270 p.
12. Harden, R. The Definitive Guide to the OSCE, the Objective Structured Clinical Examination as a performance assessment, 1st Edition / R. Harden, P. Lilley, M. Patricio
- Elsevier, 2015. - 384 p.
13. Sadideen, H. Surgical experts: Born or made? / H. Sadideen, A. Alvand, M. Saadeddin et al. // International Journal of Surgery. - 2013. - Vol. 11, № 9. - P. 773-778.
14. Sánchez-Fernández, J. The assessment of surgical skills as a complement to the training method. Revision. / J. Sánchez-Fernández, J. Bachiller-Burgos, Á. Serrano-Pascual et al. // Actas Urologicas Espanolas. - 2016. - Vol. 4, № 1. - P. 55-63.
