CC BY
28
СРАВНИТЕЛЬНАЯ ОЦЕНКА МЕТОДОЛОГИЧЕСКИХ ПОДХОДОВ В ОЦЕНКЕ ГОТОВНОСТИ ВЫПУСКНИКОВ МЕДИЦИНСКИХ ВУЗОВ К САМОСТОЯТЕЛЬНОЙ ДЕЯТЕЛЬНОСТИ
Булатов С.А.1, Лэйн Х.2
1 ФГБОУ ВО «Казанский государственный медицинский университет» Минздрава России, Казань, Россия
2 Школа медицины и научно-исследовательский институт «Virginia Tech Carilion», Роанок, штат Вирджиния, США
В представленном материале рассмотрена проблема оценки практических умений выпускников в качестве основного критерия готовности к самостоятельной деятельности. Выполнена сравнительная характеристика 2 аналогичных по смыслу экзаменов, проводимых в медицинских вузах Российской Федерации (ФГБОУ ВО «Казанский государственный медицинский университет» Минздрава России) и США (Школа медицины и научно-исследовательский институт «Virginia Tech Carilion»). Предложена экзаменационная методика «Стандартизированный пациент» для повышения объективности результатов экзамена первичной аккредитации специалистов. Для цитирования: Булатов С.А., Лэйн Х. Сравнительная оценка методологических подходов в оценке готовности выпускников медицинских вузов к самостоятельной деятельности // Медицинское образование и профессиональное развитие. 2019. Т. 10, № 4. С. 42-49. doi: 10.2441 1/2220-8453-2019-14002. Статья поступила в редакцию 09.10.2019. Принята в печать 25.11.2019.
Ключевые слова:
аккредитационный
экзамен, объективный
структурированный
клинический
экзамен, методика
«стандартизированный
пациент»
COMPARATIVE EVALUATION OF METHODOLOGICAL APPROACHES IN ASSESSING THE READINESS OF MEDICAL GRADUATES TO INDEPENDENT ACTIVITY
Bulatov S.A.1, Lane X.2
1 Kazan State Medical University, Kazan, Russia
2 Virginia Tech Carilion School of Medicine, Roanoke, VA, USA
In the presented material the problem of evaluation of practical skills of graduates as the main criterion of readiness for independent activity is considered. The comparative characteristic of two similar examinations held in medical universities of the Russian Federation (Kazan State Medical University) and the USA (Virginia Tech Carilion School of Medicine) is carried out. It is proposed to use the examination methodology "standardized patient" to improve the objectivity of the exam results of primary accreditation of specialists.
For citation: Bulatov S.A., Lane H. Comparative evaluation of methodological approaches in assessing the readiness of medical graduates to independent activity. Meditsinskoe obrazovanie i professional'noe razvitie [Medical Education and Professional Development]. 2019; 10 (4): 42-49. doi: 10.24411/2220-84532019-14002. (in Russian)
Received 09.10.2019. Accepted for publication 25.1 1.2019.
Keywords:
accreditation exam, objective structured clinical examination, methodology "standardized patient"
Общенациональным мегапроектом последних лет стала реализация комплексной программы развития здравоохранения в России. Вложены громадные финансовые средства, что должно обеспечить коренное изменение подходов к организации системы сохранения жизни и здоровья российских граждан [1]. Прежде всего должна быть улучшена работа практического здравоохранения в поликлиническом звене, и ключевой фигурой в данном процессе, безусловно, является участковый специалист, на которого ложится основная нагрузка работы с пациентами, который начинает и завершает любой лечебный процесс. В связи с поставленной задачей, очень важная и конкретная роль отведена медицинским вузам, а именно - роль в подготовке высококлассных медицинских специалистов, способных удовлетворить запросы современного общества.
Минздравом России по аналогии с мировой практикой в 2017 г. был внедрен экзамен первичной аккредитации специалистов, предусматривающий проверку готовности к самостоятельной деятельности. Роль экспертов отвели представителям профессиональных сообществ. Аналогичный экзамен в странах Европейского сообщества и Соединенных Штатах Америки проводят уже более 20 лет, и за это время он доказал свою целесообразность [2, 3]. Следует отметить, что каждый год этот экзамен модернизируется и улучшается, растет объективность его оценок. Все медицинские вузы России, выполняя директивы Федерального центра аккредитации, в организации данного экзамена используют методику объективного структурированного клинического экзамена (ОСКЭ). Не исключение и
ФГБОУ ВО «Казанский государственный медицинский университет» Минздрава России (далее - КГМУ), имеющий более чем 200-летний опыт подготовки специалистов. Однако по сравнению с другими медицинскими вузами России КГМУ находится в особом положении. Дело в том, что независимая экспертная оценка качества практических навыков выпускников проводится вузом в инициативном порядке с 2006 г., и для этого была выбрана американская национальная модель II этапа экзамена на получение лицензии на право медицинской деятельности - United States Medical Licensing Examination (USMLE) с использованием методики «Стандартизированный пациент». Ежегодно в Казань приезжает комиссия специалистов из США, в настоящее время из Школы медицины «Virginia Tech Carilion» (Virginia Tech Carilion School of Medicine), и проводит экзамен для выпускников КГМУ с помощью стандартных кейсов, которые использовались в USMLE ранее. Особенности данного экзамена в том, что для участников он добровольный, проходит на английском языке, основные действующие лица - это актеры, иностранные граждане - носители языка. Соискатели, успешно прошедшие испытания, получают сертификат, подписанный руководителями 2 высших медицинских школ России и США [4]. Популярность экзамена, несмотря на его сложность, достаточно высокая и многие студенты изъявляют желание принять в нем участие. Чтобы исключить попадание лиц с низким уровнем знания английского языка и общим уровнем подготовки, проводилось предварительное собеседование.
Показавшие лучшие результаты допускались к сдаче очного экзамена, как правило, это 25-30 человек. Проходил экзамен на базе Центра практических умений КГМУ. Здесь же, с разницей в 2 недели, проводился этап проверки практических умений экзамена первичной аккредитации выпускников. Подобное стечение обстоятельств дает уникальную возможность сравнения разных подходов в оценке готовности молодого специалиста к самостоятельной профессиональной деятельности. В настоящее время накоплен достаточно большой материал, позволяющий говорить об особенностях каждого из подходов.
В этой работе мы поставили задачу провести сравнительную характеристику 2 различных концепций в оценке качества владения практическими умениями.
МАТЕРИАЛ И МЕТОДЫ
В обоих подходах один принцип организации экзамена - метод ОСКЭ, где экзаменуемому предлагается пройти последовательно ряд станций, содержащих различные задания. В американском варианте это 11 станций с различными клиническими ситуациями, разыгрываемыми актерами-экспертами. Российский вариант представлен 2 подэтапами: на 1-м - экзаменуемый проходит 6 станций (5 обязательных + 1 пилотная), и каждая из них отражает определенную группу практических умений, а на 2-м - демонстрирует умения в решении ситуационных задач. Было интересно выделить наиболее существенные различия и провести их сравнительный анализ. Для анализа были выбраны 6 параметров. Результаты представлены в таблице.
Сравнительная характеристика основных параметров экзамена по проверке практических умений первичной аккредитации специалистов (Россия) и II этапа национального экзамена на получение медицинской лицензии USMLE (США)
№ Сравниваемые параметры Практическая часть аккредитационно-го экзамена выпускника российского медицинского вуза Практическая часть национального экзамена (USMLE)
1 Продолжительность 1 ч10 мин 3 ч 30 мин
2 Число станций 6 станций 11 станций
3 Регламент прохождения станции 6x8,5 мин Перерыв 1,5 мин между станциями 15 мин работа с пациентом + 8 мин заполнение документации + 2 мин перерыв
4 Направленность станций - Неотложная медицинская помощь. - Экстренная медицинская помощь. - Физикальное обследование пациента. - Сердечно-легочная реанимация (базовая). - Диспансерный прием пациента. - Сбор анамнеза (коммуникативные навыки) 11 кейсов (ситуационных задач)
5 Оцениваемые параметры - Соответствие выполнения каждой манипуляции представленному чек-листу. - Соблюдение временного норматива - Правильность сбора анамнеза. - Проведение общеклинического обследования. - Коммуникативные навыки. - Навыки формулирования клинического диагноза и составления программы обследования и лечения пациента
6 Объективность оценки и результаты экзамена Субъективная оценка членом(ами) комиссии по чек-листу станции Компьютеризированная проверка листа курации (заполняет экзаменуемый) и отчета актера-эксперта
РЕЗУЛЬТАТЫ И ОБСУЖДЕНИЕ
Как видно из таблицы, несмотря на одну задачу (объективная оценка практических навыков), организация самого экзамена носит существенные, если не сказать принципиальные, различия. Начнем с продолжительности и числа станций. В настоящее время в России это 1 ч 10 мин на ОСКЭ и около 1,5 ч на решение ситуационных задач, а для американских коллег - 3 ч 30 мин рабочего времени. Прежде всего, о впечатлении российских участников - 5 заданий по 8,5 мин с короткими перерывами по 1,5 мин делают процедуру молниеносной и стрессовой для экзаменуемого. Например, мгновенно переключиться после интенсивной физической нагрузки при проведении первичного реанимационного комплекса на выполнение внутривенной инъекции очень трудно. Косвенным подтверждением этому служит огромное количество мелких травм и порезов у экзаменуемых - до 20% участников (собственные наблюдения 2018 г.). Нередко можно было видеть брошенные впопыхах на пол фонендоскопы, бумаги с записями прямо у дверей станций. Кроме того, такая форма экзамена потребовала приставить к каждой станции, на каждой цепочке специального сопровождающего, кто переводит экзаменуемого от одной двери до другой. В противном случае появляются потерявшиеся в пространстве и времени студенты. Во время короткого перерыва между станциями коридоры напоминают муравейник с шумным и хаотичным движением множества людей.
Иная модель экзамена практикуется за рубежом [5]. Каждый соискатель имеет персональную карту, в которой прописана последовательность посещения комнат,
в которых находятся «больные». Перерывы между кейсами составляют от 5 до 10 мин, и предусмотрен даже большой получасовой ланч-брейк. Объясняется это тем, что выдержать высокий темп и остроту мышления в течение длительного времени всегда труднее, и ошибок становится значительно больше. Более чем 20-летний опыт проведения подобного экзамена в США доказал, что для экзаменуемого такой ритм работы оптимален. Вместе с тем, по мере того как накапливается усталость, все больше проявляется автоматизм, наработанный в ходе обучения, и демонстрируются истинные практические навыки в работе с пациентом. Значит, и персональная итоговая оценка становится более объективной.
Важный элемент организации экзамена - направленность и оснащение станций. Пожалуй, наиболее стандартно эта проблема решается в американском варианте: отдельная комната (стандартный одноместный бокс, используемый в лечебных учреждениях), аппаратура 2-позиционной видеосъемки, 2 ноутбука с выходом в локальную сеть (для экзаменуемого и для актера-эксперта), а также набор необходимого медицинского оборудования для общеклинического обследования пациента. Актеры-эксперты обеспечивают реалистичность экзамена. Прежде чем принимать участие в аккредитационном экзамене, каждый из них отрабатывает свою роль в течение нескольких лет. Роль актера-эксперта очень ответственна - он не только представляет определенную ситуацию, но еще и дает экспертную оценку действиям экзаменуемого. Именно поэтому все актеры проходят серьезную подготовку и обязательно задействованы, помимо экзаменов, в учебном процессе [3]. Как
правило, каждый актер на экзамене разыгрывает 2-3 кейса, которые демонстрирует последовательно в соответствии с заранее оговоренным планом. Кейсы могут быть достаточно разнообразны по содержанию: различные соматические заболевания, травмы, нормально протекающая беременность на различных сроках и т.д. Встречаются и достаточно сложные психологические ситуации, решение которых должно быть нестандартным.
В качестве примера можно привести кейс, использовавшийся на экзамене 1^М1_Е, а затем воспроизведенный в Казани и вызвавший самые большие затруднения у наших выпускников. Суть его такова: за консультацией обращается молодая женщина, ярко и броско одетая, демонстрирующая вызывающее, вульгарное поведение. Проблема, которую она хотела бы обсудить с доктором, - возможность инфицирования ВИЧ-инфекцией после имевшей место случайной связи с несколькими малознакомыми мужчинами. По задумке авторов, кейс рассчитан на проверку коммуникативных навыков, способности врача сохранять серьезность и уважительное отношение к пациенту, какой бы двусмысленной ни была ситуация. Стандартным решением кейса предусматриваются обсуждение с женщиной ее проблемы и рекомендация обратиться в специализированную лабораторию для сдачи анализа крови. Подходя к решению данного кейса традиционно, наши выпускники пытались собирать анамнез, проводить объективное обследование и не знали, что делать. На наш взгляд, это наглядный пример необходимости индивидуального подхода к каждому пациенту и применения нестандартной тактики.
Российский вариант экзамена подразумевает 5 станций ОСКЭ (6-я станция по проверке коммуникативных навыков остается пилотной уже 2-й год). Подборка проверяемых навыков вызывает много вопросов и недоумений у преподавателей медицинских вузов. Действительно, как может безукоризненно выполненная внутривенная инъекция служить критерием готовности к самостоятельной деятельности молодого специалиста и служить стандартом его врачебного мастерства? Опять же, в повседневной практике врач поликлиники встречается с проблемой остановки носового кровотечения или необходимостью катетеризации мочевого пузыря пожилому пациенту значительно чаще по сравнению с базовым комплексом первичной реанимации. Безусловно, навыками оказания экстренной и неотложной помощи должен владеть каждый выпускник, и не только на базовом уровне. Может быть, было бы целесообразнее вернуться к перечню основных манипуляций, которыми должен владеть выпускник безошибочно, и проверять персонально каждого на этапе итоговой государственной аттестации, а аккредитационный экзамен сделать более комплексным, объективно отражающим готовность к самостоятельной работе с пациентом. Ведь сама идеология аккредитационного экзамена - это проверка специалиста на социальную и профессиональную зрелость, на его компетентность в работе с больным человеком. В настоящее время весь экзамен проходит на тренажерных комплексах, современных и насыщенных электроникой. Реальный пациент как личность, как объект приложения профессиональных навыков отсутствует на 5 станциях из 6. Соответственно
и критериями оценки умений экзаменуемого могут служить только строгое следование чек-листу процедуры и соблюдение временного норматива работы.
Возвращаясь к технике внутривенной инъекции и проводя предэкзаменационные тренинги, мы убедились, что если стараться выполнить все 250 пунктов (45 в укороченной версии), невозможно соблюсти временной норматив. Как следствие, часть пунктов, таких как мытье рук, дезинфицирующая обработка кожи, экзаменуемый только проговаривает. Подобная формализация части манипуляций наблюдается и на других станциях, и с этим приходится мириться. Другими словами, полного и последовательного выполнения всех элементов, указанных в чек-листе, а соответственно, их проверки, добиться невозможно, и экзаменатор ставит пункт выполнения, просто доверяя экзаменуемому.
С этим связан еще один важный аспект в российском варианте аккредитацион-ного экзамена - независимая экспертная оценка. В идеальном варианте она осуществляется опытными специалистами практического здравоохранения и представителями профессиональных сообществ. В этом направлении проделано много работы, сформированы комиссии экспертов для каждого медицинского вуза. Работа в виде совещаний, конференций начинается в мае, а завершается в середине июля. Причем работа ответственная, многократно повторяющаяся и скучная. Время, затрачиваемое экзаменатором на одного экзаменуемого, все те же 8,5 мин. Нетрудно подсчитать, что дневная пропускная способность одного эксперта составляет 48 человек. Чтобы за несколько дней пропустить выпускников
одного факультета, запускаются 2-3 цепочки, следовательно, число экзаменаторов возрастает до 15-18 человек. Это очень монотонная работа, снижающая остроту восприятия и увеличивающая количество механических ошибок в чек-листе. В настоящее время эта проблема решается привлечением волонтеров-помощников к каждому из экзаменаторов.
В американском варианте экзамена эта проблема решается с помощью современных электронных технологий. Два основных источника информации о прохождении станции (чек-лист пациента и лист курации) заполняются в электронном виде актером и экзаменуемым и вводятся в базу данных. Основную работу по проверке осуществляет специальная компьютерная программа. Во время экзаменов в КГМУ один экзаменатор обеспечивал одновременную работу 8 станций и соответственно 8 экзаменуемых. В режиме онлайн информация направлялась в базовый компьютер, расположенный в головном офисе (Роанок, штат Вирджиния, США), обрабатывалась и через несколько часов представлялась в виде отчета с систематизацией по каждому соискателю персонально и по каждой станции. Остается только добавить, что данная система организации проверки результатов экзамена доказала свою целесообразность и работает во всех национальных аккредитационных центрах США с 2014 г.
Несколько слов о результатах экзамена по владению практическими умениями, продемонстрированных во время аккреди-тационного экзамена. Как показал анализ, за период с 2006 по 2018 г. (13 лет) в КГМУ в экзамене по методике «Стандартизированный пациент» приняли участие 286 человек. Среди них выпускники-иностранцы,
обучавшиеся на английском языке, составляли 158 человек (55,2%), российские граждане - 128 (44,8%). По результатам экзамена оценку «отлично» получили 27 (9,4%), человек, «хорошо» - 135 (47,2%) человек, «удовлетворительно» - 115 (40,2%), «неудовлетворительно» - 9 (3,2%). Как свидетельствуют полученные данные, основная масса экзаменуемых (87,4%) получила оценки «хорошо» и «удовлетворительно». Оценку «неудовлетворительно» получили 3,2% соискателей, что значительно лучше среднестатистического показателя в США, где ежегодный процент неудач варьирует от 9 до 24%. [2] На этом фоне оптимистически выглядят результаты практической части российского экзамена первичной аккредитации специалиста, где процент успешно сдавших составляет 100% (собственные данные КГМУ, 2017, 2018).
ЗАКЛЮЧЕНИЕ
Основываясь на сравнении 2 принципиально различных подходов в оценке прак-
тических навыков молодого специалиста, мы пришли к следующему заключению -используемая в настоящее время в России система отличается от принятой в большинстве зарубежных медицинских школ мира и далека от совершенства. Вопросы, которые требуют доработки и взвешенного решения, касаются подбора числа и направленности экзаменационных станций, регламента проведения экзаменационных испытаний и повышения объективности экзаменаторов в оценке результатов экзамена. Экзаменационная методика «Стандартизированный пациент», зарекомендовавшая себя в качестве объективной и беспристрастной, может стать альтернативным вариантом экзамена первичной аккредитации специалиста. Имеющийся опыт КГМУ совместно со Школой медицины «Virginia Tech CariLion» по организации и проведению практического экзамена может служить образцом для внедрения в других медицинских вузах России.
Конфликт интересов. Авторы заявляют об отсутствии конфликта интересов.
СВЕДЕНИЯ ОБ АВТОРАХ
Булатов Сергей Александрович (Bulatov Sergey А.) - доктор медицинских наук, заведующий кафедрой симуляционных методов обучения в медицине, профессор ФГБОУ ВО «Казанский государственный медицинский университет» Минздрава России, Казань, Россия
E-maiL: [email protected] https://orcid.org/0000-0002-5220-8335
Хейди Лэйн (Heidi Lane) - старший директор по клинической оценке навыков и образования Школы медицины и научно-исследовательский института «Virginia Tech CariLion» (Роанок, штат Вирджиния, США) E-maiL: [email protected]
ЛИТЕРАТУРА
1. Государственная программа Российской Федерации «Развитие здравоохранения», утвержденная постановлением Правительства Российской Федерации от 26 декабря 2017 г. № 1640 «Об утверж-
дении государственной программы Российской Федерации "Развитие здравоохранения"», которое признает утратившим силу постановление Правительства Российской Федерации от 15 апреля 2014 г. № 294.
2. Zhang C. et al. A systematic literature review of simulation models for non-technical skill training in healthcare logistics // Adv. Simul. (Lond.). 2018. Vol. 3. P. 15. [Электронный ресурс]. URL: https:// www.ncbi.nlm.nih.gov/pmc/articles/ PMC6062859/pdf/41077_2018_Article_72.pdf. (дата обращения: 29.10.2018)
3. Lane H. et al. Hands on learning: the use of simulated clients in intervention cases // J. Allied Health. 2009. Vol. 38, N 1. P. e17-e21.
4. Булатов С.А., Heidi Lane. Методика «стандартизированный пациент» в международной комплементации аккредитационного экзамена выпускников высших медицинских школ // Виртуальные технологии в медицине. 2017. № 2 (18). С. 64-65.
5. Lee T.H. et al. Standardizing patient outcomes measurement // N. Engl. J. Med. 2016. Vol. 274, N 6. P. 504-506 [Электронный ресурс]. URL: https://catalyst.nejm.org/standardizing-patient=outcomes-measurement/articles/pdf. (дата обращения 02.07.2019]
REFERENCES
1. The State Program of the Russian Federation «Development of healthcare», approved by the Decree of the Government of the Russian Federation of December 26, 2017 No. 1640 «On approval of the state program of the Russian Federation "Development of healthcare"», which recognizes the decree of the Government of the Russian Federation of April 15, 2014. No. 294. (in Russian]
2. Zhang C., et al. A systematic literature review of simulation models for non-technical skill training in healthcare logistics. Adv Simul (Lond). 2018; 3: 15 [Electronic resource]. URL: https://www.ncbi.nlm. nih.gov/pmc/articles/ PMC6062859/pdf/41077_2018_Article_72.pdf. (date of access October 29, 2018)
3. Lane H., et al. Hands on learning: the use of simulated clients in intervention cases. J Allied Health. 2009; 38 (1): e17-21.
4. Bulatov S.A., Heidi Lane. The method of «standardized patient» in international complementation accreditation exam of university medical schools. Virtual'nie tekhnologii v medicine [Virtual Technology in Medicine]. 2017; 2 (18): 64-5. (in Russian)
5. Lee T.H., et al. Standardizing patient outcomes measurement. N Engl J Med. 2016; 274 (6): 504-6 [Electronic resource]. URL: https://catalyst.nejm.org/standardizing-patient=outcomes-measurement/ articles/pdf. (date of access July 02, 2019)
