Объективный структурированный клинический экзамен как инструмент аккредитации медицинских специалистов Текст научной статьи по специальности «Науки о здоровье»

ОБЪЕКТИВНЫЙ СТРУКТУРИРОВАННЫЙ КЛИНИЧЕСКИЙ ЭКЗАМЕН КАК ИНСТРУМЕНТ АККРЕДИТАЦИИ МЕДИЦИНСКИХ СПЕЦИАЛИСТОВ

Алексеева А.Ю.1, Балкизов З.З.1, Перельман В.2, Семенова Т.В.3 4, Сизова Ж.М.5

1 Ассоциация профессиональных медицинских обществ по качеству медицинской помощи и медицинского образования, Москва

2 Центр симуляционного обучения госпиталя Маун Синай, Торонто, Канада

3 Департамент медицинского образования и кадровой политики в здравоохранении Минздрава России, Москва

4 ФГБОУ ВО «Российский национальный исследовательский медицинский университет им. Н.И. Пирогова Минздрава России, Москва

5 Методический центр аккредитации специалистов ФГАОУ ВО «Первый Московский государственный медицинский университет им. И.М. Сеченова» Минздрава России

В статье описана процедура проведения объективного структурированного клинического экзамена (ОСКЭ). ОСКЭ - метод, который используют для оценки клинической компетентности студентов медицинских вузов. Суть ОСКЭ заключается в создании для экзаменуемых клинических ситуаций, позволяющих продемонстрировать приобретенные навыки. ОСКЭ по сравнению с другими методами оценки обладает множеством преимуществ и может считаться надежным инструментом проверки знаний, умений и навыков.

Ключевые слова:

объективный структурированный клинический экзамен, медицинское

образование, клиническая компетентность

OBJECTIVE STRUCTURED CLINICAL EXAMINATION AS A TOOL FOR ACCREDITATION OF MEDICAL SPECIALISTS

Alekseeva A.Yu.1, Balkizov Z.Z.1, PereTman V.2, Semenova T.V.3, 4 Sizova Zh.M.5

1 Association of Medical Societies for Quality of Medical Care and Medical Education, Moscow

2 Mount Sinai hospital simulation training center, Toronto, Canada

3 Department of Medical Education and Personnel Policies in Health Care of Ministry of Health Care of Russian Federation, Moscow

4 Pirogov Russian National Research Medical University, Moscow

5 Methodical center of accreditation of specialists of I.M. Sechenov First Moscow State Medical University

The article describes the procedure for conducting an objective structured clinical examination. The objective structured clinical examination is used to assess the clinical competence of medical students. Its purpose is to create clinical situations, that allow students to demonstrate their skills. The objective structured clinical examination has many advantages over other assessment methods and can be considered as a reliable tool for testing knowledge, skills and abilities.

Keywords:

objective structured clinical examination, medical education, clinical competence

Объективный структурированный клинический экзамен (ОСКЭ) - это метод, используемый для оценки клинической компетентности. Роналд Харден, в 1975 г. впервые применивший этот метод оценки, дает ему следующее определение: «Подход к оценке клинической или профессиональной компетентности, в котором компоненты компетентности оценивают планомерно и структурированно, с особым вниманием к объективности оценки».

В основе метода лежит комплексная оценка с конечным множеством (обычно от 10 до 20) оценочных станций, моделирующих различные аспекты клинической компетентности. Все участники проходят одинаковые испытания, последовательно переходя от станции к станции в соответствии с расписанием, результаты выполнения заданий при этом оценивают с использованием чек-листов. Для проведения ОСКЭ могут быть использованы различные тренажеры и симуляторы, стандартизированные или реальные пациенты, а также дополнительные диагностические элементы (результаты ЭКГ, рентгенограммы, КТ, МРТ).

Суть ОСКЭ заключается в создании для экзаменуемых репродуцируемых клинических ситуаций, позволяющих продемонстрировать приобретенные технические, дедуктивные (диагностические, когнитивные) и коммуникативные навыки. ОСКЭ имитирует (симулирует) процесс обследования и лечения пациента, поэтому практические испытания на станциях ОСКЭ обычно представляют собой задания на интерпретацию исследований, оценку коммуникативных навыков (сбор анамнеза, сообщение плохих новостей), а также технических навыков. Таким образом, ОСКЭ - это больше, чем комплексный экзамен. Правильно разработанные станции ОСКЭ позволяют проверить клинические компетенции, связанные с самостоятельным осуществлением медицинской деятельности. В отличие от традиционных методов оценки, эта методика позволяет оценить и продемонстрировать, что учащиеся делают, а не то, что они знают или теоретически могут либо будут делать.

За 40 лет, прошедших со времени изобретения метода Роналдом Харденом, наблюдается стабильный рост использования

16

¥

Объективный структурированный клинический экзамен как инструмент

аккредитации медицинских специалистов

ОСКЭ для проведения экзаменов у студентов, ординаторов и практикующих врачей во всем мире. ОСКЭ используется при повышении квалификации в системе непрерывного медицинского образования (НМО) и в качестве средства получения обратной связи для коррекции процесса обучения. Сегодня ОСКЭ используется в качестве:

■ средства оценки достижения минимально приемлемого стандарта для студентов и резидентов при переводных и выпускных экзаменах в большинстве медицинских школ США, Великобритании и Канады. В Казахстане ОСКЭ стал обязательным экзаменом после III, V и VII курсов во всех медицинских вузах;

■ средства оценки интернов при назначении на более высокие должности в Королевских коллегиях врачей различных специальностей в Великобритании;

■ средства текущей, формативной оценки и самооценки для коррекции обучения студентов-медиков;

■ средства суммативной (итоговой) оценки выпускников, претендующих на лицензию для занятия должности или на сертификат для практической деятельности. На модели ОСКЭ основаны 2-я часть экзамена PLAB в Великобритании, Квалификационный экзамен-II Медицинского совета Канады [The Medical Council of Canada Qualifying Examination Part II (MCCQE)] и раздел оценки клинических умений экзамена для получения медицинской лицензии в США [The United States Medical Licensing Examination® (USMLE®)];

■ с 2016 г. методика ОСКЭ применяется в качестве 2-го этапа первичной аккредитации специалистов в России.

СИЛЬНЫЕ И СЛАБЫЕ СТОРОНЫ

ОСКЭ как инструмент для оценки клинической компетентности обладает многими преимуществами по сравнению с другими методами оценки: тестирование с выбором правильного ответа, собеседование по предмету и т.п. Правильно разработанные станции ОСКЭ более объективны, легко воспроизводимы (репродуцируемы), реалистичны, соответствуют действительности (валидны). Некоторые авторы утверждают, что ОСКЭ с его многочисленными вариациями сегодня доминирует в сфере оценки компетентности. Как правило, чем больше станций с различными практическими испытаниями в рамках ОСКЭ, тем выше степень надежности его результатов. Результаты исследований, проведенных Аккредитационным советом по последипломному медицинскому образованию США (ACGME), указывают, что добиться необходимой степени надежности можно при внедрении ОСКЭ, состоящего из 20 практических испытаний. Исследование, проведенное ACGME, показывает корреляцию от 0,59 до 0,71 между результатами ОСКЭ и предаттестационных экзаменов. Таким образом, при достаточном количестве станций ОСКЭ может считаться надежным инструментом проверки знаний, умений и навыков с достаточно высокой степенью надежности.

ПРЕИМУЩЕСТВА ОБЪЕКТИВНОГО СТРУКТУРИРОВАННОГО КЛИНИЧЕСКОГО ЭКЗАМЕНА

Валидность - степень, в которой содержание метода оценки позволяет оценить действительно приобретенные или

подлежащие проверке знания, навыки и умения, которые отражают поведение в реальной клинической ситуации.

Формы валидности

Валидность содержания обеспечивается в том случае, когда экзамен составлен таким образом, что он достоверно тестирует реальные современные знания, навыки и нормы поведения, соответствующие эталонным, т.е. отражает поведение в данном клиническом контексте большинства экспертов в этой области в реальной практике.

Валидность построения - способность экзамена правильно различать (дифференцировать) группы тестируемых по уровню экспертизы (например, поставленная задача может достоверно и надежно отличить начинающих клиницистов от экспертов).

Конвергентная, дивергентная и предсказательная валидность

Валидность также может проявляться в надежности (силе) взаимосвязи баллов, полученных одним измерением, с другими методами измерения на экзамене.

Конвергентная валидность - надежность экзамена и его способность давать равные оценки по одной и той же задаче, используя различные элементы (или методы) оценки. Например, принятие решения начать закрытый массаж сердца и время от остановки сердца до начала закрытого массажа сердца. Оба фактора должны быть отражены в чек-листе. Таким образом, 2 измерения позволяют оценить способность правильно начать реанимацию.

Дивергентная валидность - способность и надежность экзамена давать различные оценки по одной и той же задаче, используя различные элементы (или методы) оценки.

Предсказательная валидность - способность экзамена предсказать поведение и работу конкретного медработника в будущей практике (например, врачи, сдавшие экзамен по лапароскопическим навыкам, оперируют с меньшим количеством осложнений, чем те, кто не сдавал экзамен).

Как уже отмечалось выше, по сравнению с традиционным подходом к клиническим экзаменам ОСКЭ обеспечивает более достоверную оценку клинической компетентности. Составители экзаменов должны заранее определить, что необходимо проверить, и планировать содержание экзамена для проверки определенных знаний, умений и навыков. При этом можно контролировать не только содержание, но и степень сложности экзамена: более

Медицинское образование и профессиональное развитие

Объективный структурированный клинический экзамен как инструмент

аккредитации медицинских специалистов

простые случаи для студентов младших курсов, более сложные для старших. Акцент оценки может быть смещен с проверки фактических знаний на тестирование широкого спектра умений и навыков, включая сбор анамнеза. Помимо наиболее распространенных методов клинического обследования, можно включить методы исследований, применяемые узкими специалистами, такими как офтальмологи, оториноларингологи.

С развитием ОСКЭ, помимо традиционно охватываемых им доменов, таких как коммуникационные навыки, клинический осмотр, выполнение медицинских процедур и интерпретация данных, в содержание экзамена все чаще включают оценку профессионализма,безопасность пациентов и межпрофессиональные навыки.

Надежность (воспроизводимость результатов тестирования)

ОСКЭ характеризуется не только большей достоверностью, но и большей на-

дежностью, - результат экзамена мало зависит от конкретного экзаменатора и стандартизированного пациента (СП) (конечно, и экзаменаторы, и пациенты-актеры должны быть обучены и откали-брованы). Использование экзаменаторами чек-листов и тестовых заданий закрытого типа (с выбором одного наилучшего ответа) обеспечивает более объективную оценку. Дополнительное преимущество ОСКЭ заключается в том, что большой набор станций позволяет оценить более широкий спектр навыков учащихся.

Высокую надежность ОСКЭ обусловливают следующие факторы:

■ экзаменуемые проходят через набор станций, помогающих оценить разные аспекты клинической компетентности;

■ все экзаменуемые получают одинаковый набор заданий;

■ каждого экзаменуемого оценивает множество подготовленных экзаменаторов, наблюдающих за выполнением заданий на различных станциях;

■ на станциях, включающих выполнение процедур, используются симуля-торы с электронным или компьютерным контролем и объективной оценкой в реальном времени;

■ в чек-листах, разрабатываемых для каждой станции отдельно, отражено то, что должно оцениваться в рамках экзамена.

Практичность

Еще одно преимущество ОСКЭ - возможность оценивать большие группы студентов. При этом можно регулировать нагрузку экзаменаторов, оставляя их только на тех станциях, где их присутствие необходимо: наблюдение за сбором

I /м

лг-^ 1С

I т

X: 1 I

^^ Ай.

анамнеза или обследованием пациента. В отличие от традиционных устных экзаменов, формирование четких инструкций и чек-листов для оценки на каждой станции позволяет привлекать в качестве экзаменаторов более широкий круг преподавателей и клиницистов. ОСКЭ позволяет заранее определить критерии сдачи экзамена и после его проведения предоставить обратную связь профессорско-преподавательскому составу и студентам.

Гибкость

Гибкость ОСКЭ как метода оценки стала причиной его широкого использования в самых разных дисциплинах и на различных этапах медицинского образования. Соблюдая общие принципы, можно широко варьировать количество, время выполнения станций и соответственно продолжительность экзамена; использование тренажеров, симуляторов, СП для оценки различных компетенций; формат заданий и ожидаемых от экзаменуемого ответов, привлечение экзаменаторов, формат обратной связи и т.д.

Справедливость оценки

Справедливость - характеристика метода оценки, демонстрирующая отсутствие влияния на результат и дискриминации экзаменуемых. Для справедливости оценки необходимо жестко следовать установленным правилам и стандартам. Справедливость, выгодно отличающая ОСКЭ от традиционных методов оценки, обеспечивается следующими факторами: ■ в отличие от традиционных методов

с вытягиванием билета, все экзаменуемые выполняют одинаковый набор

заданий;

Объективный структурированный клинический экзамен как инструмент

аккредитации медицинских специалистов

■ каждый экзаменуемый оценивается множеством экзаменаторов с использованием заранее согласованных чек-листов и шкал оценки;

■ используются симуляторы и тренажеры с объективной компьютерной или электронной оценкой правильности выполнения процедур;

■ СП отобраны в соответствии с полом, возрастом, данным в задании и общаются со всеми экзаменуемыми строго по стандарту;

■ содержание экзамена соответствует учебному плану и ожидаемым результатам обучения, профессиональным стандартам;

■ в большинстве случаев экзамен записывают на видео, что позволяет объективно проводить апелляцию.

НЕДОСТАТКИ ОБЪЕКТИВНОГО СТРУКТУРИРОВАННОГО КЛИНИЧЕСКОГО ЭКЗАМЕНА

Нельзя не упомянуть о недостатках ОСКЭ, ограничивающих его применимость. При использовании ОСКЭ не проверяется способность студента рассматривать пациента как нечто целое, знания и навыки студентов тестируются отдельными блоками компетенций. Поэтому, учитывая, что при оценке клинической компетентности каждый подход имеет собственные преимущества, не нужно ограничиваться одним подходом к оценке, необходимо применять и другие методы, позволяющие оценить способность студента справляться с клиническим случаем в целом, - для этого можно использовать виртуальных пациентов. При оценке клинической компетентности выпускников

и ординаторов ОСКЭ может быть дополнен оценкой работы в палате по отчетам наставников.

Существенный недостаток ОСКЭ для многих образовательных организаций -необходимость больших финансовых затрат и затрат сил организаторов и экзаменаторов. Экзаменаторы и пациенты-актеры должны быть обучены и откали-брованы, экзаменаторы должны быть очень внимательны, многократно наблюдая одно и то же задание. Можно попытаться снизить нагрузку на экзаменаторов, обеспечив их ротацию по станциям, однако при этом необходимо устроить для экзаменаторов дополнительный брифинг и дать им время для тщательного ознакомления с новыми станциями.

При использовании для экзамена реальных пациентов их следует тщательно подбирать, а инструкции для экзаменуемых должны минимизировать неудобства, которые могут причиняться пациентам. При оценке владения определенной методикой в распоряжении экзаменатора должно быть несколько пациентов, чтобы обеспечить им отдых; необходимо обеспечить однородность пациентов по полу, возрасту, проявлениям основного заболевания. Использование симуляторов значительно упрощает проведение экзамена.

Участие в ОСКЭ может быть стрессом для студентов, не знакомых с его методикой, поэтому важно использовать этот метод не только для итоговой, но и для текущей (формативной) оценки. Важно проводить экзамен в специально подготовленных помещениях, максимально реалистично повторяющих клинические условия.

Для подготовки к ОСКЭ необходимо потратить больше времени, чем для тра-

№ 1, 2018 523

диционного (тестирование) экзамена, однако нужно отметить, что эти усилия компенсируются не только вышеперечисленными преимуществами. При каждом последующем проведении ОСКЭ подготовка занимает меньше времени, а банк готовых блоков объективного экзамена и контрольных листов позволяет уменьшить затрачиваемые время и усилия.

ПРИМЕНЕНИЕ ОБЪЕКТИВНОГО СТРУКТУРИРОВАННОГО КЛИНИЧЕСКОГО ЭКЗАМЕНА

ОСКЭ может использоваться практически во всех ситуациях, в которых требуется оценить уровень клинической компетентности.

Этапы медицинского образования

ОСКЭ широко применяется на стадии отбора абитуриентов в медицинские вузы, для профессиональной ориентации, в качестве итогового экзамена в конце курса обучения или как метод промежуточной оценки.

Отбор абитуриентов. Традиционно факторами, определяющими отбор абитуриентов в медицинские вузы, являются их академические достижения по определенным дисциплинам, однако, оставляя в стороне методы их оценки, этих факторов недостаточно для отбора студентов, которые могут стать хорошими врачами. Дополнительные испытания при приеме абитуриентов, которые вузы имеют право вводить на собственное усмотрение, могут быть сосредоточены на выявлении навыков общения, способности к сопереживанию, мотивации к обучению, критического мышления, поведения в кризисных ситуациях. ОСКЭ хорошо подходит для оцен-

ки таких категорий, и его модификации (Multiple Mini-Interview - MMI) применяются для отбора абитуриентов в ряде стран. Многолетнее исследование, проведенное в Канаде, показало прямую корреляцию между результатами, продемонстрированными абитуриентами на таком экзамене, с их дальнейшими успехами при обучении и в национальном лицензионном экзамене. Систематический обзор исследований использования MMI показал его валид-ность, надежность и применимость в качестве метода отбора абитуриентов.

Додипломное образование (специ-алитет). В Данди (Шотландия), где этот метод был впервые применен, студентам присваивают степени за клиническую компетентность в конце осеннего, весеннего и летнего триместров на 3-м и 4-м годах обучения. Данные степени учитываются экзаменаторами при заключительной оценке, проводимой в конце V курса. ОСКЭ также может быть подходящим методом для проведения последипломных экзаменов, для которых были описаны проблемы с оценкой клинической компетентности. В Казахстане ОСКЭ применяется в качестве переводного экзамена после III курса, после V курса -при завершении обучения в бакалавриате как итоговый экзамен, после VII курса -при итоговой аттестации после обучения в 2-летней интернатуре.

В США 101 из 130 аккредитованных медицинских школ используют ОСКЭ в качестве итогового экзамена и промежуточных экзаменов после клинических циклов. Вертикальная интеграция дисциплин с ранним включением в программы обучения на начальных курсах клинических аспектов позволяет использовать методику уже после 1-го года обучения.

Объективный структурированный клинический экзамен как инструмент

аккредитации медицинских специалистов

ОСКЭ используется и для рутинной оценки прогресса студентов во время обучения, как по отдельным дисциплинам, так и по общей успеваемости.

Обучение в ординатуре. ОСКЭ широко используется как наиболее релевантный инструмент оценки выпускников программ ординатуры (резидентуры). ACGME рекомендует использование ОСКЭ для оценки после каждого года резидентуры, а также для оценки отдельных доменов EPA (Entrusted professional activities - доверенная самостоятельная профессиональная деятельность): помимо клинических компетенций, это навыки, связанные с передачей пациента и его безопасностью, с телефонными коммуникациями.

Непрерывное медицинское образование. Практика применения ОСКЭ в НМО чаще всего сосредоточена на оценке программ обучения, а также на выявлении образовательных пробелов и потребностей. Например, в Великобритании ОСКЭ применяется для ревалидации лицензии при подозрении на наличие потенциальных проблем, а также при лицензировании врачей-иностранцев.

ОБЛАСТИ ПРИМЕНЕНИЯ

ОСКЭ особенно хорошо подходит для критериально-ориентированных, барьерных экзаменов, которые проводятся для принятия решения об успешности завершения программы обучения и заключения о достижении студентом критериев, предусмотренных программой обучения или стандартами, и его готовности к самостоятельной практической деятельности или переходу к следующей части курса. В ряде стран ОСКЭ является частью эк-

замена для допуска к специальности. Так, в США с 2004 г. ОСКЭ является частью национального лицензионного экзамена. Этап 2CS (Clinical Skills) включает 12 станций ОСКЭ по 15 мин, ранее разработанных Educational Commission for Foreign Medical Graduates (ECFMG) для оценки иностранных выпускников.

C 2016 г. ОСКЭ используется в качестве 2-го этапа первичной аккредитации в Российской Федерации. Как и любое новшество, экзамен ОСКЭ вызывает ряд проблемных вопросов. Организация, администрирование и проведение экзамена ОСКЭ требуют обширных знаний и планирования. Первый опыт, накопленный в процессе 2-летней первичной аккредитации специалистов здравоохранения в России, говорит о том, что целесообразно создавать специальные рабочие группы, отвечающие за различные аспекты ОСКЭ. Необходима предварительная большая методическая работа по созданию паспортов станций ОСКЭ. В состав паспортов должны войти перечни клинических сценариев, максимально приближенных к реальным условиям будущей профессиональной деятельности испытуемых, алгоритмы выполнения практических навыков, оценочные чек-листы, инструкции для экзаменаторов и испытуемых, информация о необходимых тренажерах и симуляторах и т.д. В дальнейшем предполагается подключить к экзамену ОСКЭ СП, как это делается во многих странах мира, где их роли исполняют специально подготовленные актеры. Таким образом, экзамен ОСКЭ в России находится в самом начале своего пути и проходит стадию становления и интенсивного развития.

ОСКЭ также широко используется в качестве инструмента формативной оценки для выявления областей знаний, в которых у студента имеются пробелы и в которых ему необходимо приобрести дополнительные навыки. Экзамен может быть составлен таким образом, чтобы отбирать студентов, обладающих определенными навыками или способностями, например, для выявления учащихся со способностями выше средних, как, например, в экзамене на членство в Королевском обществе терапевтов в Великобритании.

Для лучшего понимания областей применения ОСКЭ, важно понять связь между компетентностью и способностью к выполнению клинической работы. Часто ОСКЭ характеризуют как инструмент для оценки практических умений. Это не совсем верно, так как умения - это только один аспект клинической деятельности. Любой инструмент оценки способности к клинической деятельности должен содержать задачи разного уровня сложности - для обучающихся, выпускников и для профессионалов/экспертов. ОСКЭ в комбинации с высокореалистичными симуляциями идеально подходит для тестирования комплекса когнитивных и технических навыков в критических ситуациях.

Ключевое различие между ОСКЭ и оценкой на рабочем месте заключается в условиях, в которых проводится оценка, а не в том, что первый экзамен оценивает умения, а второй - способности к клинической деятельности, как часто считается. Тем не менее различие между ними очень существенно, так как выполнение одних и тех же задач одним и тем же человеком может существенно различаться в зависимости от контекста. Соответственно, чек-листы правильных действий и оценки

могут разительно отличаться. Поэтому для всех практических целей ОСКЭ следует рассматривать как инструмент для оценки выполнения задач в смоделированных условиях.

ОСКЭ следует планировать для оценки определенных знаний и умений, которые невозможно адекватно оценить с помощью устного, письменного или компьютерного экзамена. Типичными примерами таких умений являются способность экзаменуемого собирать анамнез или выполнять медицинские манипуляции. В то же время существует риск того, что при проведении ОСКЭ можно выделить отдельные практические умения для их оценки. Это приводит к снижению генерализуемо-сти (обобщаемости) - способности метода всесторонне оценивать выполнение задач экзаменуемым. Крайне важно, чтобы практические умения, необходимые для выполнения медицинских процедур, тестировались не изолированно, а в сочетании с другими умениями,например, с коммуникативными навыками или умением составлять план лечения, что позволяет более глобально оценить способность экзаменуемого к самостоятельной клинической деятельности.

Безусловно, использовать ОСКЭ для оценки способности экзаменуемого интерпретировать рентгеновский снимок или распознать повышенный уровень мочевины и назвать его возможные причины вне контекста общения с пациентом нецелесообразно. Эти когнитивные навыки легко оценить при письменной оценке, и они требуют привлечения меньших ресурсов. Планирование станции ОСКЭ для оценки способности экзаменуемого поставить мочевой катетер приводит к риску изолированного выполнения отдельного прак-

Объективный структурированный клинический экзамен как инструмент

аккредитации медицинских специалистов

тического умения, тогда как в реальности экзаменуемым придется одновременно общаться с пациентом и применять знания о процедуре в процессе ее выполнения.

ВОЗДЕЙСТВИЕ НА ПРОЦЕСС ОБУЧЕНИЯ

Многочисленные исследования показывают положительное воздействие ОСКЭ на процесс обучения. Одним из очевидных преимуществ применения данной методики является то, что внимание учащихся сосредоточено на приобретении клинических умений и навыков. Знания учащихся испытывают в максимально приближенных к клиническим условиях, которые помогут наиболее точно оценить их умения и компетенции, необходимые в клинической практике. Как упоминалось выше, ОСКЭ обеспечивает высокую достоверность и хорошую обратную связь при текущей оценке знаний учащегося. Исследованиями было установлено, что участие в ОСКЭ улучшает степень владения компе-

тенцией при прохождении последующих практических испытаний, а также улучшает качество учебного опыта испытуемых. В то же время результаты ОСКЭ позволяют правильно изменять и адаптировать учебный план для достижения поставленных академических задач.

ОСКЭ может оказывать потенциально негативное воздействие на процесс обучения, так как предполагает прохождение ограниченного количества практических испытаний, иллюстрирующих уровень компетенций в области клинической медицины. При этом существует опасность того, что учащийся может подготовиться к экзамену, сосредоточившись на освоении отдельных навыков по некоторым категориям, не понимая их связь с клинической деятельностью. Поэтому ОСКЭ следует рассматривать только как один из компонентов комплексного процесса оценки и развития клинической подготовки.

Участие СП, использование симулято-ров и манекенов с объективной оценкой и немедленной обратной связью позволя-

№ 1,2018

ют оценить практические и клинические компетенции в виде текущей (формативной) оценки, выявить пробелы и сосредоточить внимание учащегося на этих компетенциях.

ПОДГОТОВКА И ПЛАНИРОВАНИЕ ОБЪЕКТИВНОГО СТРУКТУРИРОВАННОГО КЛИНИЧЕСКОГО ЭКЗАМЕНА

Организационная структура

Для успешного осуществления ОСКЭ требуется многочисленный коллектив специалистов, как преподавателей, так и практикующих экспертов. Как правило, в медицинских вузах существуют подразделения или ответственные лица, контролирующие процедуры оценки знаний учащихся. Внедрение ОСКЭ должно осуществляться с помощью этого подразделения. Рациональным подходом может стать формирование отдельного подразделения, которое будет заниматься внедрением ОСКЭ в существующие программы оценки. После успешного внедрения ОСКЭ это подразделение должно осуществлять непрерывный анализ и обеспечение качества, используемые и в отношении других методик оценки.

В рамках этого подразделения рекомендуется назначить руководителя группы по проведению ОСКЭ, в обязанности которого будут входить контроль разработки, планирования, организации и проведения экзамена и соответствующая отчетность. Этот человек должен обладать знаниями экспертного уровня или предшествующим опытом проведения ОСКЭ. Если соблюсти все условия невозможно, назначенный руководитель должен пройти обучение, собрать необходимую информацию путем

анализа литературы, посещения специализированных семинаров и обращения за помощью к специалистам из других центров.

Проектирование экзамена

Составление проекта - это процесс определения содержания, валидности и надежности экзамена. В данном ОСКЭ это подразумевает отбор совокупности компонентов оцениваемых компетенций и частоту, с которой каждый из них должен демонстрироваться в ходе экзамена. В каждом проекте ОСКЭ должны учитываться контекст экзамена, те знания и умения, которые нужно оценить в соответствии с учебным планом, и необходимость повторения оценки тех или иных областей знаний с помощью различных методов.

Как мы уже отмечали выше, в первую очередь ОСКЭ подразумевает оценку способности, готовности к выполнению определенных манипуляций в смоделированных условиях, т.е. в основном определяет результаты обучения тем или иным клиническим компетенциям.

Процесс проектирования должен обеспечить формирование необходимого набора элементов из учебного плана, относящихся к овладению предусмотренными образовательным и/или профессиональным стандартами компетенциями, таким образом, экзамен должен отражать содержание обучения. Как правило, проект ОСКЭ состоит из двумерной матрицы, в которой одна ось отражает основные подлежащие тестированию компетенции (например, сбор анамнеза, коммуникативные навыки, физикальное обследование, планирование тактики ведения больного и т.д.), а вторая представляет те проблемы или состояния, в отношении которых демонстрируются эти умения. Пример такого

Объективный структурированный клинический экзамен как инструмент

аккредитации медицинских специалистов

Таблица 1. Пример матрицы профессиональных компетенций, которые могут оцениваться в рамках объективного структурированного клинического экзамена*

Предметная область Профессиональная компетенция

сбор анамнеза физикальное обследование лабораторные исследования навыки интерпретации и решения проблем ведение пациента

Сердечно-сосудистая Соберите Обследуйте паци- Проанализи- Вопросы,отно- Составьте реко-система анамнез ента со стенозом руйте электро- сящиеся к сде- мендации для у пациента со митрального кардиограмму ланным наблю- пациента, перестенокардией клапана дениям несшего инфаркт миокарда

Дыхательная система Соберите анамнез у пациента с обструктив-ным бронхитом Продемонстрируйте осмотр легких Опишите 5 рентгеновских снимков грудной клетки Осмотрите больного и определите причину его отдышки Составьте план лечения по определенному сценарию

Центральная нервная система

Мочеполовая система

Эндокринная система

Гематология

Опорно-

двигательный аппарат и ревматология

Офтальмология

Оториноларингология

Неотложные состояния

Для первых двух предметных областей приведены примеры возможных заданий. Приведенные данные служат только иллюстрацией и не должны использоваться в качестве основы для разработки проекта ОСКЭ.

проекта показан в табл. 1 и более подробно в приложении 2. Проектирование автономно может проводить аттестационная комиссия, однако в случае наиболее важных экзаменов темы, включаемые в тестовый проект, могут быть согласованы с помощью метода экспертной оценки Дельфи или других методик опроса экспертов.

Длительность экзамена (количество станций)

Для разработки проекта экзамена необходимо предварительно определить его длительность. Она будет зависеть от числа станций ОСКЭ и продолжительности пребывания экзаменуемого на станции. Как правило, станция ОСКЭ включает одно задание, а его выполнение четко ограниче-

№ 1, 2018 523

но по времени: обычно на его выполнение кандидатам отводится 5-10 мин. Достоверность и валидность зависят от числа станций и общей длительности экзамена. Адекватное и реалистичное определение времени, необходимого для выполнения заданий, способствует повышению валид-ности тестирования. В то же время увеличение объема оцениваемых знаний и умений, обычно за счет введения в экзамен необходимого числа станций, способствует повышению достоверности. Доказано, что специфичность заданий является основной причиной недостаточной досто-верности;таким образом, для проведения достоверного обобщения профессиональных способностей кандидата необходимо оценивать клинические компетенции в широком диапазоне.

Число станций, необходимых для получения достоверного показателя, отражаемое альфой Кронбаха или коэффициентом обобщаемости определяет продолжительность экзамена. Значение коэффициента G от 0,7 до 0,8 отражает приемлемую достоверность в случае экзаменов особой важности. Подробное обсуждение этого предмета выходит за рамки данной статьи, интересующиеся могут обратиться к руководствам АМЕЕ № 49, 54 и 66.

В практическом плане при принятии решения о продолжительности теста необходимо учитывать, с одной стороны, коэффициенты достоверности, а с другой -проблемы, связанные с возможностями воплощения и наличием необходимых ресурсов. В большинстве случаев при четко построенных станциях ОСКЭ достаточной достоверности удается достичь с помощью 12-20 станций продолжительностью по 5-10 мин каждая.

Традиционно станции, связанные со сбором анамнеза, занимают больше времени, а технические станции (провести элементы физикального осмотра) - меньше. Поскольку экзаменуемые переходят от станции к станции по сигналу, на некоторых этапах им приходится находиться на станции после того, как они выполнили всю задачу, ожидая сигнала. Такое ожидание может быть достаточно дискомфортно для них, нужно приложить усилия по ориентированию экзаменуемых, чтобы такая ситуация была нормальной, а лишнее время можно было использовать для, например, продолжения сбора анамнеза в надежде набрать дополнительные баллы или повтора элементов физикального осмотра с той же целью.

Разработка банка станций объективного структурированного клинического экзамена

Прежде чем к банку заданий будут добавлены новые станции, они должны пройти процесс независимой оценки и пилотного включения. По возможности следует использовать психометрические данные на каждом отдельном этапе, включая оценку возможности дифферен-цировки экзаменуемых. Представленная схема содержит описание одного из подходов к формированию совокупности этапов ОСКЭ, обеспечивающих оценку выполнения расписания (рис. 1). Эта схема может использоваться в качестве пошагового руководства или адаптироваться к индивидуальным требованиям. Кроме того, используя ее, можно обновить существующий набор станций или оценить их качество, выполняя определенные шаги алгоритма.

Объективный структурированный клинический экзамен как инструмент

аккредитации медицинских специалистов

4

Источник: Кан КЗ., Рамачандран С., Гонт К, Пушкар П. Руководство АМЕЕ № 81: Объективный структурированный клинический экзамен (ОСКЭ). Часть 2: Организация и управление // Мед. образование и проф. развитие. 2014. № 3. С. 18-53.

Выбор тем для новых станций

В тех организациях, где ОСКЭ предстоит использовать впервые, проект экзамена, в основе которого лежат результаты, предполагаемые учебным планом, может стать приемлемой стартовой точкой, определяющей задания, входящие в состав новых станций ОСКЭ. Если последовательность станций ОСКЭ уже определена, руководитель группы по проведению ОСКЭ или эксперты по соответствующим учебным дисциплинам, могут проанализировать эту последовательность и определить недостатки при возможной оценке тех или иных умений или разделов знаний.

Необходимость добавления новых станций может возникнуть и при внесении изменений в учебный план или коррекции задач обучения в рамках отдельных модулей либо дисциплин. Оценку знаний и умений необходимо сопоставлять с объемом обучения по выбранным темам в соответствии с учебным расписанием. При аккредитации специалистов содержание экзамена целесообразно определять единообразно на всей территории страны с утверждением требований к экзамену на федеральном уровне.

После того как определена область оцениваемых знаний, важно удостовериться, что в формате ОСКЭ за ограниченное время, отведенное на каждую станцию, можно реально оценить компетенции, которыми, как предполагается, должны владеть экзаменуемые.

Выбор авторов для станции

Руководитель группы по проведению ОСКЭ отвечает за отбор сотрудников, которые будут планировать и составлять станции ОСКЭ. Если уже есть группа опытных экзаменаторов, очевидным ре-

шением будет поиск добровольцев для составления вопросов в этой группе. В других случаях при составлении вопросов в качестве консультантов могут быть приглашены эксперты по тем или иным учебным дисциплинам. Для того чтобы специалист, занимающийся составлением тестовых материалов, мог выполнить эту работу надлежащим образом, важно, чтобы он был ознакомлен с фундаментальными принципами ОСКЭ. Для специалистов, впервые сталкивающихся с такой задачей, должны быть проведены краткие ознакомительные семинары или разработаны письменные инструкции.

Выбор типа станции

Руководитель группы по проведению ОСКЭ или лицо, координирующее составление вопросов, должен проконсультировать составителей вопросов о том, какие именно требуются вопросы. Понимание различных форматов вопросов ОСКЭ крайне важно при выборе необходимых типов станций, позволяющих оценить те или иные результаты обучения (табл. 2).

Для экзамена, включающего свыше 10 станций,рекомендуется сделать комнату отдыха в середине экзамена (рис. 1).

Рис. 1. Наблюдаемая станция

Выбор шаблона для станции объективного структурированного клинического экзамена

После того как выбран тип станции, необходимо разработать подходящий шаблон для составления задания или использовать уже имеющийся шаблон. Он помогает авторам разрабатывать задания, имеющие общий формат, который соответствует формату других заданий банка. Подобная стандартизация позволяет избежать ситуации, при которой кандидаты оказываются в невыгодном положении из-за того, что задания предлагаются в непривычном формате, и помогает сохранить объективность оценок.

Руководство для экзаменатора

Содержание руководства для экзаменатора по оценке для каждой станции будет зависеть от раздела оценки, избранной в качестве стандарта для экзамена. Ниже подробно обсуждаются различные типы оценки. Если есть список контрольных вопросов (чек-лист) или оценочная шкала, составителю следует дополнять их по мере составления вопросов. Если предполагается использовать единую оценочную шкалу, формировать критерии оценки для индивидуальных этапов не нужно.

Собрание экзаменаторов

Проведение собраний с экзаменаторами - один из методов обеспечения качества новых станций ОСКЭ. После того как экзаменаторы составят новые задания, им предлагается представить эти вопросы на собрании в небольших группах. Это позволит всем участникам изучить задания, составленные другими. Благодаря присутствию авторов отдельных станций на этих заседаниях упрощается процесс внесения изменений в станции.

Объективный структурированный клинический экзамен как инструмент

аккредитации медицинских специалистов

Таблица 2. Типы станций для объективного структурированного клинического экзамена

Тип станции Описание Примеры оцениваемых доменов Достоинства Недостатки и ограничения

Наблюдаемая Экзаменатор присут- Коммуникативные При непосредствен- Затраты ресурсов:

станция ствует на всем про- навыки. ном наблюдении есть на каждый этап

тяжении экзамена Навыки осуществления возможность оценить необходим отдель-

процедур. высший уровень зна- ный экзаменатор

Клиническое обследо- ний по изучаемому

вание предмету. Возможно непосредственное предоставление обратной связи

Ненаблюдаемая На протяжении Интерпретация клини- На таких станциях Нет непосредствен-

станция периода тестирова- ческой информации присутствие экзаме- ного наблюдения

ния экзаменатор не (рентгенограммы, гисто- наторов не требуется за выполнением

присутствует. логические образцы, задания.

Ответы могут быть результаты анализов Станция ОСКЭ может

представлены крови). оказаться ненужной,

в бумажном или Навыки назначения применение других

электронном виде лекарственных пре- методов оценки

после каждого этапа паратов. столь же эффектив-

или по завершении Навыки владения но в оценке данных

всего экзамена информационными технологиями когнитивных навыков

Станция Станция, включаю- Интимные и/или инва- Расширяется диапа- Персонал должен

с технологичес- щая использование зивные клинические зон потенциальных обладать навыками

кой поддержкой технологических обследования, прово- станций ОСКЭ, что использования

приспособлений, димые на тренажерах, позволяет оценить оборудования.

например спе- например ректальное те области обучения, Возможность полом-

циализированных исследование. которые трудно ки оборудования.

тренажеров для Умение принимать было бы оценить при Первичная стоимость

контроля опреде- решения в комплексе помощи стандартных оборудования

ленных умений или и ведение пациентов заданий ОСКЭ и затраты на ремонт

высокореалистичных с острыми состояниями

манекенов, для оцен- с помощью высокореа-

ки умений, которые листичных манекенов

иначе трудно было

бы оценить

Связанные Две последова- 1. Наблюдаемая стан- Сценарий позволяет Требуется тщатель-

станции тельные станции, ция: обследование оценить большее ное планирование

основанные на дыхательной системы. количество умений. цепочки, чтобы

одном и том же кли- 2. Ненаблюдаемая стан- Эффективное кандидаты не могли

ническом сценарии ция: документирование использование начать вторую

или информации. результатов обследова- ресурсов экзамена- из пары связанных

Станции могут быть ния и план ведения торов станций, не завер-

наблюдаемыми или шив прохождение

ненаблюдаемыми первой

Источник: Кан КЗ., Рамачандран С., Гонт К, Пушкар П. Руководство АМЕЕ№ 81: Объективный структурированный клинический экзамен. Ч. 2: Организация и управление //Мед. образование и проф. развитие. 2014. № 3. С. 18-53.

№ 1, 2018

Помимо того что процесс независимой оценки позволяет проанализировать клиническую точность и адекватность задач, предлагаемых на том или ином этапе экзамена, он помогает выявить проблемы, связанные с валидностью и генерализуе-мостью экзамена.

Пилотное выполнение

После независимого анализа на собрании экзаменаторов необходимо провести пилотный прогон станции, который поможет выявить проблемы, связанные с практическим выполнением и распределением времени на выполнение тех или иных этапов задания. При необходимости при тестировании можно внести изменения в станции для повышения качества оценки этапов. На этой стадии можно провести первичный психометрический анализ достоверности и качества станций. При выявлении любых проблем, связанных с конкретной станцией, ее следует перепланировать и вновь провести пробный прогон.

Часто пилотирование проводят в рамках пробного или этапного экзамена,

Рис. 2. Станция с технологической поддержкой

в результате чего дополнительным преимуществом могут стать ориентирование экзаменуемых и непосредственное предоставление информации об их профессиональных возможностях.

Если те или иные станции пилотируются в рамках экзаменов высокой степени значимости, важно поставить экзаменуемых в известность о включении пилотной станции в экзамен и о том, что ее результаты не повлияют на общую экзаменационную оценку. В связи с необходимостью получения валидных и достоверных данных о результатах пилотных станций, включенных в реальный экзамен, сведения о том, какие именно станции пилотируются, обычно не разглашают (рис. 2).

Психометрический анализ

При разработке новых станций, если в рамках пробного ОСКЭ используется полный набор новых заданий, психометрический анализ продемонстрирует общую достоверность набора вопросов. Использование G-теории позволит определить число сходных станций, необходимых для обеспечения достаточной надежности тестирования путем проведения исследований или исследования принятия решений на основании имеющихся данных. Для получения данных об источниках вариабельности или ошибок рекомендуется применение Item Response Theory (IRT). Эта теория может использоваться в том случае, если одна или несколько станций пилотируются в ходе реального экзамена. Подробное обсуждение этого предмета также выходит за пределы данной статьи, но достаточно подробно разбирается в руководстве AMEE № 49; G-теория подробно рассматривается в руководстве AMEE № 68.

Объективный структурированный клинический экзамен как инструмент

аккредитации медицинских специалистов

ВЫБОР ТИПА ОЦЕНКИ

При разработке банка станций для ОСКЭ необходимо определить применяемый тип оценки, соответствующий ожиданиям, связанным с выполнением задания. Выделяют 2 основных типа оценки: аналитические и холистические.

Аналитический метод балльной оценки

Список контрольных вопросов, или чек-лист, - это список утверждений, описывающих действия, выполнения которых ожидают от экзаменуемых на определенном этапе. Этот список готовят заранее, на основании консультации с группой, занимающейся разработкой станций ОСКЭ, и в соответствии с оцениваемыми компетенциями.

Чек-листы могут быть бинарными («да/ нет», «выполняется/не выполняется»), при этом оценку кандидатам выставляют в зависимости от того, выполнено или не выполнено задание, без уточнения качества его выполнения, и хорошо исполь-

зуются для определения минимального уровня компетентности (например, студент попытался оценить наличие выпота в коленном суставе, и неважно, присутствовал ли этот симптом у конкретного СП; за правильное действие, студент получит плюс в чек-листе). Такие чек-листы не всегда позволяют определить низкий или высокий уровень выполнения задания.

В некоторых случаях чек-листы могут включать 5-7-балльные оценочные шкалы, что позволяет экзаменаторам выставлять оценки кандидатам в зависимости от качества выполнения ими заданных действий. Эти чек-листы с оценочными шкалами отличаются от глобальной (холистической) оценки, описываемой ниже, но так же как и глобальные оценки, они привносят больший элемент субъективности.

Традиционно основным преимуществом бинарных чек-листов считается их потенциальная способность давать объективную оценку и обеспечивать большую степень согласия между различными экзаменаторами. Действительно, первона-

Таблица 3. Сравнение бинарных проверочных листов и оценочной шкалы

Экзаменуемый выполняет обследование грудной клетки.

Ключевые этапы для оценки:

1. Протирание рук спиртом до и после обследования и, при необходимости, использование перчаток.

2. Получение разрешения на проведение обследования и разъяснение характера обследования.

3. При необходимости предлагает/спрашивает о сопровождающих лицах.

4. Спрашивает пациента, имеется ли болезненность в той или иной пальпируемой области.

5. Правильно и удобно располагает пациента, затем использует методичную, быструю и правильную технику физи-кального осмотра.

6. Не расстраивает пациента, не ставит его в затруднительное положение и не травмирует без необходимости.

7. Обследует или предлагает обследование с учетом всех значимых систем.

8. Завершает задание, закрывает обнаженные части тела и благодарит пациента.

Бинарный чек-лист

Оценочная шкала

Да [] Нет [] 1[] 2 [] 3[] 4 [] 5[]

1. Неструктурированный подход.

2. Структурированный подход, но выполнено менее 50% ключевых этапов.

3. Структурированный подход, выполнено более 50% ключевых этапов.

4. Структурированный подход и выполнение большинства ключевых этапов.

5. Структурированный подход и выполнение всех ключевых этапов.

№ 1, 2018

чально такие контрольные списки использовались Р. Харденом, который впервые разработал методику ОСКЭ. Тем не менее накапливаются доказательства, ставящие под сомнение эту точку зрения и показывающие, что объективность не всегда обеспечивает более высокую достоверность оценки результатов экзамена.

Надо отметить, что в случае применения чек-листов для оценки обычно не имеет значения правильность последовательности действий при проведении фи-зикального осмотра или порядка вопросов в сборе анамнеза. Чем больше баллов экзаменуемый набрал за отведенное время, тем выше общая оценка за станцию. Иногда экзаменуемый получает высокий общий балл, но весь процесс получения информации или проведения осмотра катастрофически не структурирован и не организован, поэтому в дополнение к чек-листам во многих случаях используются глобальные оценочные шкалы.

Примеры бинарных чек-листов и оценочных шкал (которые можно рассматривать как мини-глобальные оценки, поскольку в этом случае оценивается один элемент всей специальности) показаны в табл. 3.

Холистическая оценка (глобальная оценочная шкала)

В отличие от контрольных списков, характеризующихся специфичностью для конкретного задания, глобальные оценочные шкалы позволяют экзаменатору оценить весь процесс в целом. При оценке специалиста высокого класса, который, возможно, не следует заранее определенной последовательности шагов, указанной в проверочном листе, но все же легко и быстро выполняет задание в соответствии с высшими стандартами, мы сталки-

ваемся с тем, что навыки кандидата может отразить только общая (глобальная) оценка процесса выполнения задания.

Глобальные шкалы позволяют экзаменатору определить не только факт выполнения действия, но и то, насколько хорошо оно было выполнено. Таким образом, этот метод позволяет лучше оценивать навыки, для которых качество выполнения столь же важно, как и сам факт их выполнения.

Примером может стать оценка способности кандидатов сопереживать пациентам на этапах демонстрации коммуникативных навыков. Следовательно, холистические шкалы более полезны при оценке таких сфер, как суждение, сопереживание, организация знаний и технические навыки. В некоторых случаях пациент (реальный или стандартизированный) привлекается к оценке экзаменуемого и заполняет мини-вопросник или дает глобальную оценку поведения экзаменуемого.

Глобальные шкалы отличаются от вышеописанных оценочных шкал в контрольных списках, вследствие того что использование глобальных шкал позволяет получить более целостное представление о выполнении задания на станции. Накапливаются доказательства того, что глобальная оценка имеет высокую степень корреляции с чек-листами по определению уровня компетентности.

Формирование коллектива экзаменаторов

Участие в экзамене квалифицированных экзаменаторов играет решающую роль в обеспечении достоверности оценок. Обучение и повышение квалификации экзаменаторов - это непрерывный процесс, в ходе которого к коллективу добавляются новые экзаменаторы, а уже работающие получают новые знания.

Объективный структурированный клинический экзамен как инструмент

аккредитации медицинских специалистов

Отбор потенциальных экзаменаторов

Достоверность оценок, выставляемых экзаменаторами, зависит не только от последовательной системы осуществляемой ими проверки знаний,но и от клинического опыта экзаменаторов, оценивающих экзаменуемых на тех или иных станциях ОСКЭ.

Как правило, врачи оценивают компетенции будущих врачей, а медицинские сестры - будущих медицинских сестер, однако владение профессиональными навыками, связанными со станциями, может обусловливать дополнительную гибкость и снижать временные издержки. Необходимый уровень опыта экзаменаторов зависит от контекста станции. Например, для оценки клинического мышления и принятия решений необходим эксперт, тогда как простые процедуры может оценить не эксперт. Более того, определение эксперта в контексте ОСКЭ тоже неоднозначно. На-

пример, оценить осмотр нервной системы у здорового СП можгу равнозначно и семейный врач, и терапевт, и невролог. В целом уровень необходимой экспертизы экзаменатора должен быть как минимум равен уровню компетенции, которая оценивается на данном этапе.

Иногда для снижения затрат времени на поиск необходимого количества врачей, которые могли бы выступить в качестве экзаменаторов, к приему медицинских экзаменов привлекаются лица, не являющиеся врачами. Имеются литературные данные, свидетельствующие о том, что оценки, выставляемые симулированными пациентами хорошо коррелируют с оценками врачей. Тем не менее в одном исследовании авторы указывают, что совпадение оценок врачей и лиц, не являющихся врачами, наблюдается при оценках с использованием контрольных списков, но не подтверждается при использовании глобальных оценок.

Рис. 3. Эксперты на экзамене

Независимо от того, являются ли экзаменаторы специалистами в определенной области медицины, подготовка всех экзаменаторов позволяет уменьшить вариабельность их оценок и увеличить согласованность их поведения, что может способствовать повышению достоверности экзаменационных оценок (рис. 3).

Для проведения ОСКЭ в качестве итогового экзамена для обеспечения объективности важно привлекать экзаменаторов, не знакомых с экзаменуемыми и не принимавших участия в их обучении. При проведении переводных экзаменов в качестве экзаменаторов можно привлечь преподавателей старших курсов, при итоговой аттестации необходимо привлекать внешних экзаменаторов. Они могут быть приглашены из различных учреждений, могут проконтролировать соблюдение стандартов по сравнению с другими учреждениями, а также подтвердить, что процесс оценки достижений студента носит строгий и справедливый характер и осуществляется в соответствии с утвержденными приказами и правилами.

Помимо работников образовательных или научных организаций, к проведению итоговых экзаменов желательно, а в случае с аккредитацией специалистов - обязательно, привлекать специалистов из практического здравоохранения. Большинство потенциальных врачей-экзаменаторов работают в местных лечебно-профилактических учреждениях; важно выявлять и обращаться к тем из них, кто проявляет особый интерес к медицинскому образованию.

Как правило, экзаменаторы не получают дополнительного финансового вознаграждения, а также испытывают трудности, связанные с отсутствием на основном месте работы во время проведения экза-

менов, поэтому их участие в проведении экзаменов следует рассматривать как часть их образовательной активности в рамках НМО и профессиональной подготовки с зачислением соответствующего количества часов.

Необходимо провести калибровку экзаминаторов. Традиционно все потенциальные экзаменаторы смотрят запись пилотной станции ОСКЭ и независимо заполняют чек-листы. Дальнейшее обсуждение результатов выявляет отклонение в оценках. В процессе обсуждения оценки корректируют, еще раз тестируют эту же станцию с участием другого экзаменуемого, и процесс повторяют до достижения приемлемого уровня разницы между наблюдателями (0,7). В любом случае каждый новый экзамен, каждая новая станция и каждый новый экзаменатор требуют калибровки.

Семинары для обучения экзаменаторов

Семинары для обучения и повышения квалификации экзаменаторов должны проводиться задолго до начала экзаменов. Уровень подготовки зависит от исходной ситуации и возможностей экзаменаторов. Как и в случае других видов обучения, результаты семинаров по повышению квалификации экзаменаторов должны быть разносторонними.

Эти семинары могут быть организованы в форме мастер-классов, как правило, они включают вводную лекцию, групповое обсуждение и практическую часть, в ходе которой экзаменаторам дается возможность выставить оценки за пробный ОСКЭ или просмотреть видеозапись реального ОСКЭ с выставлением оценок. Разработаны средства онлайн-обучения для экзаменаторов, включающие видеозаписи правильного и некорректного поведения экзаменатора при проведении ОСКЭ.

Объективный структурированный клинический экзамен как инструмент

аккредитации медицинских специалистов

Цели и ожидаемые результаты обучения экзаменаторов

■ Понимать сферу применения и принципы экзамена ОСКЭ.

■ В ходе экзамена демонстрировать последовательное профессиональное поведение.

■ Понимать и использовать оценочные рубрики для обеспечения стандартизации оценки.

■ Дать письменное заключение о профессиональной пригодности, если это потребуется, при итоговых экзаменах.

■ Дать устное заключение по окончании станции экзамена при промежуточных экзаменах.

■ Обеспечить конфиденциальность экзаменационных ведомостей кандидатов. Несмотря на то что многие экзаменаторы регулярно участвуют в экзаменах и поддерживают свои умения, им необходимо обновлять знания. Кроме того, потребность в дополнительном обучении экзаменаторов может возникнуть в результате изменения формата экзамена или правил выставления оценок, а также при изменении требований регулирующих органов. Такое обновление знаний может осуществляться либо с помощью онлайн-ресурсов, либо в рамках отдельных семинаров.

ФОРМИРОВАНИЕ ЦЕПОЧКИ И ПОДБОР ОБОРУДОВАНИЯ ДЛЯ ОБЪЕКТИВНОГО СТРУКТУРИРОВАННОГО КЛИНИЧЕСКОГО ЭКЗАМЕНА

Цепочка объективного структурированного клинического экзамена

Цепочка - это термин, используемый для описания комплекса станций, обеспечивающих безостановочный поток

кандидатов во время экзамена. Каждый экзаменуемый на протяжении экзамена должен посетить каждый пункт цепочки. Количество экзаменуемых в каждой группе должно быть равно числу экзаменационных пунктов, если только не используется система перевалочных станций. Каждому кандидату назначается начальная станция, а затем он переходит от станции к станции по направлению цепочки до тех пор, пока все станции не будут пройдены. За построение этой цепочки несет ответственность группа по проведению по ОСКЭ.

Цепочка с перевалочными станциями

Добавление перевалочных станций позволяет экзаменуемым и экзаменаторам сделать перерыв, при этом, если необходимо, можно добавить к группе еще одного экзаменуемого. Следует позаботиться о том, чтобы эта станция была звукоизолированной, т.е. чтобы кандидат, находящийся на ней, не слышал, что говорят на других станциях. Это помещение необходимо четко пометить и сообщить кандидатам о нем до начала экзамена (еще лучше провести со студентами практические семинары для ознакомления с экзаменационной цепочкой). Важно помнить, что цепочка не может начинаться с комнаты отдыха или заканчиваться ею - если перевалочные станции находятся в начале или в конце цепочки, в конечном итоге кандидат может пропустить одну или несколько станций.

Формирование отдельных станций

При формировании отдельных станций следует позаботиться о назначении помещений, оборудования и персонала, подходящих для выполнения тех или иных заданий. Например, станция, не требующая

Рис. 4. Станция «Сердечно-легочная реанимация»

участия экзаменатора, на которой кандидату представляются результаты инструментального исследования и несколько письменных вопросов, потребует только уголка, в котором поместятся стул и стол, тогда как база для оценки выполнения мероприятий первой помощи потребует достаточного пространства для размещения манекена, дефибриллятора и рабочего места экзаменатора.

На каждой станции должны быть надлежащие приспособления для выполнения всех манипуляций, предусмотренных заданием, например регулируемое освещение при осмотре глазного дна или тихая зона для аускультации грудной клетки (рис. 4-6).

Помещения для проведения объективного структурированного клинического экзамена

Для обеспечения средовой реалистичности помещения, выделенные для станций ОСКЭ, должны быть оформлены и оснащены с максимальным сходством с реальными условиями в клинике. Часть оборудования, характерная для соответ-

Рис. 5. Станция «Акушерство и гинекология»

ствующих клинических помещений, но не применяемая в рамках заданий на данной станции, можно имитировать при помощи макетов или фотообоев.

В зависимости от выбранного для станции задания можно создать имитационный родильный блок, палаты педиатрического профиля или интенсивной терапии, процедурный кабинет, смотровую или операционную. Во всех случаях следует руководствоваться требованиями к оснащению подобных помещений в клинике. В помещениях должна быть обеспечена техническая возможность записывать видеоизображения и аудиосигналы. Для прямого наблюдения и дистанционного управления тренажерами желательно соединять имитационные классы с кабинетами наблюдения при помощи окон с односторонними зеркальными стеклами в смежной стене. При этом должна быть предусмотрена возможность двусторонней трансляции звука из помещения в операторскую, и наоборот. В качестве имитационных кабинетов рекомендуется использовать помещения площадью не менее 8 м2.

Объективный структурированный клинический экзамен как инструмент

аккредитации медицинских специалистов

Рис. 6. Станция «Физикальный осмотр»

Необходимо обеспечить звукоизоляцию помещений, используемых для ОСКЭ. В кабинетах, где предполагается проведение процедур с использованием жидкостей (имитация кровотечений, очистительные клизмы, катетеризация мочевого пузыря, промывание желудка, инъекции), рекомендуется обеспечить влагостойкое напольное покрытие.

В помещениях необходимо обеспечить электроснабжение, для некоторых видов симуляционного и медицинского оборудования может понадобиться подводка сжатого воздуха.

Симуляционное оборудование

Оборудование, необходимое для каждой станции ОСКЭ, должно быть включено в документацию на этапе описания каждой станции. Все оборудование должно быть доставлено заблаговременно, задолго до проведения ОСКЭ, и приведено в рабочее состояние. В наличии всегда должны быть запасное оборудование, сменные части, расходные материалы и батареи на случай поломки или отказа основного оборудования.

Следует принять решение об использовании студентами во время экзамена собственных инструментов и оборудования. Если предполагается, что студенты должны иметь собственный стетоскоп, им нужно об этом заблаговременно сообщить.

Если требуется более сложное оборудование, например высокореалистичные симуляторы пациента, должен быть

Типовая планировка помещений для проведения ОСКЭ

технический персонал, способный программировать и управлять этим оборудованием, поскольку большинство экзаменаторов не знакомы с такими устройствами (рис. 7-13).

ПРОВЕДЕНИЕ ЭКЗАМЕНА

Подготовка

После принятия решения о дате проведения экзамена, а также согласования его содержания и оценок, нужно выполнить следующие задачи:

1. Назначение координатора экзамена. Данное лицо будет ответственно за все аспекты организации экзамена.

2. Необходимо провести собрание всех экзаменаторов и вспомогательного персонала для обсуждения организации эк-

Рис. 7. Выполнение аускультации

замена. Должна быть согласована роль каждого экзаменатора. Если по какой-либо причине экзаменатор не может присутствовать на таком собрании, материалы собрания должны быть переданы ему в печатном виде, и все возникающие вопросы должны быть обговорены до начала экзамена.

3. Должен быть назначен по меньшей мере один запасной экзаменатор, способный занять место того, который не может присутствовать в день экзамена в нужное время.

4. Необходимо назначить лицо, ответственное за соблюдение графика проведения экзамена. Эту функцию может выполнять лаборант или секретарь. Сигналом для смены станций может служить звонок или зуммер. Он должен быть отчетливо слышен, и в то же время не быть слишком громким.

5. Должен быть назначен сотрудник, который проведет инструктаж студентов в день экзамена.

6. Должны быть назначены сотрудники, выполняющие во время экзамена роли администратора, следящего за временем, и проводников.

7. На данной стадии следует проинформировать секретаря комиссии, чтобы дать ему возможность запланировать время, необходимое для подготовки:

■ контрольных материалов;

■ инструкций для экзаменаторов и кандидатов;

■ списка студентов, сдающих экзамен;

■ списка всех станций с указанием помещений;

■ списков экзаменаторов и оборудования с распределением по станциям;

■ плана расположения станций.

Объективный структурированный клинический экзамен как инструмент

аккредитации медицинских специалистов

Рис. 8. Рабочие места экспертов

Рис. 9. Неотложная помощь при внезапной смерти у детей

8. Вахтеры или дежурные на входе в здание, где проводится экзамен, должны быть проинформированы о том, какие помещения используются для экзамена, чтобы не допустить путаницы при поиске нужных помещений экзаменуемыми и внешними экзаменаторами.

9. При проведении экзамена на территории медицинской организации медицинский персонал должен быть проинформирован об ограничении перемещений, а пациенты и их родственники извещены о том, что во время экзамена посещение пациентов будет запрещено.

10. При участии в экзамене пациентов последних нужно отбирать заранее, по меньшей мере за 1 нед до экзамена, чтобы обеспечить время для обследования каждого из них экзаменатором соответствующей станции и организатором экзамена, а также для составления необходимой документации и вопросов.

Рис. 11. Выполнение внутривенной инъекции

Объективный структурированный клинический экзамен как инструмент

аккредитации медицинских специалистов

Рис. 12. Выполнение акушерского пособия

11. Пациенты, участвующие в экзамене, должны быть проинформированы о том, что от них ожидается, и заполнить форму информированного согласия на участие в экзамене.

12. Симуляторы, используемые в экзамене, должны быть проверены на достоверность воспроизведения симптомов и возможность объективного контроля выполнения задания для данной станции экзаменатором соответствующей станции и организатором экзамена.

13. На станциях, включающих обследование студентами пациента, при тестировании больших групп студентов должно присутствовать не менее 3 схожих по возрасту, полу и проявлениям основного заболевания пациентов.

14. Рекомендуется запланировать запасную станцию на случай невозможности использования одной из запланиро-

Рис. 13. Оказание первой помощи ванных.

15. Если пациенты, принимающие участие в экзамене, амбулаторные, следует принять меры по их доставке в больницу и из больницы в день экзамена. Пациенты должны прибыть в палату не менее чем за 30 мин до начала экзамена.

16. Студенты должны быть заблаговременно проинструктированы о типе экзамена.

17. Студенты должны быть проинформированы о том, какие инструменты им потребуются во время экзамена, например, стетоскоп, неврологический молоточек, мерная лента. Должны быть согласованы меры на случай отсутствия у студента необходимого оборудования: будет ли оно предоставляться, будет ли студент допущен к экзамену.

18. Методика фиксации и подсчета баллов, которая будет применяться на экзамене, должна быть предварительно спланирована. Если для этой цели планируется использовать программные средства, необходимо их тщательно проверить во время пробного экзамена.

19. Необходимо проверить наличие всех инструментов, необходимых для про-

ведения экзамена (например, камертона для исследования слуха).

20. Должны быть сделаны все надлежащие приготовления, чтобы обеспечить наличие и бесперебойную работу систем видеонаблюдения и аудиоконтроля.

21. Необходимо предусмотреть освежающие напитки для экзаменаторов, пациентов и, при необходимости, студентов.

В день перед экзаменом

1. Станции должны быть четко обозначены перед экзаменом. Это принципиально важно. Необходимо проверить, может ли лицо, не участвующее в планировании, найти дорогу от одной станции к следующей.

2. Необходимо проверить наличие оборудования, требующееся для проведения экзамена. Данное оборудование может включать медицинские инструменты, си-муляционное оборудование, расходные материалы, имитаторы лекарственных средств, а также устройство для сигнализации о необходимости перехода на следующую станцию.

3. Необходимо проверить системы видеонаблюдения и аудиоконтроля, убе-

Объективный структурированный клинический экзамен как инструмент

аккредитации медицинских специалистов

диться в возможности бесперебойной записи экзамена, достаточного объема свободного места на устройствах хранения данных для записи всего экзамена.

4. Учитывая невозможность оставления экзаменатором рабочего места в течение длительного времени, желательно обеспечить наличие освежающих напитков.

5. Экзаменаторы должны пройти заключительный инструктаж по экзамену в целом и их конкретной роли в нем. Каждому экзаменатору должно быть предоставлено:

■ напоминание о времени и месте проведения экзамена (экзамен не может быть начат, пока не соберутся все экзаменаторы);

■ список станций экзамена с обозначением их станции;

■ план расположения станций;

■ инструкция для экзаменатора на станции;

■ чек-лист для их станции.

6. Для экзаменуемых должны быть подготовлены следующие документы:

■ набор общих инструкций (пример представлен в Приложении 1);

■ план расположения станций;

■ карточки с маршрутом;

■ бейджи с крупно нанесенными последовательными номерами по числу студентов;

■ при наличии компьютеризированной системы контроля доступа - бесконтактные идентификационные карты.

В ДЕНЬ ЭКЗАМЕНА

Собрания в день экзамена

Перед началом экзамена необходимо провести несколько собраний для брифинга участников для обсуждения следующих вопросов.

Собрание экзаменуемых

■ Инструктаж.

■ Описание цепочки с указанием стартового пункта, перевалочных пунктов (при наличии).

■ Напоминание о правилах и нормах поведения.

■ Карантинные процедуры.

■ Правила противопожарной безопасности.

Собрание экзаменаторов

■ Цель экзамена (этапный или итоговый).

■ Проверка соответствия экзаменуемых списку в начале экзамена.

■ Ознакомление с чек-листами и правилами заполнения экзаменационных ведомостей.

■ Важность поддержания конфиденциальности станций и оценок.

■ Недопустимость сообщения экзаменуемым информации сверх того, что допускается сценарием.

■ Необходимость одинакового отношения ко всем экзаменуемым.

■ Процедуры сообщения о проблемах.

■ Заполнение документов после окончания экзамена.

■ Правила противопожарной безопасности.

Собрание стандартизированных пациентов

■ Важность стандартизации поведения.

■ Роль СП в обеспечении обратной связи.

■ Помещения для отдыха, время перерывов и приема пищи.

■ Правила противопожарной безопасности.

Проведение экзамена

1. Организатор экзамена должен прибыть не менее чем за 1 ч до запланированного начала экзамена.

№ 1, 2018 ^^

2. Он должен проверить расположение и нумерацию станций и провести последнюю проверку оборудования и стандартизированных или реальных пациентов.

3. Оборудование,предназначенное для экзамена, должно быть распределено по станциям, где оно будет использоваться.

4. Оборудование для видеонаблюдения и аудиоконтроля должно быть включено и подготовлено к началу записи.

5. Экзаменуемые должны пройти инструктаж в отдельном помещении и иметь возможность поставить вопросы. Пример «Инструкций для студентов» представлен в Приложении 1.

6. Организатор должен убедиться в том, что все экзаменаторы прибыли и заняли соответствующие станции. При необходимости нужно заменить отсутствующего экзаменатора запасным.

7. После того как все подготовлено к экзамену, начать регистрацию экзаменуемых, с выдачей им бейджей со случайными номерами, регистрируемыми администратором экзамена в списке студентов вручную или с помощью компьютера карточек с индивидуальным маршрутом.

8. По сигналу экзаменуемые должны занять исходную станцию, которая была им назначена. После того как все студенты и экзаменаторы займут свои места, по сигналу (обычно в виде звонка, зуммера или голосовой команды), который должен быть отчетливо слышен, начинается экзамен.

9. Лицо, следящее за временем, должно звонить в звонок с интервалом,заданным при проектировании экзамена для перехода на следующую станцию и начала ознакомления с заданием, а затем через 60 с для входа на станцию.

10. Если в тот же день экзамен должна пройти вторая группа экзаменуемых, не-

обходимо проверить, что они находятся в зоне для инструктажа до завершения первой части экзамена и отделены от своих коллег, прошедших первую часть экзамена. При невозможности одновременного сбора экзаменуемых необходимо обеспечить «карантин» для завершивших экзамен, чтобы ограничить их общение с вновь прибывающими претендентами.

11. Следует убедиться в том, что в конце экзамена у всех экзаменаторов были собраны контрольные листы с отметками. Данные материалы передаются секретарю комиссии.

12. После завершения экзамена, проводимого в медицинской организации, необходимо проинформировать об этом медицинский персонал и пациентов.

Решение проблем

В день экзамена могут возникнуть различные проблемы. Некоторые распространенные проблемы при проведении ОСКЭ и их возможные решения описаны ниже (в данной главе не разбираются проблемы, возникающие при проведении централизованной первичной аккредитации, не связанные непосредственно с процедурой ОСКЭ).

■ Поломки оборудования

Всегда следует иметь под рукой запасное оборудование. Если экзаменуемые теряют время на ожидание запасного оборудования, можно перенести станцию экзамена на конец цепочки.

■ Непредсказуемое поведение студентов

Экзаменуемые в условиях стресса часто ведут себя непредсказуемо. В частности, они могут потеряться в месте проведения экзамена или на этапах цепочки ОСКЭ. Заранее назначенные проводники

Объективный структурированный клинический экзамен как инструмент

аккредитации медицинских специалистов

должны помогать экзаменуемым передвигаться в правильном направлении между станциями. Экзаменаторам иногда необходимо поторопить студента, чтобы он своевременно перешел на следующую станцию, если он пропустил звонок или голосовую команду.

■ Экзаменуемые уносят инструкции или оборудование из экзаменационных помещений

Инструкции должны быть надежно закреплены на стене, столе или подставке или отображаться на мониторах перед входом на станцию. Экзаменаторы и вспомогательный персонал должны внимательно следить, чтобы экзаменуемые не забрали из экзаменационного помещения оборудование.

■ Экзаменатор уносит экзаменационные ведомости или информацию об экзаменационной станции. В результате информация о содержании экзамена может быть разглашена и не может использоваться для следующих групп экзаменующихся.

Экзаменаторы должны быть предупреждены о том, что все документы должны оставаться в месте проведения экзамена. Вспомогательный персонал собирает все документы, прежде чем экзаменаторы покинут экзаменационные помещения, для того чтобы снизить вероятность такого происшествия.

■ Различные характеристики СП, влияющие на стандартизацию станции экзамена

В редких случаях СП могут вести себя по-разному с различными студентами или предоставлять ненужную информацию. Тщательный отбор и тренировочные процедуры должны свести к минимуму значимость этой проблемы.

ПОСЛЕ ЭКЗАМЕНА

1. Необходимо обеспечить подсчет результатов экзамена или заполнение компьютерных форм и выставление оценок в ведомости в соответствии с исходным планом.

2. Студентам в кратчайшие сроки следует предоставить обратную связь. Это может быть сделано путем раздачи индивидуальных контрольных листов с комментариями экзаменаторов или обсуждения экзамена со студентами, особенно с теми, кто получил плохие результаты.

3. Необходимо фиксировать и документировать любые возможные проблемы, возникшие при организации экзамена, чтобы не допустить их в будущем.

4. Фиксируйте любые предложения, которые могут быть полезны при организации следующего экзамена.

5. Кураторы и экзаменаторы должны обсудить успешность студентов для выявления очевидных пробелов в знаниях и умениях и принятия надлежащих мер по их устранению.

Обеспечение успеха объективного структурированного клинического экзамена

Для успешного использования ОСКЭ необходимы тщательная подготовка и жесткое соблюдение правил проведения экзамена. Можно выделить несколько факторов, критически влияющих на надежность и валидность ОСКЭ.

Количество станций. Использование большой выборки клинических случаев в экзамене существенно повышает его надежность, при этом для обеспечения надежной оценки общей компетентности экзаменуемых очень важно правильно определить продолжительность отдельных станций.

Стандартизированные шкалы оценки. Важно заранее разработать и утвердить шкалы оценки, обеспечивающие оценку экзаменаторами разных экзаменуемых по одним и тем же критериям, что уменьшает разброс оценок между разными экзаменаторами и экзаменуемыми.

Привлечение обученных экзаменаторов. Подготовка экзаменаторов снижает разброс оценок между разными экзаменаторами и повышает единообразие их поведения, а значит, и надежность оценки. Кроме того, возможность ротации экзаменаторов по станциям может уменьшить системную погрешность, связанную с экзаменаторами.

Использование помещений и оборудования. Для каждой станции необходимо отдельное помещение или отделение с использование мобильных перегородок. Важно обеспечить видеонаблюдение и аудиозапись. На станциях, включающих выполнение процедур, должны использоваться симуляторы с электронным

контролем и объективной оценкой в реальном времени. Применение систем менеджмента симуляционного центра повышает надежность и существенно снижает трудоемкость подготовки и проведения экзамена.

Стандартизованное поведение пациентов. Плохо стандартизованные пациенты, поведение которых может варьироваться с разными экзаменуемыми, могут существенно снижать надежность экзамена.

Стандартизованное поведение экзаменаторов. В идеале экзаменаторы должны находиться за зеркалом Гизелла (одностороннее зеркало) или наблюдать действие на мониторе. В реальности в большинстве случаев экзаменатор находится в той же комнате, где происходит действие. Правильное поведение экзаменатора - нейтральное присутствие. В большинстве случаев экзаменатор приветствует экзаменуемого, проверяет и сверяет личность и предлагает следовать инструкциям. Все последующее действие проходит

Объективный структурированный клинический экзамен как инструмент

аккредитации медицинских специалистов

без каких-либо комментариев со стороны экзаменатора, кроме тех сценариев, где предусматривается вопрос (например, по окончании демонстрации осмотра грудной клетки, в сценарии станции предусматривается, что экзаменатор задает вопрос: «Как отличить шум трения перикарда от шума трения при плеврите?»). Исключение составляют ОСКЭ для текущей (формативной) оценки. В таких случаях допускаются наводящие вопросы.

Экзаменатор ни в коем случае не может комментировать действия экзаменуемого, а тем более давать оценку действия в конце станции. Плохая организация ОСКЭ может привести к тому, что экзаменуемые будут учиться проходить экзамен, а не улучшать реальное выполнение клинических задач. В то же время важно не допустить перегрузки экзаменуемых оценкой, пытаясь оценить слишком много компонентов

выполнения задач на одной экзаменационной станции. Примером такой перегрузки является задание экзаменуемому на одной станции собрать анамнез, обследовать пациента с кровохарканьем, интерпретировать рентгеновский снимок и пояснить возможный диагноз. Хотя это может отражать реальную жизнь за счет помещения оцениваемых умений в определенный контекст, маловероятно, что можно адекватно оценить все эти умения на одной станции, учитывая ограничения по времени.

В заключение необходимо отметить что ОСКЭ - это инструмент, и результаты его использования в первую очередь зависят от усилий и квалификации организаторов. Как и любые достижения, все преимущества оценки с использованием ОСКЭ достигаются ценой значительных усилий.

Приложение 1

Пример инструкций для студентов Объективный структурированный клинический экзамен - инструкции для студентов

Пожалуйста, внимательно ознакомьтесь!

Цель экзамена - определить ваши знания по терапии и компетентность в диагностике и лечении пациентов.

Для успешной сдачи экзамена вам необходимо получить как минимум 70% по станции и как минимум 75% средний балл по всем станциям в целом. В случае, когда общий балл превысит 74%, но баллы по одной или более станций ниже 70%, вам представится возможность пересдать эти станции. Если вы набрали <75%, вам представится возможность пересдать весь экзамен.

1. Вы будете переходить между 20 станциями (нумерованными от 1 до 20), проводя на каждой по 5 мин. В начале экзамена и в конце каждого 5-минутного периода будет звучать звонок. Это даст вам время для перехода на следующую станцию.

2. После 10-й станции следует 5-минутная станция отдыха.

3. На каждой станции вам будут представлены четкие письменные инструкции относительно того, что от вас требуется. Пожалуйста, внимательно их прочтите.

4. Перед началом экзамена вам будет выдан бейдж с номером. Этот бейдж необходимо носить на себе таким образом, чтобы он был виден экзаменаторам на протяжении всего экзамена.

5. Перед началом экзамена вам будет выдана карточка с номерами станций. Это ваш индивидуальный маршрут. Необходимо четко соблюдать указанную в нем последовательность станций.

6. Экзаменаторы не будут отвечать на ваши вопросы по контексту станции и не будут разъяснять инструкций. Экзаменаторам запрещено озвучивать вашу оценку за станцию. Все вопросы и комментарии вы можете направить директору экзамена по его завершении.

7. Во время экзамена производится видеозапись. Она используется для апелляционного процесса и для оценки качества. Видеозапись является конфиденциальным документом и уничтожается через 30 дней после экзамена.

Объективный структурированный клинический экзамен как инструмент

аккредитации медицинских специалистов

Приложение 2

Пример временного графика для объективного структурированного клинического экзамена

Образец временного графика для ОСКЭ для 40 студентов в одной цепочке, с 20 станциями и 5 мин, отводимыми на каждую станцию.

08:45 Студенты 1-20 собираются и проходят инструктаж

09:00 Начало экзамена для первой группы студентов

10:30 Студенты 21-40 собираются в комнате для брифинга

10:45 Завершение экзамена студентами 1-20

10:45 Перерыв для экзаменаторов и пациентов

11:00 Начало экзамена для второй группы студентов

12:45 Завершение экзамена студентами 21-40

СВЕДЕНИЯ ОБ АВТОРАХ

Алексеева Александра Юрьевна - эксперт Ассоциации профессиональных медицинских обществ по качеству медицинской помощи и медицинского образования E-mail: alexandra.varakina0gmail.com

Балкизов Залим Замирович - кандидат медицинских наук, заместитель председателя правления Ассоциации профессиональных медицинских обществ по качеству медицинской помощи и медицинского образования, член Координационного совета по развитию непрерывного медицинского образования Минздрава России, официальный представитель AMEE в СНГ, Москва E-mail: zz0asmok.ru

Перельман Всеволод (Perelman Vsevolod) - доктор медицины, анестезиолог-реаниматолог, сотрудник кафедры семейной и общественной медицины Торонтского университета, сертифицированный преподаватель Высшей категории Международного общества симуляционной медицины, директор Центра симуляционного обучения госпиталя Маун Синай,Торонто, Канада

Семенова Татьяна Владимировна - кандидат медицинских наук, доцент кафедры общественного здоровья и здравоохранения, экономики здравоохранения педиатрического факультета ФГБОУ ВО «Российский национальный исследовательский медицинский университет им. Н.И. Пирогова» Минздрава России, директор Департамента медицинского образования и кадровой политики Минздрава России, Москва Сизова Жанна Михайловна - доктор медицинских наук, профессор, заведующая кафедрой медико-социальной экспертизы, неотложной и поликлинической терапии, директор методического центра аккредитации специалистов ФГАОУ ВО «Первый Московский государственный медицинский университет им. И.М. Сеченова» Минздрава России E-mail: sizova-klinfarma0mail.ru

ЛИТЕРАТУРА

1. Harden R.M., Stevenson M., Downie W.W., Wilson G.M. Assessment of clinical competence using objective structured examination // BMJ. 1975. Vol. 1. P. 447-451.

2. Harden R.M. What is an OSCE? // Med. Teach. 1988. Vol. 10. P. 19-23.

3. Harden R.M. How to assess clinical competence - an overview // Med. Teach. 1979. Vol. 1. P. 289-296.

4. Harden R.M., Cairncross R.G. Assessment of practical skills: the objective structured practical examination (OSPE) // Studies High Educ. 1980. Vol. 5. P. 187-196.

5. Harden R.M., Stevenson M., Downie W.W., Wilson G.M. Assessment of clinical competence using objective structured examination // BMJ. 1975. Vol. 1. P. 447-451.

6. Khan K., Ramachandran S. Conceptual framework for performance assessment: competency, competence and performance in the context of assessments in healthcare - deciphering the terminology // Med. Teach. 2012. Vol. 34. P. 920-928.

7. Norcini J., Anderson B., Bollela V. et al. Criteria for good assessment: consensus statement and recommendations from the Ottawa 2010 Conference.

8. Harden R.M., Gleeson F.A., Assessment of clinical competence using an objective structured clinical examination (OSCE) // ASME Medical education booklet No. 8

9. Miller G.E. The assessment of clinical skills/competence/performance // Acad. Med. 1990. Vol. 65. S63-S67.

10. Norcini J.J. Death of a long case // BMJ. 2002. Vol. 324. P. 408-409.

11. Norcini J.J., Mckinley D.W. Assessment methods in medical education // Teaching Teach. Educ. 2007. Vol. 23. P. 239-250.

12. Swanson D.B., Norman G.R., Linn R.L. Performance-based assessment: lessons from the health professions // Educ. Res. 1995. Vol. 24. P. 5-11

13. Patricio M. A best evidence medical education (BEME) review on the feasibility, reliability and validity of the objective structured clinical examination (OSCE) in undergraduate medical studies // PhD dissertation. Faculty of Medicine of the University of Lisbon, Portugal. http://hdl.handle.net/10451/7600 - (2012).

14. Schoonheim-Klein, M. The use of the objective structured clinical examination (OSCE) in dental education // Thesis: Academic Centre for Dentistry Amsterdam (ACTA), The Netherlands - 2008.

15. Pell G., Fuller R., Homer M., Roberts T. How to measure the quality of the OSCE: a review of metrics. AMEE guide No. 49. // Med Teach. 2010. Vol. 32 (Iss.10). P. 802-811.

16. Tavakol M., Dennick R. Post-examination analysis of objective tests. AMEE guide No. 54. // Med Teach. 2011.Vol. 33 (Iss. 6). P. 447-458.

17. Tavakol M., Dennick R. Post-examination interpretation of objective test data: monitoring and improving the quality of high-stakes examinations: AMEE Guide No. 66. // Med Teach. 2012. Vol. 34 (Iss. 3). e161-e175.

18. Кан К.З., Рамачандран С., Гонт К., Пушкар П. Объективный структурированный клинический экзамен (ОСКЭ): Руководство АМЕЕ № 81. Часть 1: Историческая и теоретическая перспективы (под ред. З.З. Бал-кизова и Т.В. Семеновой) // Мед. образование и проф. развитие. 2014. № 2. С. 23-40.

19. Кан К.З., Рамачандран С., Гонт К., Пушкар П. Руководство AMEE № 81: Объективный структурированный клинический экзамен (ОСКЭ). Часть 2. Организация и управление (под ред. З.З. Балкизова и Т.В. Семеновой) // Мед. образование и проф. развитие. 2014. № 3. С. 18-53.

20. Adamo G. Simulated and standardized patients in OSCE s: Achievements and challenges 1992-2003 // Med. Teach. 2003. Vol. 25. P. 262-270.

21. Cleland J.A., Abe K., Rethans J.-J. The use of simulated patients in medical education: AMEE Guide No 42 // Med. Teach. 2009. Vol. 31. P. 477-486.

22. Kaufman D.M., Mann K.V., Muijtjens A.M. et al. A comparison of standard-setting procedures for an ОSCE in undergraduate medical education // Acad. Med. 2000. Vol. 75. P. 267-271.

23. Kowlowitz V., Hoole A.J., Sloane P.D. Implementing the objective structured clinical examination in a traditional medical school // Acad. Med. 1991. Vol. 66. P. 345-347.

24. Kramer A., Muijtjens A., Jansen K. et al. Comparison of a rational and an empirical standard setting procedure for an ОSCE. Objective structured clinical examinations // Med. Educ. 2003. Vol. 37. P. 132-139.

25. TOOLBOX OF ASSESSMENT METHODS© Accreditation Council for Graduate Medical Education, American Board of Medical Specialties (ABMS) // 2000.

26. Балкизов З.З., Семенова Т.В. Объективный структурированный клинический экзамен. Руководство // Мед. образование и проф. развитие. 2016. № 3. С. 27-63.

Объективный структурированный клинический экзамен как инструмент

аккредитации медицинских специалистов

REFERENCES

1. Harden R.M., Stevenson M., Downie W.W., Wilson G.M. Assessment of Clinical Competence using Objective Structured Examination // BMJ. 1975; Vol. 1: 447-51.

2. Harden R.M. What is an OSCE? Med. Teach. 1988; Vol. 10: 19-23.

3. Harden R.M. How to Assess Clinical Competence - An overview. Med. Teach. 1979; Vol. 1: 289-96.

4. Harden R.M., Cairncross R.G. Assessment of Practical Skills: The Objective Structured Practical Examination (OSPE). Studies High Educ. 1980; Vol. 5: 187-96.

5. Harden R.M., Stevenson M., Downie W.W., Wilson G.M. Assessment of Clinical Competence using Objective Structured Examination. BMJ. 1975; Vol. 1: 447-51.

6. Khan K., Ramachandran S. Conceptual framework for performance assessment: competency, competence and performance in the context of assessments in healthcare - deciphering the terminology. Med. Teach. 2012; Vol. 34: 920-8.

7. Norcini J., Anderson B., Bollela V. et al. Criteria for good assessment: Consensus statement and recommendations from the Ottawa 2010 Conference.

8. Harden R.M., Gleeson F.A., Assessment of clinical competence using an objective structured clinical examination (OSCE). ASME Medical education booklet No. 8

9. Miller G.E. The assessment of clinical skills/competence/performance. Acad. Med. 1990; Vol. 65: S63-7.

10. Norcini J.J. Death of a long case. BMJ. 2002; Vol. 324: 408-9.

11. Norcini J.J., Mckinley D.W. Assessment methods in medical education. Teaching Teach. Educ. 2007; Vol. 23: P. 239-50.

12. Swanson D.B., Norman G.R., Linn R.L. Performance-Based Assessment: Lessons From the Health Professions. Educ. Res. 1995; Vol. 24: 5-11.

13. Patricio M. A best evidence medical education (BEME) review on the feasibility, reliability and validity of the objective structured clinical examination (OSCE) in undergraduate medical studies. PhD dissertation. Faculty of Medicine of the University of Lisbon, Portugal. http://hdl.handle.net/10451/7600 - (2012).

14. Schoonheim-Klein, M. The use of the objective structured clinical examination (OSCE) in dental education. Thesis: Academic Centre for Dentistry Amsterdam (ACTA), The Netherlands - 2008.

15. Pell G1, Fuller R, Homer M, Roberts T. How to measure the quality of the OSCE: A review of metrics. AMEE guide No. 49. Med Teach. 2010; Vol, 32 (10): 802-11.

16. Tavakol M., Dennick R. Post-examination analysis of objective tests. AMEE guide no. 54. Med Teach. 2011; Vol. 33 (6): 447-58.

17. Tavakol M., Dennick R. Post-examination interpretation of objective test data: monitoring and improving the quality of high-stakes examinations: AMEE Guide No. 66. Med Teach. 2012; Vol. 34 (3): e161-75.

18. Kan K.Z., Ramachandran S., Gont K., Pushkar P. The Objective Structured Clinical Examination (OSCE): AMEE Guide No. 81. Part I: An historical and theoretical perspective (edited by Z.Z. Balkizov, T.V. Semenova). Meditsinskoe obrazovanie i professional'noe razvitie [Medical education and professional development]. 2014; Vol. 2: 23-40. (in Russian)

19. Kan K.Z., Ramachandran S., Gont K., Pushkar P. The Objective Structured Clinical Examination (OSCE): AMEE Guide No. 81. Part II: Organization & administration (edited by Z.Z. Balkizov & T.V. Semenova). Meditsinskoe obrazovanie i professional'noe razvitie [Medical education and professional development]. 2014; Vol. 3: 18-53. (in Russian)

20. Adamo G. Simulated and standardized patients in OSCE s: Achievements and challenges 1992-2003. Med. Teach. 2003; Vol. 25: 262-70.

21. Cleland J.A., Abe K., Rethans J.-J. The use of simulated patients in medical education: AMEE Guide No 42. Med. Teach. 2009; Vol. 31: 477-86.

22. Kaufman D.M., Mann K.V., Muijtjens A.M. et al. A comparison of standard-setting procedures for an OSCE in undergraduate medical education. Acad. Med. 2000; Vol. 75: 267-71.

23. Kowlowitz V., Hoole A.J., Sloane P.D. Implementing the objective structured clinical examination in a traditional medical school. Acad. Med. 1991; Vol. 66: 345-47.

24. Kramer A., Muijtjens A., Jansen K. et al. Comparison of a rational and an empirical standard setting procedure for an OSCE. Objective structured clinical examinations. Med. Educ. 2003; Vol. 37: 132-39.

25. TOOLBOX OF ASSESSMENT METHODS© Accreditation Council for Graduate Medical Education, American Board of Medical Specialties (ABMS). 2000.

26. Balkizov Z.Z., Semenova T.V. Objective structured clinical examination. Guide. Meditsinskoe obrazovanie i professional'noe razvitie [Medical education and professional development]. 2016; Vol. 3: 27-63. (in Russian)

№ 1, 2018