Руководство AMEE № 81: ОБЪЕКТИВНЫЙ СТРУКТУРИРОВАННЫЙ КЛИНИЧЕСКИЙ ЭКЗАМЕН (ОСКЭ): РУКОВОДСТВО АМЕЕ № 81. ЧАСТЬ 2: ОРГАНИЗАЦИЯ И УПРАВЛЕНИЕ (ПОД РЕД. З.З. БАЛКИЗОВА И Т.В. СЕМЕНОВОЙ) Текст научной статьи по специальности «Экономика и бизнес»

ДЛЯ КОРРЕСПОНДЕНЦИИ

Dr Kamran Khan, Department of Anaesthetic, Mafraq Hospital, Mafraq, Abu Dhabi, UAE E-mail: Kamran.khan950@gmail.com

К.З. Кан1, С. Рамачандран2, К. Гонт2, П. Пушкар3

Руководство AMEE № 81: Объективный структурированный клинический экзамен (ОСКЭ). Часть 2. Организация и управление

(Под ред. З.З. Балкизова и Т.В. Семеновой)

#

K.Z. Khan1, S. Ramachandran2, K. Gaunt2, P. Pushkar3

The Objective Structured Clinical Examination (OSCE): AMEE Guide No. 81. Part II: Organization & administration* (Edited by Z.Z. Balkizov & T.V. Semenova)

The organization, administration and running of a successful OSCE programme need considerable knowledge, experience and planning. Different teams looking after various aspects of OSCE need to work collaboratively for an effective question bank development, examiner training and standardized patients' training. Quality assurance is an ongoing process taking place throughout the OSCE cycle. In order for the OSCE to generate reliable results it is essential to pay attention to each and every element of quality assurance, as poorly standardized patients, untrained examiners, poor quality questions and inappropriate scoring rubrics each will affect the reliability of the OSCE. The validity will also be influenced if the questions are not realistic and mapped against the learning outcomes of the teaching programme. This part of the Guide addresses all these important issues in order to help the reader setup and quality assure their new or existing OSCE programmes.

1 Медицинская школа Манчестера, Великобритания;

2 Клиническая учебная база Национальной службы здравоохранения в Ланкашире, Великобритания;

3 Группа клиник университета Эйнтри, Великобритания

1 Manchester Medical School, UK

2 Lancashire Teaching Hospitals NHS Trust, UK

3 Aintree University Hospitals Trust, UK

Организация, руководство и осуществление успешной программы ОСКЭ требуют значительных знаний, опыта и планирования. Рабочие группы, отвечающие за различные аспекты ОСКЭ, в ходе совместной работы должны создать рациональный банк вопросов, обучить экзаменаторов и подготовить стандартизированных пациентов. Обеспечение качества — это непрерывно продолжающийся процесс, который действует на протяжении всего цикла ОСКЭ. Для получения достоверных результатов при проведении ОСКЭ важно уделять внимание каждому элементу обеспечения качества, поскольку неправильная стандартизация пациентов, недостаточная подготовка экзаменаторов, низкое качество вопросов и неадекватная балльная оценка тех или иных разделов экзамена оказывают негативное влияние на достоверность оценок ОСКЭ. Кроме того, на точность результатов могут влиять недостаточная реалистичность вопросов и их несоответствие ожидаемым результатам учебного плана. В данной части руководства рассмотрены все эти важные моменты, которые помогут читателю в запуске новой программы ОСКЭ или качественной реализации существующих программ.

Мы представляем вторую часть руководства по ОСКЭ. В первой части были рассмотрены исторические аспекты и образовательные принципы ОСКЭ, знание и понимание которых крайне важны на начальных этапах планирования и осуществления ОСКЭ. Мы рекомендуем читателю ознако-

миться с содержанием первой части, прежде чем переходить к данной части руководства.

В этой части наша задача состоит в том, чтобы помочь читателю в практическом применении теоретических знаний, полученных при изучении первой части. Для этого обозначим практические шаги, яв-

*Medical teacher. - 2013. - Vol. 35. - P. e1447-e1463.

ляющиеся необходимым этапом разработки и успешного осуществления ОСКЭ, от подготовки и планирования к осуществлению и анализу результатов ОСКЭ.

Данная часть руководства представлена в форме развивающегося рассказа о воображаемой героине Еве — увлеченном педагоге, ранее незнакомой с концепцией ОСКЭ. Декан попросил ее заняться внедрением ОСКЭ в качестве новой формы оценки знаний студентов-медиков, оканчивающих обучение в следующем году. Информация и опыт, которые она приобрела в ходе этого процесса, описаны в настоящем руководстве, они помогут другим специалистам, впервые сталкивающимся с необходимостью воплощения концепции ОСКЭ в своих учреждениях или обеспечения качества уже существующего процесса оценки.

Практические моменты

• При внедрении новой программы ОСКЭ аттестационная комиссия должна принять на себя новые роли и обязанности.

• Специалист, назначенный руководителем по ОСКЭ, должен контролировать все аспекты программы ОСКЭ.

• Необходимо разработать банк вопросов ОСКЭ и обновлять его, для того чтобы располагать набором станций, прошедших проверку качества и независимую оценку, которые можно использоваться на различных этапах экзамена.

• Обучение экзаменаторов и стандартизированных пациентов — важный элемент обеспечения качества и стандартизации.

• Последующая психометрическая оценка позволяет получить достоверные данные для дальнейшего обеспечения качества вопросов ОСКЭ и программы в целом.

Подготовка и планирование Организационная структура

Для успешного осуществления программы ОСКЭ требуется многочисленный коллектив специалистов [4]. Как правило, в учреждениях высшего медицинского образования существует аттестационная комиссия, контролирующая процедуры оценки знаний учащихся. Изменения программы оценки знаний, например внедрение новых методов оценки, должны осуществляться с помощью этой аттестационной комиссии. Рациональным подходом может стать формирование небольшого подкомитета из членов аттестационной комиссии, который будет заниматься внедрением ОСКЭ в существующую программу оценки. После успешного внедрения новой программы аттестационная комиссия может продолжить осуществление процедур непрерывного анализа и обеспечения качества, используемых и в отношении других методик оценки знаний.

В рамках этого комитета удобно было бы назначить одну ключевую фигуру (руководителя по ОСКЭ), в обязанности которой будут входить контроль планирования, организации и проведения экзамена и соответствующая отчетность [25]. Этот человек должен обладать знаниями экспертного уровня или предшествующим опытом проведения ОСКЭ. Если соблюсти такие условия невозможно, назначенный руководитель должен собрать необходимую информацию путем анализа литературы, посещения семинаров и обращения за помощью к специалистам из других центров.

#

История Евы

Однажды солнечным утром, направляясь в свой кабинет, я встретила декана, который только что вернулся с конференции АМЕЕ, состоявшейся на прошлой неделе. Мы поздоровались, и он пригласил меня к себе. Я не представляла, зачем он меня приглашает.

За чашкой кофе он рассказал, что узнал много нового о программе ОСКЭ на конференции. Он считал, что было бы замечательно ввести систему ОСКЭ для оценки наших студентов, оканчивающих институт в следующем году, и попросил меня заняться этим. Я всегда готова взяться за решение какой-нибудь проблемы, но тут был другой случай.

Я не так уж много знала об ОСКЭ, помимо того, что это методика оценки знаний. Я приняла предложение, но честно призналась в том, что мне потребуется довольно много поработать дома, и через некоторое время я сообщу ему, как продвигаются дела. Он был очень рад, что я согласилась ему помочь, а я думала о том, что мне придется расширить диапазон своих методов оценки знаний.

Я вернулась в кабинет и попыталась провести некоторое расследование этого вопроса: когда, почему и как разрабатывалась система ОСКЭ? Прочитав базовые материалы, я стала осознавать теоретические принципы ОСКЭ, но теперь мне требовался практический совет: как построить наш экзамен? Кого я могла спросить?

Я вспомнила о своем коллеге и друге Джордже — педиатре из соседнего университета. В этом университете ОСКЭ уже некоторое время использовался для оценки знаний студентов-медиков.

На следующей неделе мне удалось встретиться с Джорджем. Он показал мне свой факультет и объяснил, что мне потребуется некоторая помощь в работе. Для начала он посоветовал создать небольшую организационную группу, которая бы включала коллег, уже занимающихся работой по оценке знаний. И я решила обратиться за помощью в нашу действующую аттестационную комиссию.

Административная поддержка. Проведение оценок любого рода неизбежно порождает массу административной работы ОСКЭ — не исключение. Обеспечив адекватную административную поддержку реализации соответствующих задач, руководитель группы по проведению ОСКЭ получит дополнительное время для работы с академическими аспектами. В идеале такие задачи, как распределение студентов по экзаменационным центрам, распространение экзаменационных документов и работа с результатами экзамена, должны выполняться специально занимающейся этим административной группой.

Создание большой команды. В зависимости от характера и формы исследования, масштабов ученого заведения, ОСКЭ в один и тот же день может проводиться на нескольких учебных базах. Рационально создать отдельную организационную группу на каждой клинической базе, которая будет наблюдать за практическими аспектами ОСКЭ, в частности отбором местных экзаменаторов и стандартизированных пациентов, планированием цепочки мероприятий ОСКЭ и осуществлением процедур ОСКЭ без задержек в день проведения экзамена. В небольших учебных

заведениях эти задачи могут выполнять члены аттестационной комиссии или специалисты, осуществляющие общую административную поддержку.

График, правила и система организации экзамена

Составление графика экзамена. В течение учебного года в зависимости от расписания циклов и положения ОСКЭ в общей программе аттестации студентов может потребоваться планирование нескольких сессий ОСКЭ. Как правило, каждая группа студентов в течение года проходит как минимум один ОСКЭ. Точное время проведения экзамена в первую очередь зависит от локальных актов конкретного учебного заведения и расписания занятий, хотя необходимо учитывать место проведения экзамена и свободное время экзаменаторов.

Составление проекта экзамена и продолжительность экзамена

Составление проекта и плана экзамена. Составление проекта — это процесс формального определения содержания экзамена. В случае ОСКЭ это подразумевает отбор совокупности оцениваемых практических умений и частоту, с которой каждое из них должно демонстрироваться в ходе экзамена. В каждом проекте ОСКЭ должны учитываться контекст экзамена, те умения, которые необходимо оценить в соответствии с учебным планом, и необходимость триангуляции (повторения), т.е. оценки тех или иных областей знаний с помощью нескольких методов [42]. В первой

части данного руководства обсуждается необходимость тщательного соотнесения оцениваемых знаний, умений и точек зрения и соответствующих методов их оценки. Таким образом, ОСКЭ должен быть частью разносторонней аттестационной программы.

В первую очередь ОСКЭ подразумевает оценку способности к выполнению определенных манипуляций в условиях симуляции [21] и, таким образом, в основном определяет результаты обучения тем или иным практическим умениям. Подробное обсуждение тех разделов обучения, которые можно оценить с помощью ОСКЭ, приводится в 1-й части данного руководства. Процесс проектирования должен обеспечить формирование необходимого набора элементов учебного плана, относящихся к овладению практическими навыками, и их соотношение с учебным планом; таким образом, экзамен должен давать достоверные сведения о содержании обучения. Как правило, проект состоит из двухмерной матрицы, в которой одна ось отражает основные подлежащие тестированию умения (например, сбор анамнеза, коммуникативные навыки, физикальное обследование, планирование тактики ведения и т.д.), а вторая представляет те проблемы или состояния, в отношении которых демонстрируются эти умения [27]. Пример тестового проекта показан в табл. 1. Проектирование может проводиться аттестационной комиссией автономно, однако в случае наиболее важных экзаменов согласование тем, включаемых в тестовый проект, может быть осуществлено с помощью метода Дельфи или других методик опроса. После этого вопросы могут быть доработаны или отобраны из тестового проекта.

Таблица 1. Пример проекта объективного структурированного клинического экзамена

Предметы Умение выполнения процедур Физикальное обследование Сбор анамнеза Общее количество вопросов

Медицина неотложных состояний Вопрос 1 1

Оториноларингология Вопрос 2 Вопрос 3 Вопрос 4 Вопрос 5 4

Педиатрия Вопрос 6 Вопрос 7 2

Гериатрия Вопрос 8 Вопрос 9 Вопрос 10 3

Общее количество вопросов 3 4 3 10

#

Длительность экзамена (количество станций). Для того чтобы разработать проект экзамена, необходимо предварительно определить, длительность экзамена. Это будет зависеть от числа станций каждого ОСКЭ и продолжительности каждого этапа. Как правило, станция ОСКЭ включает одну ограниченную по времени задачу, на выполнение которой кандидатам дается 5—10 мин. Достоверность (воспроизводимость результатов тестирования) и валидность (степень, в которой содержание теста позволяет оценить действительно приобретенные или подлежащие аттестации умения) зависят от числа станций и общей длительности экзамена [27]. Адекватное и реалистичное распределение времени по задачам, предлагаемым на определенных этапах, способствует повышению валидности тестирования. Между тем увеличение объема оцениваемых знаний и умений, обычно за счет введения в экзамен необходимого числа станций, способствует повышению достоверности. Доказано, что специфичность вопросов — основная причина недостаточной достоверности; таким образом, для проведения достоверного обобщения профессиональных способностей кандидата необходимо

тестировать практические умения в широком диапазоне случаев [32].

Число станций, которое необходимо для получения достоверного показателя, отражаемое альфой Кронбаха или коэффициентом обобщаемости (G), определяет продолжительность экзамена. Альфа Кронбаха или значение G от 0,7 до 0,8 отражает приемлемую достоверность в случае экзаменов особой важности. Подробное обсуждение этого предмета выходит за рамки данной статьи; интересующиеся могут обратиться к руководству AMEE № 49, составленному Pell и соавт. [29], и руководствам № 54 и 66 [38, 39]. Практическое значение также может иметь работа Shavelson и Webb (2009). В данном руководстве мы тоже обращаемся к этим концепциям.

В практическом плане при принятии решения о продолжительности теста необходимо учитывать, с одной стороны, коэффициенты достоверности, а с другой — проблемы, связанные с возможностями воплощения и наличием необходимых ресурсов. В большинстве случаев при наличии четко построенных станций ОСКЭ достаточной достоверности удается достичь с помощью 14—18 станций, продолжительностью по 5—10 мин каждая [12].

Разработка банка вопросов ОСКЭ

Прежде чем к серии будут добавлены новые станции, они должны пройти процесс независимой оценки и пилотного включения. По возможности следует использовать данные психометрики на каждом отдельном этапе, включая оценку возможности дифференцировки высоко- и малоперспективных кандидатов. Эти аспекты описаны ниже более подробно. Секретный набор сложных вопросов проверенного качества в значительной степени способствует достижению оптимальной достоверности и валидности экзаменационных оценок. Представленная ниже схема содержит описание одного из подходов к формированию совокупности этапов ОСКЭ, обеспечивающих оценку выполнения расписания (рис. 1). Эта схема может использоваться в качестве пошагового руководства или адаптироваться к индивидуальным требованиям. Кроме того, можно провести обновление существующего набора станций или оценить их качество путем выполнения определенных шагов алгоритма.

делов знаний. Необходимость добавления новых станций может возникнуть и в случае внесения изменений в учебный план или коррекции задач обучения в рамках отдельных модулей. Оценку знаний и навыков всегда необходимо сопоставлять с объемом обучения и интенсивностью выработки навыков, которые имели место в соответствии с учебным расписанием. В некоторых случаях на содержание тестируемых аспектов оказывают влияние регулирующие органы, например Генеральный медицинский совет ^МС) в Великобритании, определяющий те или иные знания и навыки, которые должен продемонстрировать студент, оканчивающий высшее медицинское учебное заведение [14].

После того как определена область оцениваемых знаний, важно удостовериться, что в формате ОСКЭ, в течение ограниченного времени, отведенного на каждую станцию, возможна реальная оценка практических умений, которыми, как предполагается, должны владеть кандидаты [42]. В первой части данного руководства подробно описаны аспекты, для оценки которых ОСКЭ лучше всего подходит.

Выбор предметов для новых станций.

В тех учреждениях, где ОСКЭ предстоит использовать впервые, проект экзамена, в основе которого лежат результаты, предполагаемые учебным планом, может служить приемлемой стартовой точкой, определяющей предметы, входящие в состав новых станций ОСКЭ. В тех случаях, когда последовательность станций ОСКЭ уже существует, руководитель группы по проведению ОСКЭ или эксперты, специализирующиеся в соответствующих учебных дисциплинах, могут проанализировать эту последовательность и определить недостатки в возможностях оценки тех или иных умений или раз-

Выбор авторов для каждой станции. Руководитель группы по проведению ОСКЭ несет ответственность за то, чтобы назначить подходящих сотрудников, которые будут планировать и составлять станции ОСКЭ. Если уже имеется группа опытных экзаменаторов, то очевидным решением будет поиск добровольцев для составления вопросов в этой группе. В других случаях при составлении вопросов в качестве консультантов могут быть приглашены эксперты, специализирующиеся по тем или иным учебным дисциплинам. Для того чтобы специалист, занимающийся составлением тестовых материалов, мог выполнить эту

Выбор предметов для новых станций

Выбор авторов для каждой станции

работу надлежащим образом, важно, чтобы он был ознакомлен с фундаментальными принципами ОСКЭ. Для специалистов, впервые сталкивающихся с такой задачей, могут быть проведены краткие ознакомительные семинары или разработаны письменные инструкции.

Выбор типа каждой станции

Выбор шаблона составления материалов станции ОСКЭ

Составление контрольных материалов

Выбор типа каждой станции. Руководитель группы по проведению ОСКЭ или лицо, координирующее составления вопросов, должен проконсультировать составителей вопросов о том, какие именно требуются вопросы. Понимание различных форматов вопросов ОСКЭ крайне важно при выборе необходимых типов вопросов, позволяющих оценить те или иные результаты обучения (табл. 2).

#

Руководство по выставлению оценок

Психометрический анализ

Добавление вопросов в банк вопросов или разработка нового банка вопросов

Выбор шаблона для составления вопросов ОСКЭ. После того как выбран тип вопросов, необходимо разработать подходящий шаблон для составления вопросов или использовать уже имеющийся шаблон. Шаблон помогает авторам разрабатывать вопросы, имеющие общий формат, который соответствует формату других вопросов банка. Подобная стандартизация позволяет избежать ситуации, при которой кандидаты оказываются в невыгодном положении за счет того, что вопросы предлагаются им в непривычном формате, и помогает сохранить объективность оценок. Мы приводим пример шаблона составления вопросов ОСКЭ. К этому шаблону прилагается пример станции, разработанной для оценки специализированного сбора анамнеза и оценки функции дыхания у пациента с астмой (Приложение 1).

Рис. 1. Схема создания банка вопросов для объективного структурированного клинического экзамена

Составление контрольных материалов.

Различные разделы шаблона выделяют информацию, которую необходимо учи-

тывать при составлении правильного содержания станции ОСКЭ. Эти разделы показаны ниже с разъяснением, какого типа информация необходима (табл. 3).

Руководство по оценке. Содержание руководства по оценке для каждой станции будет зависеть от раздела оценки, избранной в качестве стандарта для всех экзаменов ОСКЭ. Ниже в данном руководстве подробно обсужддаются различные типы оценки. Если имеется список контрольных вопросов или оценочная шкала, составителю следует дополнить их по мере составления вопросов. Такой контрольный список должен отражать оцениваемые результаты. То же применимо к оценочным шкалам, если они носят специфичный для конкретного этапа экзамена характер. Если предполагается использовать исключительно единую оценочную шкалу, формировать критерий оценки для индивидуальных этапов, возможно, не понадобится. В руководствах АМЕЕ № 49, 54 и 66 обсуждается степень значимости различных разделов оценки для результатов ОСКЭ [29, 38, 39].

Собрания независимых экспертов. Проведение собраний с экзаменаторами — один из методов обеспечения качества новых станций ОСКЭ. После того как экзаменаторы составят новые вопросы, им предлагается представить эти вопросы на собрании, во время которого участники могут изучить вопросы, составленные другими участниками, часто в небольших группах. Благодаря присутствию авторов отдельных станций на этих заседаниях упрощается процесс внесения изменений и пояснений.

Помимо того, что процесс независимой оценки позволяет проанализировать клиническую точность и адекватность за-

дач, предлагаемых на том или ином этапе экзамена, он помогает также выявить проблемы, связанные с валидностью тестирования. Для этой цели можно использовать простой опросник, пример которого приводится в Приложении 2.

Пилотное выполнение. После независимого анализа экзаменаторами использование станций помогает выявить проблемы, связанные с их практическим осуществлением и распределением времени на выполнение тех или иных задач. При необходимости можно внести изменения в станции, для того чтобы повысить качество этих этапов [43]. На этой стадии можно провести первичный психометрический анализ достоверности и качества станций. При выявлении любых проблем, связанных с конкретной станцией, ее следует перепланировать и вновь провести пробный прогон. Часто пилотирование проводят в рамках пробного или этапного экзамена, в результате чего дополнительным преимуществом могут стать ориентирование кандидатов в плане ОСКЭ и непосредственное предоставление им информации об их профессиональных возможностях. Если те или иные станции пилотируются в рамках экзаменов высокой степени значимости, важно поставить кандидатов в известность о включении пилотной станции в экзамен и о том, что результаты этой станции не повлияют на общую экзаменационную оценку. В связи с необходимостью получения валидных и достоверных данных о результатах пилотных станций экзамена, включенных в реальный экзамен, предварительное разглашение сведений о том, какие именно станции пилотируются, не практикуется.

#

Психометрический анализ. Мы кратко описали важные аспекты психометрики ранее в разделе, посвященном длительности экзамена. Что касается разработки новых станций, если в рамках пробного ОСКЭ используется полный набор новых вопросов, психометрический анализ продемонстрирует общую достоверность набора вопросов. Использование G-теории позволит определить число сходных станций, необходимых для обеспечения достаточной надежности тестирования путем проведения исследований D, или исследования принятия решений на основании имеющихся данных [33]. Применение теории вопросов и ответов (Item Response Theory — IRT) также позволит получить данные, освещающие источники вариабельности или ошибок [10]. Эта теория может использоваться в том случае, если одна или несколько станций пилотируются в ходе реального экзамена. Подробное обсуждение этого предмета также выходит за пределы данного руководства, но в некоторых подробностях приводится в руководстве AMEE № 49 [29], G-теория в различных аспектах подробно рассматривается в руководстве AMEE № 68 [4].

Выбор раздела оценки и стандартные установки

Stevens и Levi (2005) определяют раздел оценки как «средство оценки, которое описывает ожидания, связанные с выполнением задачи или задания» [35]. Для выставления различных типов оценок используются разные разделы оценки. Существуют 2 основных типа оценочных рубрик: аналитические и холистические.

Аналитический метод балльной оценки (шкала контрольньх вопросов). Список контрольных вопросов, или чек-лист, — это список утверждений, описывающих действия, выполнения которых ожидают от кандидатов на определенном этапе. Этот список готовят заранее, по результатам консультации с группой, занимающейся разработкой этапов ОСКЭ, и в соответствии с оцениваемыми материалами и итогами. Контрольные списки могут быть бинарными («да/нет», «выполняется/не выполняется»), при этом оценка кандидатам выставляется в зависимости от того, выполнено или не выполнено задание, без уточнения качества его выполнения. Такие проверочные списки не всегда позволяют определить низкий или высокий уровень выполнения задания. В других случаях контрольные списки могут включать 5-7-балльные оценочные шкалы, что позволяет экзаменаторам выставлять оценки кандидатам в зависимости от качества выполнения ими заданных действий. Эти проверочные списки с оценочными шкалами отличаются от глобальной (холистической) оценки, описываемой ниже.

Традиционно основным преимуществом бинарных проверочных списков считается их потенциальная способность давать объективную оценку и обеспечивать большую степень согласия между различными экзаменаторами. Действительно, первоначально такие проверочные списки использовались Harden, который впервые разработал методику ОСКЭ (см. первую часть данного руководства, [15]). Тем не менее накапливаются доказательства, ставящие под сомнение эту точку зрения и показывающие, что объективность не всегда совпадает с более высокой достоверностью оценки результатов экзамена [44]. Это в особенности актуально в том

Таблица 2. Типы этапов объективного структурированного клинического экзамена

#

Тип станции Описание Примеры Преимущества Недостатки (ограничения)

Наблюдаемая Экзаменатор при- Коммуникативные При непосредствен- Затраты ресурсов:

станция сутствует на всем навыки. Навыки ном наблюдении на каждый этап

протяжении тести- осуществления про- имеется возмож- необходим один

рования цедур. Клиническое обследование ность оценить высший уровень знаний по изучаемому предмету. Возможно непосредственное предоставление ответной информации для достижения позитивного влияния оценки экзаменатор

Ненаблюдаемая На протяжении Интерпретация кли- На таких станциях Нет непосредствен-

станция периода тестирова- нической информа- присутствие экзаме- ного наблюдения за

ния экзаменатор не ции (рентгенограм- наторов не требуется выполнением зада-

присутствует. Ответы мы, гистологические ния. Станция ОСКЭ

могут быть пред- образцы,результаты может оказаться

ставлены в бумаж- анализов крови). ненужной; примене-

ном виде после Навыки назначения ние альтернативных

каждого этапа или лекарственных пре- средств оценки столь

по завершении всего паратов. Навыки вла- же эффективно

экзамена дения информационными технологиями в оценке данных когнитивных навыков

Станция Станция, включаю- Интимные клиниче- Расширяется диапа- Персонал должен

с технологической щая использование ские обследования, зон потенциальных обладать навыками

поддержкой технологических проводимые на станций ОСКЭ, что использования

приспособлений, тренажерах, напри- позволяет оценить оборудования.

например спе- мер ректальное те области обучения, Возможность полом-

циализированных обследование. которые трудно ки оборудования.

тренажеров для Умение принимать было бы оценить при Первичная стоимость

выработки опреде- решения в комплексе помощи стандартных нового оборудования

ленных умений или и ведение пациентов вопросов ОСКЭ и затраты на ремонт

высокореалистичных с острыми состоя-

манекенов, для оцен- ниями с помощью

ки умений, которые высокореалистичных

иначе трудно было манекенов

бы оценить в форма-

те ОСКЭ

Связанные станции Две последова- 1. Наблюдаемая Сценарий позволяет Требуется тщатель-

тельные станции станция:обследо- оценить большее ное планирование

основываются на вание дыхательной количество уме- сети, поскольку

одном и том же кли- системы. ний. Эффективное кандидаты не могут

ническом сценарии 2. Ненаблюдаемая использование начать вторую из

или информации. станция: документи- ресурсов экзамена- пары связанных

Станции могут быть рованные результаты торов станций, не завер-

наблюдаемыми или обследования и план шив экзамен на

ненаблюдаемыми ведения первом этапе

Ф

Медицинское образование и профессиональное развитие №3 (17) 2014

#

случае, когда в проведении ОСКЭ участвуют экзаменаторы, являющиеся экспертами в той или иной дисциплине [16]. Примеры бинарных контрольных листов и оценочных шкал (которые можно рассматривать как мини-глобальные оценки, поскольку в этом случае оценивается один элемент всей специальности) показаны в табл. 4.

Холистическая оценка (глобальная оценочная шкала). В отличие от контрольных листов, характеризующихся специфичностью для конкретного задания [31], глобальные оценочные шкалы позволяют экзаменатору оценить весь процесс в целом. Рассмотрим работу специалиста высокого класса, который, возможно, не следует заранее определенной последовательности шагов, указанной в проверочном листе, но все же выполняет задачу в соответствии с высшими стандартами с легкостью и быстротой. В этой ситуации навыки кандидата может отразить только общая (глобальная) оценка процесса выполнения задания. Глобальные шкалы позволяют экзаменатору определить не только факт выполнения действия, но и то, насколько хорошо оно было выполнено. Таким образом, этот метод позволяет лучше оценивать навыки, для которых каче-

ство выполнения столь же важно, как и сам факт их выполнения. Примером может стать оценка способности кандидатов сопереживать пациентам на этапах демонстрации коммуникативных навыков. Следовательно, холистические шкалы более полезны при оценке таких сфер, как суждение, сопереживание, организация знаний и технические навыки [16, 26]. Глобальные шкалы отличаются от описанных выше оценочных шкал в проверочных листах, вследствие того, что глобальные шкалы позволяют получить более холистическое представление о выполнении задания на этапе в целом, нежели оценочные шкалы, рассматривающие отдельно один аспект.

При выставлении оценок на станциях ОСКЭ все шире используются глобальные оценки, в отличие от контрольных листов, поскольку в настоящее время имеются доказательства того, что они характеризуются большей надежностью при оценке последовательных станций, лучшими показателями валидности и большей ва-лидностью по отношению к результатам других тестов, нежели контрольные листы [40]. Дополнительные сведения о значимости рубрик оценки приведены в руководствах АМЕЕ № 49, 54 и 66 [29, 38, 39].

Таблица 3. Руководство по заполнению письменного шаблона ответов

Раздел шаблона Необходимая информация

Информация по этапу

Предмет/тема Выбирается, как описано в начале этого раздела

Уровень подготовки кандидата Умения, которые будут продемонстрированы, должны соответствовать уровню подготовки кандидатов

Оцениваемые умения Как описано в первой части руководства

Длительность этапа Как правило, должна быть стандартной для всех этапов и определяется комитетом по ОСКЭ, согласно описанию в разделе, посвященном длительности экзамена

Информация для организаторов учебной базы

Возраст и пол стандартизированного пациента (СП) Это важнейшая информация для организационного комитета при поиске подходящих СП для станций экзамена

Таблица 3. (продолжение)

#

Необходимые ресурсы и оборудование Организационный комитет нуждается в этой информации при оборудовании этапа экзамена для поддержания стандартных условий на разных учебных базах, если экзамен происходит одновременно в нескольких местах

Оборудование станции Эта информация необходима, чтобы удостовериться, что расположение стульев, столов и кушеток не мешает выполнению поставленных задач. Например, кандидаты должны иметь возможность подходить к стандартизированному пациенту (СП) при обследовании с правой стороны, а экзаменатор должен иметь возможность наблюдать за процессом на всем его протяжении с того места, где он сидит

Инструкции для кандидатов

Что такое сценарий (кратко)? Это важнейшая информация об этапе экзамена для кандидата

Кто такие кандидаты и где они находятся? Для кандидатов важно знать, в каком качестве они консультируют пациента, поэтому они могут предоставить соответствующую информацию пациентам и экзаменаторам

Что уже произошло Если, в соответствии со сценарием, медицинская сестра уже осмотрела пациента, и кандидат может получить некоторую информацию об артериальном давлении, температуре тела и т.д., на данном этапе ему необходимо выяснить это

Что кандидаты должны сделать Это умения, которые кандидаты должны продемонстрировать на данном этапе экзамена, например собрать специальный анамнез и обследовать дыхательную систему

Что кандидаты не должны делать? Если в связи с ограничением по времени кандидаты не обязаны проводить общее клиническое исследование в рамках обследования дыхательной системы, то это необходимо уточнить на данной стадии

Дополнительные данные Если кандидатам могут быть предоставлены результаты дополнительных исследований, их следует включить в этот раздел. Например, если вам требуются результаты каких-либо важных анализов крови, вы можете спросить об этом экзаменаторов

Раздел шаблона Необходимая информация

Информация для экзаменатора

Краткие базовые сведения о сценарии Этот раздел аналогичен описанному выше разделу «Что такое сценарий?»

Роль экзаменатора Здесь очень важно выяснить, какой способ взаимодействия с кандидатом разрешен экзаменатору, если такое взаимодействие вообще разрешается. Предполагается, что экзаменатор будет задавать вопросы, или он должен только наблюдать?

Каковы задачи этапа экзамена? Этот раздел аналогичен изложенному выше разделу «Что должны делать кандидаты?»

Какую информацию экзаменатор может предоставить кандидату? При необходимости экзаменаторы могут предоставлять информацию, например результаты анализов крови или рентгенографии

Какую информацию экзаменаторы не могут предоставлять кандидатам? Экзаменатор не должен предоставлять информацию, которую кандидаты предположительно могут использовать для собственных нужд

Клиническая информация, относящаяся к этапу экзамена Если оценку проводят экзаменаторы, специализирующиеся не на рассматриваемой дисциплине, следует предоставить им эту информацию для правильного выставления оценок кандидатам, что еще более важно, если для аттестации используются обобщенные схемы выставления оценок, описанные ниже в данном руководстве

Симулированная информация о пациенте (вся информация данного раздела крайне важна для поддержания стандартизации этапа, особенно если экзамен проводится на нескольких клинических базах)

Ф

Медицинское образование и профессиональное развитие №3 (17) 2014

Таблица 3. (окончание)

Кто они? Как ранее указано в инструкциях для кандидатов

Их социальные/экономические характеристики (если применимо) Эта информация должна быть краткой, учитывая длительность этапа и время, отведенное кандидатам на выполнение этого задания

Жалобы и анамнез Должны быть четкими, краткими и сосредоточены на задачах конкретной станции

Детали, касающиеся нынешнего состояния здоровья и принимаемых лекарственных препаратов Эта информация также должна иметь отношение к делу

Детали, касающиеся обеспокоенности и представлений пациентов Если этап подразумевает разбор обеспокоенности пациента, важно стандартизировать этот аспект

Что они должны сказать (план), и что не должны говорить На некоторых этапах эта информация не потребуется, например, когда кандидаты будут только экзаменоваться

Что они должны спрашивать (вопросы) При беседе с кандидатом СП разрешается задавать только стандартные вопросы

Специфические аспекты стандартизации (специальные ответы на специальные вопросы, просьба придерживаться сценария) Эта информация может иметь жизненно важное значение, если предполагается, что кандидаты должны ответить на некоторые особые вопросы

#

Таблица 4. Сравнение бинарных проверочных листов и оценочной шкалы

(Этап, посвященный сбору анамнеза и обследованию пациента с астмой: два возможных типа опросных листов для выставления оценки за обследование грудной клетки)

Бинарный проверочный лист Проверочный лист на основе оценочных шкал

Кандидат выполняет обследование грудной клетки Кандидат выполняет обследование грудной клетки

1. Введение 1[] 2 [] 3[] 4 [] 5[]

1. Неструктурированный подход

Да [] Нет [] 2. Структурированный подход, но выполнено менее 50% ключевых этапов

2. Получение согласия 3. Структурированный подход, но выполнено более 50% клю-

Да [] Нет [] чевых этапов

4. Структурированный подход и выполнение большинства

3. Адекватное представление ключевых этапов

Да [] Нет [] 5. Структурированный подход и выполнение всех ключевых

этапов

4. Профессиональный подход Этот проверочный лист должен сопровождаться списком клю-

Да [] Нет [] чевых этапов

Протирание рук спиртом до и после обследования и при необ-

5. Общее физикальное обследование ходимости использование перчаток

Да [] Нет [] Получение разрешения на проведение обследования и разъ-

яснение характера обследования

6. Осмотр При необходимости предлагает/спрашивает о сопровождаю-

щих лицах

Да [] Нет [] Спрашивает пациента, имеется ли болезненность в той или иной пальпируемой области

Таблица 4. (окончание)

7. Пальпация Да [] Нет []

8. Перкуссия Да [] Нет []

9.Аускультация Да [] Нет []

10. В конце пациенту рекомендуется закрыть все открытые области и поблагодарить за помощь Да [] Нет []

Оценка Х/10

Сложить оценки и оценить по отношению к 10

Стандартные установки. Стандартные установки подразумевают определение количества баллов, указывающих на то, прошел ли кандидат экзаменационное тестирование или нет. Для этого можно воспользоваться множеством различных методов. При использовании метода «Соотнесения с нормой» оценки, взаимно зависящие друг от друга, и баллы определяются по относительным оценкам кандидатов, например, методом Коэна [6]. При оценке по соотнесению с нормой стандартные установки основываются на независимой экспертизе и могут изменяться от когорты к когорте. Таким образом, возможно, что в «плохой» когорте кандидат может пройти экзамен, тогда как при других обстоятельствах, в более «сильной» когорте, он бы не прошел. По этой причине метод сопоставления с нормой обычно не приемлем для тестирования клинической компетентности, которое позволило бы утверждать, что кандидат может без опасения приступать к практической деятельности. В этом случае требуется установить четкий стандарт, при оценке ниже которого будущий врач не будет допущен к практической деятельности. Такие стандарты устанавливаются ссылкой на критерии, по которым

Правильно и удобно располагает пациента,затем использует методичную, быструю и правильную технику Не расстраивает пациента, не ставит его в затруднительное положение и не травмирует без необходимости Обследует или предлагает обследование с учетом всех значимых систем

Завершает задание, закрывает обнаженные области и благодарит пациента

имеются абсолютные значения оценок в данной области информации. Методы Angoff [2] и Ebel [11] — 2 метода, наиболее часто используемых для выполнения этой задачи. Метод критериев стандартных установок применяется перед экзаменом, проводимым группой экспертов, которые рассматривают каждый пункт теста, чтобы определить степень трудности и надежность. Хотя методы Angoff и Ebel хорошо известны, они были первоначально разработаны для тестирования знаний, таких, как задания множественного выбора и, возможно, экстраполяция этих методов не всегда оправдана для тестирования профессиональных навыков, как при ОСКЭ [30]. Другие абсолютные методы, которые могут представлять ценность в данном случае, — это метод пограничной группы и метод контрастирующих групп. Читатель может узнать больше об этих методах из статей Kaufman [20] и Kramer [23]. Подробное обсуждение каждого упомянутого метода, их плюсов и минусов выходит за рамки данного руководства; читатели, которых интересуют эти проблемы, могут обратиться к руководству AMEE № 18, посвященному стандартным установкам аттестации Friedman [13] и статьям Tavakol [39] и Pell [29].

#

Формирование коллектива профессиональных экзаменаторов

Последовательное выставление оценок квалифицированными экзаменаторами играет решающую роль в обеспечении достоверности оценок на экзамене ОСКЭ. Повышение квалификации экзаменаторов — это непрерывный процесс, в ходе которого к коллективу добавляются новые экзаменаторы, а имеющиеся экзаменаторы получают новые знания. В этом разделе речь пойдет о процессе повышения и поддержания квалификации экзаменаторов.

Выявление потенциальных экзаменаторов. Достоверность оценок, выставляемых экзаменаторами, зависит не только от последовательной системы осуществляемой ими проверки знаний, но и от клинического опыта экзаменаторов, относящегося к тем или иным этапам ОСКЭ. Как правило, врачи оценивают знания врачей, а медицинские сестры — знания медицинских сестер, однако владение однородными навыками может обусловливать дополнительную гибкость и снижать издержки. Случается, что для снижения затрат времени на поиск необходимого количества врачей, которые могли бы сыграть роль экзаменаторов, к приему медицинских экзаменов привлекаются лица, не являющиеся врачами. Имеются литературные данные, свидетельствующие о том, что оценки симулированных пациентов хорошо коррелируют с оценками врачей [7, 24]. Тем не менее в одном из исследований авторы указывают, что совпадение оценок врачей и лиц, не являющихся врачами, наблюдается в случае оценок с использованием проверочных листов, но не распростра-

няется на случай глобальных оценок [17]. Независимо от того, являются ли экзаменаторы специалистами в данной области медицины, профессиональная подготовка всех экзаменаторов может привести к уменьшению вариабельности оценок экзаменаторов [28, 41] и увеличению согласованности их поведения, что может способствовать повышению достоверности экзаменационных оценок [37].

Большинство врачей-экзаменаторов работают в местных больницах или поликлиниках; полезно обращаться к тем из них, кто проявляет особый интерес к медицинскому образованию. В большинстве случаев экзаменаторы не получают финансового вознаграждения, поскольку участие в проведении экзаменов рассматривается как их обязанность в рамках непрерывного образования и профессиональной подготовки; однако врачи, добровольно участвующие в экзаменах, отличаются повышенным чувством ответственности и способностью к глубокому пониманию педагогических навыков [18].

Семинары по повышению квалификации экзаменаторов. Семинары по повышению квалификации экзаменаторов в идеале должны проводиться задолго до начала экзаменов. Уровень подготовки зависит от исходной ситуации и возможностей экзаменаторов [28, 41]. Как и в случае других видов обучения, результаты семинаров по повышению квалификации экзаменаторов должны быть достаточно разносторонними (Блок 1).

Эти семинары могут быть организованы в любой форме, но, как правило, они включают групповые дискуссии по некоторым упомянутым выше проблемам, после чего экзаменаторам дается возмож-

ность выставить оценки за пробный ОСКЭ или просмотреть видеозапись реального ОСКЭ.

Блок 1. Результаты повышения квалификации экзаменаторов

Результаты обучения в ходе семинаров по повышению квалификации экзаменаторов

• Понять сферу применения и принципы экзамена ОСКЭ.

• В ходе экзамена демонстрировать последовательное профессиональное поведение.

• Понимать и использовать оценочные рубрики для поддержания стандартизации.

• Дать письменное заключение о профессиональной пригодности, если это требуется, при итоговых экзаменах.

• Дать устное заключение по окончании станции экзамена при промежуточных экзаменах.

• Обеспечить конфиденциальность экзаменационных ведомостей кандидатов.

• Понимать процедуры, предусмотренные для случаев неадекватного или опасного поведения кандидатов.

Несмотря на то что экзаменаторы стремятся поддерживать и развивать свои навыки путем регулярного участия в экзаменах, необходимость в проведении обновления знаний экзаменаторов может возникнуть в результате изменения формата экзамена или правил выставления оценок, а также при изменении требований учреждений или регуляторных органов. Такое обновление знаний может осуществляться либо с помощью онлайн-ресурсов, либо в ходе продолжения семинаров в небольших группах.

Формирование группы подготовленных стандартизированных пациентов

Стандартизированные пациенты образуют важнейший элемент ОСКЭ на многих станциях, требующих активного участия пациентов. Collins и Harden (1998) рассматривают различные группы пациентов, участвующих в клинических экзаменах, — реальных пациентов, не прошедших никакой дополнительной подготовки, и прошедших серьезную подготовку симулированных пациентов. Набор и подготовка каждого типа пациентов будет зависеть от их роли в экзамене. Несмотря на то что термины «симулированный пациент» и «стандартизированный пациент» используются в качестве взаимозаменяемых, симулированный пациент — это, как правило, обычный человек, которого обучили играть роль пациента с определенным заболеванием в реалистичной манере, т.е. стандартно [5]. Стандартизированный пациент (СП) — это обобщающий термин для симуляционного пациента и реального пациента, наученного, как представлять свое состояние стандартизированным путем [3]. Стандартизация в термине «стандартизированный пациент» относится к последовательному содержанию устных и бихе-виоральных ответов пациента на стимулы, исходящие от кандидата [1].

Поиск стандартизированных пациентов.

Тип пациентов, участвующих в каждой станции ОСКЭ, зависит от желаемых результатов данной станции экзамена и от роли, которую пациент предположительно будет играть. Если на данной станции от кандидата требуется выявление определенного клинического симптома, например шума в сердце, следует пригласить пациента, действительно имеющего этот сердечный шум.

#

Однако если задача станции — установление способности кандидата правильно исследовать сердечно-сосудистую систему (независимо от клинических отклонений), можно использовать здорового добровольца. На некоторых станциях, например, при сборе анамнеза и оценке коммуникативных навыков, как правило, требуется участие подготовленных симу-ляционных пациентов. В руководствах АМЕЕ № 13 и 42 подробно обсуждается выбор правильного типа пациента для конкретного экзамена [5, 8].

Отбор пациентов можно осуществлять различными способами; реальных пациентов с определенными клиническими симптомами можно отбирать посредством контактов с врачами общей практики и специализированных клиник. Наиболее подходящим лицом для первичного контакта является врач, который был ранее знаком с пациентом и несет ответственность за его лечение [8]. Набрать пациентов с распространенными заболеваниями, сохраняющими стабильность с течением времени, проще, чем искать пациентов с редкими и нестабильными заболеваниями; это следует принимать во внимание в процессе проектирования и формирования станции экзамена. Здоровых добровольцев можно найти, размещая объявления в местной прессе, контактируя с местными образовательными учреждениями, и путем непосредственного общения. Часто при аттестации сложных коммуникационных задач, таких, как сообщение неприятных известий, и при особо важных экзаменах приглашаются актеры [5]. Участие хорошо подготовленных профессиональных актеров, вероятно, будет сопровождаться значительно большими затратами, нежели участие добровольцев и реальных пациентов, которые могут быть вознаграждены только компенсацией их расходов.

Во многих крупных учреждениях отбор возлагается на координатора по стандартизированным/симулированным пациентам, который должен принимать во внимание возможности, пригодность и убедительность СП. Каждый из этих вопросов подробно обсуждается в руководстве АМЕЕ № 42 и не входит в сферу рассмотрения настоящего руководства [5].

Подготовка стандартизированных пациентов. Всем СП требуется подготовка, но усилия, связанные с подготовкой пациентов, зависят от того, участвуют в экзамене реальные пациенты или симулированные пациенты (актеры). Во всех случаях необходимо понимать важность достоверного и повторяющегося изображения рассматриваемых клинических состояний и необходимость стандартизации различных кандидатов. В некоторых случаях для выполнения этих задач достаточно предэкзаменационного собрания в день экзамена; но, как правило, симулированные пациенты, играющие роль в более сложных сценариях, требуют специального тренинга перед началом экзамена.

Помимо того что симулированные пациенты участвуют в ОСКЭ, их часто используют для выработки умений у студентов вне рамок экзамена. Удобным и экономичным вариантом является проведение одновременного тренинга с группами симулированных пациентов, которых планируется использовать в данном учреждении для различных целей. Подробное обсуждение семинаров по подготовке симулированных пациентов приводится в руководствах АМЕЕ № 13 [8] и № 42 [5] и не воспроизводится здесь. Кроме того, существуют ассоциации, задача которых — обучение СП, например

Ассоциация преподавателей стандартизированных пациентов, которая обеспечивает руководство, обучение и структуризацию обучения, а также оценку СП (Turner и Dankoski, 2008). Несмотря на то что в литературе отсутствует единое мнение о длительности обучения каждого симулированного пациента, по одной из оценок, для надлежащего обучения симулированного пациента, в зависимости от его роли, опыта и способности к адаптации, потребуется до 15 ч [34].

После того как обучение завершено, необходимо оценить качество подготовки каждого СП, прежде чем он будет приглашен к участию в экзаменах высшего уровня. Можно провести видеозапись поведения симулированных пациентов, после чего их способности оцениваются независимой группой педагогов [45]. Другими вариантами могут быть участие новых симулированных пациентов в пробном ОСКЭ и получение заключения от кандидатов и экзаменаторов для оценки качества выполнения их роли [36].

Если имеется координатор по подбору и работе с СП, он должен вести список подготовленных пациентов, которых можно приглашать на последующие экзамены. В идеале пациенты, входящие в этот список, должны пройти подготовку к выполнению различных ролей; это позволит повысить гибкость и максимизировать потенциал обнаружения нужного человека для определенного сценария [43].

СП — ценный ресурс, важно поддерживать их заинтересованность в выполнении этой роли посредством своевременной выдачи вознаграждения и выражения благодарности за их помощь [5].

Проведение ОСКЭ

Административные задачи

Как уже говорилось ранее, любой вид экзамена порождает значительное количество административной работы. Ниже описана основная административная деятельность, которая может потребоваться для успешного проведения ОСКЭ (Блок 2).

Любая значимая информация, относящаяся к проведению ОСКЭ, должна быть включена в процедурное руководство для будущего использования. Эта информация может включать списки прошедших обучение экзаменаторов, подготовленных СП, источников оборудования и возможностей доставки.

Блок 2. Общие административные задачи при ОСКЭ

Распределение студентов по экзаменационным центрам

• Если экзамен проводится в нескольких центрах, планирование нужно провести таким образом, чтобы возможные экзаменаторы не знали кандидатов, и чтобы кандидаты с теми или иными видами инвалидности направлялись в центры, имеющие соответствующие приспособления.

Транспортные вопросы и инструкции по отчетности

• Кандидатам должны быть предоставлены исчерпывающие инструкции о том, где они должны зарегистрироваться в экзаменационном центре. В некоторых случаях для больших групп кандидатов может потребоваться организация транспортировки.

#

Распространение бумажной документации

• Информация о станциях экзамена, списки кандидатов и экзаменационные ведомости должны быть распечатаны, подшиты и распространены по всем экзаменационным центрам. В экзаменационные ведомости должна быть предварительно внесена информация о кандидатах, чтобы сократить время, затрачиваемое на оформление во время экзамена.

Отбор стандартизированных пациентов (СП)

• Располагая информацией об экзаменационной станции, мы должны выбрать для каждой станции подходящих СП из числа пациентов, прошедших специальную подготовку. Часто для каждой станции экзамена требуется не один, а несколько СП, поскольку в тех случаях, когда станция включается несколько раз за день, пациент может утомиться. Кроме того, рекомендуется иметь некоторое количество резервных пациентов. Им необходимо заранее раздать сценарии и инструкции по выступлению.

Отбор экзаменаторов

• После того как будет принято решение об экзаменационных станциях, из числа подготовленных лиц необходимо отобрать подходящих экзаменаторов, принимая во внимание решения в отношении экзаменаторов, являющихся или не являющихся экспертами в данной области. Во всех случаях необходимо приглашать резервных экзаменаторов.

Выбор места проведения ОСКЭ

Место проведения ОСКЭ следует зарезервировать заблаговременно, с учетом числа станций и кандидатов. Помимо определения помещений для самого экзамена, в месте проведения экзамена в идеале должны быть помещения для собраний, административные офисы, комнаты ожидания для пациентов и экзаменаторов, карантинные зоны и зоны отдыха. Экзаменационные базы могут быть размещены в нескольких небольших помещениях, подобно амбулаторной клинике, или же можно превратить большое помещение в зону экзамена, перегородив его несколькими разделительными ширмами. При наличии отдельных комнат возникают преимущества большей конфиденциальности и низкой зашумленности, однако при этом труднее создать систему указателей для перемещения по цепочке комнат. В некоторых учреждениях имеется специальная группа помещений, отведенных под экзамен.

История Евы (продолжение)

За прошедший год я столько узнала об ОСКЭ! Я и не представляла себе, что для введения нового вида экзамена потребуется такая серьезная подготовка. В качестве руководителя работы по ОСКЭ я контролировала все учебные вопросы, которые уже описала.

Это заняло некоторое время, однако теперь мы располагаем банком вопросов, разработанных для оценки знаний студентов на последнем году обучения. Эти вопросы собраны в проекты, сопоставлены с учебным планом и прошли контроль качества с помощью независимых экспертов.

Последние несколько месяцев мы занимались поиском и обучением наших новых экзаменаторов по ОСКЭ. Джордж действительно мне очень помог: он согла-

сился рассказать им, как работает система ОСКЭ в его университете. Большинство экзаменаторов поддержали переход на новый метод оценки, однако были и те, кто сопротивлялся новшествам. Во время последовавших дебатов обладание базовыми знаниями о преимуществах и недостатках ОСКЭ принесло реальную помощь.

Нам удалось найти несколько добровольцев, которые согласились участвовать в ОСКЭ в качестве пациентов. Кроме того, мы нашли несколько реальных пациентов с хорошими клиническими симптомами для станций клинического экзамена.

Мы решили провести пилотный экзамен с группой интернов примерно за месяц до настоящего экзамена у студентов последнего года. Таким образом, мы смогли бы проверить практические характеристики экзаменационных баз и удостовериться, что экзаменаторы и пациенты готовы к исполнению своих ролей. Нужно обдумать еще столько всего, чтобы великий день прошел без сучка и задоринки! Я составила список основных требований к проведению ОСКЭ и теперь поделюсь этим списком с вами.

Формирование цепочки и оборудование ОСКЭ

Цепочка ОСКЭ. Цепочка — это термин, используемый для описания комплекса баз, обеспечивающих безостановочный поток кандидатов во время экзамена. Каждый кандидат на протяжении экзамена должен посетить каждый пункт цепочки. Количество кандидатов в каждой группе должно быть, таким образом, равно числу экзаменационных пунктов, если только, как описано ниже, не используется система «перевалочных баз». Каждому кандидату назначается начальная база, и затем он переходит от базы к базе по

направлению цепочки до тех пор, пока все этапы не будут пройдены. Местная организационная группа, как правило, несет ответственность за построение этой цепочки.

Цепочка с перевалочными базами. Добавление перевалочных баз позволяет кандидатам и экзаменаторам сделать перерыв, при этом в случае необходимости можно добавить к группе еще одного кандидата [19]. Следует позаботиться о том, чтобы эта станция была изолирована, т.е. чтобы кандидат, находящийся на этой станции, не мог услышать, что говорят на других станциях. Это помещение необходимо четко пометить и сообщить кандидатам о нем до начала экзамена, хотя в идеале у студентов должны быть практические семинары для ознакомления с экзаменационной цепочкой. Крайне важно помнить, что цепочка не может начинаться с комнаты отдыха или заканчиваться ею. Если перевалочные базы находятся в начале или в конце цепочки, то в конечном итоге кандидат может пропустить одну или несколько станций. Именно поэтому перевалочные базы должны находиться между экзаменационными пунктами.

Проблемы индивидуальных станций. При

формировании отдельных станций следует позаботиться о назначении помещений, оборудования и персонала, подходящих для выполнения тех или иных заданий. Например, станция, не требующая участия экзаменатора, на которой кандидату представляются результаты обследования и несколько письменных вопросов, потребует уголка, в котором поместятся только стул и стол, тогда как база для проверки реанимационных навыков требует достаточного пространства для установки манекена, дефибриллятора и рабочего места экзаменатора.

#

На каждой станции кандидаты должны располагать надлежащими приспособлениями для осуществления всех процедур, например регулируемым освещением при осмотре глазного дна или тихой зоной для аускульта-ции грудной клетки [25]. На некоторых базах для оборудования могут потребоваться электрические розетки или подключение к источнику сжатого воздуха.

Оборудование. Оборудование, необходимое для каждой станции ОСКЭ, включено в документацию на этапе описания каждой станции. Все оборудование должно быть доставлено заблаговременно, задолго до проведения ОСКЭ, и приведено в рабочее состояние. В наличии всегда должны иметься запасное оборудование и батареи на случай поломки или отказа основного оборудования.

Следует принять решение об использовании студентами во время экзамена собственных инструментов и оборудования. Если предполагается, что студенты должны иметь собственный стетоскоп, им нужно об этом сообщить.

Если требуется более сложное оборудование, например высокоточные симу-ляторы пациента, в наличии должен быть персонал, способный программироватиь и запускать это оборудование, поскольку большинство экзаменаторов не знакомы с такими устройствами.

Собрания в день экзамена. В день экзамена проводятся отдельные собрания для студентов, экзаменаторов и СП. Если ранее уже был проведен тренинг и всем участникам предоставлены письменные инструкции, собрание должно быть коротким и емким. Рядом (Блок 3) приведена важнейшая информация, которая может освещаться на таком собрании.

Блок 3. Собрание в день экзамена

Информация о собрании, проводимом в день экзамена

Собрание кандидатов

Описание цепочки с указанием стартового пункта, перевалочных пунктов и пилотных пунктов. Напоминание о правилах и нормах поведения.

Карантинные процедуры. Противопожарные правила.

Собрание экзаменаторов

Цель экзамена (этапный или итого -вый).

Проверка соответствия студентов списку в начале этапа экзамена. Просмотр оценочных рубрик и правил заполнения экзаменационных ведомостей.

Важность поддержания конфиденциальности станций и оценок кандидатов.

Не сообщать студентам ничего сверх того, что допускается сценарием. Относиться ко всем кандидатам одинаково.

Процедуры сообщения о проблемах, касающихся кандидатов. Заполнение документов обратной связи после окончания экзамена. Противопожарные и карантинные мероприятия

Собрание стандартизированных пациентов

• Важность стандартизации кандидатов.

• Их роль в обеспечении обратной связи.

• Помещения для отдыха, перерывы и прием пищи.

• Противопожарные правила.

Запуск цепочки ОСКЭ и решение проблем

Запуск цепочки. Перемещение кандидатов от одного экзаменационного пункта к другому может происходить под управлением ручного звонка или с помощью автоматизированной презентации РолегРотЛМ с голосовыми командами, содержащими четкие инструкции для кандидатов и экзаменаторов. ОСКЭ начинается с команды «Начинайте подготовку». После этого кандидаты читают вопрос, а через 1 мин следует команда «Войти в экзаменационный пункт». Следующее указание — «Осталась одна минута»; через это время экзаменационный пункт заканчивает работать, и следует команда «Двигайтесь дальше». Во время промежуточного экзамена через определенные промежутки времени повторяется команда «Включить обратную связь». Цикл повторяется на всем протяжении экзамена. Эта система, вероятно, лучше системы звонков, поскольку позволяет избежать путаницы при интерпретации смысла каждого звонка. Однако в случае использования автоматизированной системы команд крайне важно располагать резервным вариантом на случай технической неисправности, т.е. простым секундомером и звонком.

После начала экзамена необходимо, чтобы специальный персонал наблюдал за перемещением студентов в нужных направлениях. Если кому-либо из СП требуется

перерыв, его необходимо срочно заменить резервным СП, как это было описано ранее. По окончании экзамена экзаменационные ведомости собирают, и экзаменационные пункты перезапускают для следующего прохождения цепочки, если это необходимо.

Карантин. Под карантином подразумевается отделение тех студентов, уже закончивших экзамен, от тех, кому он еще предстоит в этот же день. В одной и той же цепочке пунктов ОСКЭ могут проводиться утренняя и вечерняя сессии, что делает возможной передачу информации, в том случае если утренняя смена студентов будет иметь возможность остаться на экзаменационной базе до прибытия вечерней смены. Это может привести к несправедливому преимуществу для второй группы кандидатов. Чтобы решить эту проблему, студенты, ранее прошедшие экзамен, находятся «на карантине» в отдельной комнате, до тех пор пока все остальные студенты не появятся и не будут зарегистрированы. В экзаменационных центрах не разрешается пользоваться мобильными телефонами и другими устройствами для дальней связи.

Решение проблем. В день экзамена может возникнуть множество проблем. Некоторые распространенные проблемы и их возможные решения описаны ниже (частично эта информация взята с вебсайта Королевского университета в Белфасте: http://www.med.qub.ас.ик/ОСКЭ/ background_Dilemma.html) (табл. 5).

Таблица 5. Частые проблемы и руководство по их решению

Проблема Возможное решение

Различные характеристики СП, влияющие на стандартизацию станции экзамена В редких случаях СП могут вести себя по-разному с различными студентами или предоставлять ненужную информацию. Тщательный отбор и тренировочные процедуры должны свести к минимуму значимость этой проблемы. Кроме того, экзаменаторы должны помнить о возможности возникновения этой проблемы и при необходимости заступиться за студента

Поломки оборудования Всегда следует иметь под рукой запасное оборудование. Если студенты теряют время на ожидание запасного оборудования, можно перенести эту станцию экзамена на конец последовательности

Таблица 5. (окончание)

Проблема Возможное решение

Непредсказуемое поведение студентов Нервные студенты в условиях стресса часто ведут себя непредсказуемо. В частности, они могут потеряться в месте проведения экзамена или на этапах цепочки ОСКЭ. Адекватная поддержка персонала должна помочь студентам двигаться в нужном направлении и получить ответы на все вопросы. Экзаменаторам иногда приходится поторопить студента, чтобы он своевременно перешел на следующую станцию, если он пропустил звонок или голосовую команду

Студенты уносят инструкции или оборудование из экзаменационных помещений Инструкции должны быть надежно закреплены на столе или подставке. Экзаменаторы и вспомогательный персонал должны внимательно следить, чтобы студенты не забрали из экзаменационного помещения оборудование

Экзаменатор уносит экзаменационные ведомости или информацию об экзаменационной станции В результате информация о станции не может использоваться следующими группами экзаменующихся. Экзаменаторы должны быть предупреждены о том, что все документы должны оставаться в экзаменационном пункте. Вспомогательный персонал собирает все документы, прежде чем экзаменаторы покинут экзаменационный пункт, для того чтобы снизить вероятность такого происшествия

История Евы (окончание)

#

Итак, мы сделали это! Какой это был изнурительный день! Но нам очень понравилось, как все прошло. Студенты, пациенты и экзаменаторы появлялись вовремя и знали, что нужно делать. Все проведенные заседания и процесс планирования оказались ненапрасными. Экзамен проходил гладко, за исключением некоторых затруднений в связи с отказом оборудования, однако мы предвидели это и сумели заменить неработающие устройства запасными. К концу дня пациенты тоже выглядели уставшими; думаю, в будущем нам следует набирать больше резервных пациентов.

Теперь, когда мы провели ОСКЭ, все могут вздохнуть с облегчением, однако работы впереди еще очень много. Мне напомнили об этом сразу же, как только я пришла в свой кабинет, чтобы проверить почту. Несколько писем было от студентов, которые спрашивали, когда они могут узнать свои результаты. Нам нужно собрать все отметки и опубликовать их. Я собира-

юсь провести анализ результатов кандидатов и психометрический анализ нашего ОСКЭ; надо постараться получить некоторые действительно важные статистические сведения, для того чтобы в следующий раз внести необходимые усовершенствования. Я обсудила результаты с нашим специалистом по психометрике, который уже нам очень помог, а теперь стал совершенно не заменимым.

Процесс обеспечения качества с первого дня имел для нас очень большое значение; мы хотели не просто провести ОСКЭ ради ОСКЭ — нам хотелось провести достоверную и валидную оценку знаний и навыков, которые мы не могли бы оценить с помощью других имеющихся у нас методов. Этот процесс продолжается и в настоящее время благодаря обратной связи, анализу и психометрическим исследованиям. Мы можем использовать всю эту информацию, чтобы совершенствовать проведение ОСКЭ у будущих студентов.

Деятельность по окончании ОСКЭ Обработка результатов

По окончании экзамена экзаменационные ведомости собирают и проводят их перекрестную проверку на точность и пропуск оценок. Если имеются исправления, требующие верификации, нужно связаться с экзаменаторами. Результаты выводят в соответствующие динамические таблицы и вновь подвергают перекрестной проверке в рамках подготовки к рассмотрению экзаменационной комиссией и утверждению, как это описано ниже.

Экзаменационная комиссия и утверждение результатов

После составления сводных таблиц результатов они представляются экзаменационной комиссии для ратификации (утверждения). Экзаменационная комиссия утверждает результаты и заверяет их подлинность. В случае каких-либо сомнений результаты подвергают повторной проверке. При плохом или отрицательном результате экзамена на этом заседании определяются меры взыскания, после чего эти сведения передаются студентам.

или экзаменаторами, которые требуют справедливого и срочного разбора после каждого экзамена. Часто в учебном заведении существуют правила и процедуры, которые выполняются при возникновении таких обстоятельств. Обоснованные жалобы помогут внести изменения в порядок проведения экзамена и имеют определенное значение в системе обеспечения качества.

Обеспечение качества

Обеспечение качества каждого экзамена — непрерывный процесс, повторяющийся в каждом экзаменационном цикле. Хотя в процессе ОСКЭ действует множество процедур обеспечения качества, обеспечение качества за счет подготовки экзаменаторов, независимого анализа содержания этапов экзамена и гарантированной стандартизации также входят в число мер обеспечения качества, предшествующих проведению экзамена. На рис. 2 обозначены факторы, играющие роль в обеспечении качества. Те аспекты, которые еще не были затронуты ранее, будут описаны более подробно.

Публикация результатов

Внешние экзаменаторы

После утверждения ответственность за публикацию уточненных результатов несет аттестационная комиссия. Результаты могут быть доступны онлайн, а также посылаются студентам в виде бумажных копий.

Жалобы и апелляции

Возможны смягчающие обстоятельства или жалобы, предъявляемые студентами

Внешние экзаменаторы могут быть приглашены из различных учреждений, они могут прокомментировать соблюдение академических стандартов в сравнении с другими учреждениями, а также подтвердить, что процесс оценки достижений студента носит строгий и справедливый характер и осуществляется в соответствии с необходимыми правилами и постановлениями.

ТЕХНОЛОГИИ ОБУЧЕНИЯ

#

Психометрический анализ после окончания экзамена

Последующий анализ результатов ОСКЭ позволяет определить достоверность оценок, выставленных в ходе экзамена. Эта тема вкратце обсуждается в разделах «Длительность станции» и «Формирование банка вопросов экзаменационной станции». Хотя детальное обсуждение этих вопросов выходит за рамки настоящего руководства, на этом этапе для получения полного представления мы хотели бы вновь обратиться к концепции достоверности.

Достоверность оценок в ОСКЭ может быть определена по показателю альфа Кронбаха или по коэффициенту G, как это указывалось выше. Каждый из этих коэффициентов отражает ошибку оценок, выставленных при ОСКЭ. Коэффициент, равный 1, означает, что ошибок в оценках нет, и вся вариабельность является истин-

ной. Альфа Кронбаха или коэффициент G, равные 0,7 или 0,8, приняты в качестве допустимого уровня достоверности для экзаменов высшего уровня. В Великобритании РМЕТВ допускает в качестве стандарта для экзаменов высшего уровня в Королевском колледже минимальное значение коэффициента достоверности 0,9 (РМЕТВ, 2007).

Применение альфы Кронбаха позволяет выявить те станции ОСКЭ, которые представляют собой главные источники ошибок, путем исключения из анализа одной станции и рассмотрения достоверности оставшихся. Применение G-теории позволяет идентифицировать иные источники ошибок, включая вопросы, экзаменаторов и взаимодействие между кандидатами и вопросами, между кандидатами и экзаменаторами и т.д. Теория вопросов и ответов также позволяет получить результаты, в чем-то сходные с результатами применения G-теории, но не обладает

Независимый анализ вопросов (станций)

Внешние экзаменаторы

Стандартизация

4

ОБЕСПЕЧЕНИЕ КАЧЕСТВА

Подготовка экзаменаторов

Психометрика

Оценка

Рис. 2. Элементы обеспечения качества объективного структурированного клинического экзамена

мощностью для прогнозирования достоверности, если число экзаменационных станций изменится.

Важно провести психометрический анализ результатов ОСКЭ и использовать итоги этого анализа для повышения качества экзамена. В связи с этим отделениям и учреждениям, проводящим ОСКЭ, желательно прибегать к помощи специалистов по психометрике. В руководствах AMEE № 54 и 66 рассматриваются post-hoc психометрические тесты [38, 39].

Оценка

Для повышения качества экзаменационных станций и организации будущих экзаменов может использоваться обратная связь с экзаменаторами по поводу экзаменационного процесса. Как правило, после каждого заседания ОСКЭ экзаменаторам предлагается в письменной форме прокомментировать отдельные станции, в которых они принимали участие [22]. На основании этой информации выявляются и исправляются различные недостатки, например необоснованная сложность заданий, нечеткость инструкций для кандидатов и соответствие заданий отведенному для их выполнения времени.

В рамках процесса обеспечения качества кандидатам также может быть предложено представить свои соображения в связи с опытом прохождения экзамена [45].

тестационных методик. Часть II в большей степени касается организационных и практических факторов, заслуживающих рассмотрения при внедрении системы ОСКЭ.

Важнейшие достоинства ОСКЭ — стандартизация и достоверность его результатов в сравнении с предыдущими формами оценки профессиональной подготовки, однако необходимо, чтобы на достоверность результатов не оказывали влияния нерациональное планирование или недостаточная подготовленность авторов материалов для этапов экзамена, экзаменаторов или СП.

Организация и планирование ОСКЭ с нуля — огромная задача, требующая значительной логистической подготовки и обучения всех участников процесса. Хороший менеджмент и осознание потенциальных проблем облегчают практическое внедрение системы ОСКЭ. Процессы обеспечения качества включают последующую психометрическую оценку, позволяющую определить достоверность и качество этапов экзамена. Эти психометрические данные, в совокупности с анализом результатов, могут помочь в совершенствовании проведения экзаменов в будущем.

Инструкции и рекомендации, представленные в данном руководстве, должны помочь проектировщикам и преподавателям на каждом этапе организации ОСКЭ: от понимания и применения лежащей в основе теории до управления, организации, оценки и обеспечения качества.

Заключение

Заявление о конфликте интересов

В первой части данного руководства вводится концепция ОСКЭ и разъясняются теоретические принципы, лежащие в основе ее использования в ряду других ат-

Авторы не сообщают о наличии конфликта интересов. Авторы несут индивидуальную ответственность за содержание и написание данной статьи.

#

Сведения об авторах

Доктор Kamran Khan, MBBS, FRCA, FAcadMEd, MScMedEd, на момент написания данной статьи был старшим преподавателем медицинского факультета Манчестерского университета и консультантом по анестезиологии в Ланкаширской клинической больнице в Престоне (Великобритания). На протяжении своей карьеры доктор Khan проникся страстью к медицинскому образованию и получил высшую квалификацию в этой области, наряду со своей основной специальностью — анестезиологией. Он занимал высшие клинические и академические должности сначала в Оксфордском университете, а затем в Манчестерском университете. Он был заместителем директора аттестационной комиссии медицинского факультета Манчестерского университета. В настоящее время доктор Kamran Khan работает в ОАЭ в качестве консультанта по анестезиологии. Он представляет многочисленные выступления и публикации в областях своих академических интересов на национальном и международном уровнях.

Доктор Kathryn Gaunt, MBChB, MRCP, PGD(MedEd), на момент написания данной статьи была сотрудником по медицинскому образованию и симуляции Ланкаширской клинической больницы, Престон, Великобритания. Доктор Kathryn Gaunt окончила медицинский факультет Манчестерского университета в Великобритании в 2002 г. Она работала врачом приемного отделения паллиативной медицины и проявляла большой интерес к участию в медицинском образовании. В настоящее время она работает над получением высшей квалификации в этой об-

ласти. Не так давно она уделяла часть своего времени работе в качестве сотрудника отдела медицинского образования и симуляции Ланкаширской клинической больницы фонда NHS, где она читала лекции, проводила аттестации по ОСКЭ и участвовала в исследованиях и разработках в этой области. В настоящее время она вернулась к обучению по специальности «паллиативная медицина».

Доктор Sankaranarayanan Ramachandran,

MBBS, PgCert(MedEd), FHEA, - сотрудник отдела медицинского образования и симуляции Ланкаширской клинической больницы фонда NHS в Престоне (Великобритания). Доктор Ramachandran получил врачебную квалификацию в Индии и прошел постдипломное обучение по общей медицине. На протяжении своей карьеры он занимался обучением и повышением квалификации студентов-медиков и врачей. Он получил сертификат по постдипломному образованию и работает над получением степени магистра по медицинскому образованию в Манчестерском университете. Проявляет особый интерес к аттестации, проблемному обучению и исследованиям в области медицинского образования.

Доктор Piyush Pushkar, MBChB, работает в отделении реанимации Университетской больницы Эйнтри в Ливерпуле (Великобритания). Piyush окончил Эдинбургский университет и впоследствии работал в отделениях анестезиологии и реанимации в Ланкашире и Мерсисайде, а также врачом санитарной авиации в Квинсленде (Австралия). Кроме того, он работает в качестве врача-добровольца организации «Долой пытки» в Манчестере.

К.З. Кан, С. Рамачандран, К. Гонт, П. Пушкар

Руководство АМЕЕ № 81: Объективный структурированный клинический экзамен (ОСКЭ). Часть 2: Организация и управление

Приложение 1.

Шаблон заполнения наблюдаемой станции объективного структурированного клинического экзамена

ВОПРОСЫ Автор

AQ

Предмет/тема

Бронхиальная астма

Уровень подготовки студента (выбрать не менее 1)

[х] 3-й год [] 4-й год [х] 5-й год

Умения и навыки (основная область) Выберите от 1 до 3 вариантов ответа

[х] Умения физикального обследования

[] Навыки коммуникации и консультации

[х] Сбор анамнеза

[] Мануальные навыки

[] Умения выполненятьпроцедуры

[] Оценка психического состояния

[] Профессионализм

[х] Применение знаний

[] Назначение лечения

[] Интерпретация данных

[] Диагностические навыки

[] Планирование тактики ведения

[] Этические навыки

Длительность этапа (не изменяйте это поле)

8 мин

Информация для организаторов учебной базы

Возраст и пол СП Марк/Мэри Фриман, 32 года.

Необходимые ресурсы и оборудование

1. Ручка и бумага, если студенту нужно делать заметки.

2. Антисептик для обработки рук.

3. Кушетка для пациента.

4. Стетоскоп.

5. Бутылки с водой и стаканы.

#

ТЕХНОЛОГИИ ОБУЧЕНИЯ

Оборудование станции

1. Кресло экзаменатора должно располагаться так, чтобы он мог наблюдать за лицами студента и симулированного пациента.

2. Конторка или стол не обязательны. Если стол имеется, он НЕ должен служить барьером между студентом и пациентом.

Инструкции для студентов (даются за пределами экзаменационного пункта)

Вы студент, претендующий на должность врача общей практики. Марк/Мэри Фриман — 32-летний пациент, пришедший на очередной ежегодный осмотр в связи с бронхиальной астмой. В этом году г-н (г-жа) Фриман посещает врача впервые.

Предполагается, что вы соберете у пациента:

1) краткий специализированный анамнез астмы, чтобы оценить степень контроля астмы;

2) проведете специализированное обследование дыхательной системы.

Пожалуйста, не собирайте полный анамнез. , Пожалуйста, не проводите общее физикальное обследование. ,

Информация для экзаменатора Краткие базовые сведения о сценарии

Марк/Мэри Фриман — 32-летний пациент, пришедший на очередной ежегодный осмотр в связи с бронхиальной астмой.

Роль экзаменатора

Ваша роль заключается в наблюдении за процессом сбора анамнеза и оценке обследования дыхательной системы, проведенного студентом.

Каковы задачи данной станции, или что должен сделать кандидат?

• Предполагается, что студент соберет у пациента краткий специализированный анамнез астмы, чтобы оценить степень контроля астмы, и при необходимости даст соответствующие рекомендации.

• Кроме того, ожидается, что студент осмотрит грудную клетку пациента.

От студента НЕ требуется собирать подробный анамнез или проводить общее физи-кальное обследование.

Какую информацию экзаменатор может предоставить кандидату?

• Если студент собирается провести общее физикальное обследование, попросите его перейти к обследованию грудной клетки.

• Если студент пытается провести пальпаторную оценку голосового дрожания и шепотную пекторофонию, попросите его пропустить эти этапы и двигаться дальше.

Какую информацию экзаменаторы не могут предоставлять студентам?

• Пожалуйста, не повторяйте студентам известные им инструкции.

• Пожалуйста, не прерывайте и не торопите студента и не задавайте ему вопросы.

Клиническая информация, относящаяся к этапу экзамена Важнейшие моменты сбора анамнеза астмы

1 Дебют.

2 Длительность.

3 Семейный анамнез.

4 Род занятий.

5 Анамнез курения.

6 Работа по дому, мягкие игрушки.

7 Усугубляющие и облегчающие факторы, например физическая нагрузка, погода, аллергия и т.д.

8 Кашель.

9 Свистящее дыхание.

10. Круглогодичный или сезонный характер

11. Изменчивость симптомов в течение дня, ночные симптомы.

12. Влияние на образ жизни.

13. Госпитализации.

14. Лечение с применением стероидов.

Основные моменты обследования дыхательной системы

(Хороший студент вначале должен завершить обследование со стороны груди, прежде чем перейти к спине.)

1. Обнажение необходимых участков тела.

2. Осмотр на предмет симметричности и формы.

3. Пальпация трахеи, растяжение грудной клетки (в этом случае определение голосового дрожания не требуется).

4. Перкуссия спереди и сзади, включая область ключиц.

5. Аускультация спереди и сзади (проведение шепотной пекторофонии в этом случае не требуется).

#

ТЕХНОЛОГИИ ОБУЧЕНИЯ

Руководство Британского общества специалистов по торакальной медицине (ВТ8)

Руководство BTS по поводу домашних животных при бронхиальной астме. Не имеется контролируемых исследований о преимуществах отсутствия домашних животных дома. Если у вас нет кошки, и вы страдаете астмой, вероятно, вам не следует заводить кошку.

Руководство BTS по поводу курения при бронхиальной астме. Непосредственное и пассивное воздействие сигаретного дыма неблагоприятно влияет на качество жизни, функции легких, потребность в применении препаратов для неотложной помощи и долго -срочный контроль с использованием ингаляционных стероидов.

Руководство BTS по поводу контроля состояния при бронхиальной астме. Цель лечения астмы — контроль заболевания. Полный контроль определяется следующими признаками:

• отсутствие дневных симптомов;

• отсутствие ночных пробуждений, связанных с астмой;

• отсутствие потребности в применении препаратов для неотложной помощи;

• отсутствие обострений;

• отсутствие ограничений активности, включая физические нагрузки;

• нормальная функция легких (на практике — FEV1 и/или PEF >80% предсказанной или выше);

• минимальная выраженность побочных эффектов медикаментов. Информация для симулированного пациента

Кто вы?

Марк/Мэри Фриман, 32 года.

Социальные/экономические характеристики (если применимо)

• В настоящее время вы работаете в центре телепродаж (продаете готовые кухни).

• Вы живете в собственном небольшом доме с террасой с супругом и дочерью.

• 4 мес назад вы купили дочери кошку (на день рождения).

• Ваш супруг курит 20 сигарет в день, вы курите иногда в компании. Вы знаете, что вам не следует этого делать, но считаете, что редкие случаи курения не повредят вашим легким. Вы практикуете это с 16 лет.

• Вы выпиваете 2—3 порции алкоголя (пинты пива или больших бокала вина) в компании, т.е. 1 раз в неделю или реже.

• Вы очень редко ходите в спортзал.

• Ваше настроение можно считать нормальным (у вас нет тревоги или депрессии).

Анамнез

• Вы страдаете астмой большую часть своей жизни; по вашему мнению, диагноз поставили, когда вам было 5—6 лет.

• По-видимому, астма была гораздо тяжелее в детском возрасте: вы посещали больницу, но вам никогда не приходилось оставаться на лечение в стационаре.

• В подростковом возрасте вы стали чувствовать себя значительно лучше и редко нуждались в лечении.

• Во взрослом возрасте астма не слишком вас беспокоила, хотя вы всегда носили при себе синий ингалятор (сальбутамол) на всякий случай.

• Вы никогда не проводили курсы приема стероидных таблеток, и у вас нет собственного пикфлоуметра.

• Одного ингалятора обычно хватало на несколько месяцев, поскольку вам приходится использовать его 1 раз в несколько дней (однако см. ниже описание нынешнего положения дел). Когда вы пользуетесь ингалятором, вы делаете 2 впрыска за 1 раз (по инструкции), что приводит к облегчению кашля и уменьшению свистящего шума приблизительно через 5 мин.

• У вас есть старший брат, страдающий астмой, у вашей дочери легкая экзема, ваш отец всю жизнь страдает сенной лихорадкой.

• Ваша астма не имеет сезонного характера.

• Ее течение не изменяется в зависимости от времени суток.

Детали, касающиеся озабоченности и представлений пациентов

• Вы думаете, что, может быть, виноват кот. В то же время в молодости у вас была собака, и это не оказывало на вас неблагоприятного влияния, поэтому вы не считаете, что у вас аллергия на мех животных.

• Астма не особенно беспокоит вас; вы не считаете ее чем-то серьезным, но готовы пройти обследование.

Что вы должны сказать (план) и что не должны говорить

Вы считаете, что причиной ухудшения астмы стало то, что вы стали больше работать. На работе много стрессов, поскольку продажи компании идут не слишком хорошо. Вы не считаете, что у вас сильный стресс, это просто общая атмосфера на работе.

Что вы должны спрашивать (вопросы)

Пожалуйста, не задавайте вопросов.

Специфические аспекты стандартизации (специальные ответы на специальные вопросы, просьба придерживаться сценария)

Если студент слишком рано задает вам вопрос о ваших соображениях по поводу причины ухудшения астмы (прежде чем попытается установить отношения), скажите, что, по вашему мнению, это стресс на работе. Однако если студент задает вам тот же вопрос, когда между вами уже установились определенные взаимоотношения, упомяните о своем мнении по поводу стресса на работе, но скажите также: «Мне кажется, я отмечаю это со дня рождения моей дочери». Если студент спросит, почему, по вашему мнению, такое возможно, напомните про кота.

Опросник ОСКЭ

Приложение 2

Название/номер вопроса

Вопросы, относящиеся к выполнимости

Насколько легко будет найти Очень легко Относительно легко Трудно

СП для этого вопроса?

Вопросы, касающиеся валидности

#

Можно ли выполнить задания этой станции за 8 мин? Да Нет

Относится ли эта тема к числу тем учебного плана? Да Нет

В каком разделе учебного плана она изучается?

Тестируемые навыки должны присутствовать у врача 1-го года Да Нет

Позволит ли этот вопрос отличить хорошего студента от плохого? Да Нет

Позволяет ли эта станция воссоздать атмосферу, близкую к реальному осмотру пациента? Да Нет

Если кандидат пройдет этот этап, можно ли будет экстраполировать этот результат в его компетентность на реальном рабочем месте? Да Нет

Проверяет ли этот вопрос те первичные и вторичные профессиональные навыки, на тестирование которых он направлен? Да Нет

#

Дополнительные вопросы

Принесет ли пилотирование положительный результат при неуверенности в чем-либо из указанного выше? Да Нет

Можно ли использовать этот вопрос Да Нет

для проверки студентов других лет

обучения?

Если «да», укажите, пожалуйста, год

Литература

1. Adamo G. Simulated and standardized patients in ОСКЭs: Achievements and challenges 1992—2003 // Med. Teach. - 2003. - Vol. 25. - P. 262-270.

2. Angoff W.H. Scales, norms and equivalent score. In: Thorndike RL, editor. Educational measurement. 2nd ed. -Washington, DC: American Council on Education, 1971. - P. 508-600.

3. Barrows S.H. An Overview of the uses of standardized patients for teaching and evaluating clinical skills // Acad. Med. - 1993. - Vol. 68. - P. 443-451.

4. Bloch R, Norman G. Generalizability theory for the perplexed: A practical introduction and guide: AMEE Guide No. 68 // Med. Teach. - 2012. - Vol. 34. - P. 960-992.

5. Cleland J.A., Abe K., Rethans J.-J. The use of simulated patients in medical education: AMEE Guide No 42 // Med. Teach. - 2009. - Vol. 31. - P. 477-486.

6. Cohen-Schotanus J., Van Der Vleuten C.P. A standard setting method with the best performing students as point of reference: Practical and affordable // Med. Teach. - 2010. - Vol. 32. - P. 154-160.

7. Cohen R., Reznick R., Taylor B. et al. Reliability and validity of the objective structured clinical examination in assessing surgical residents // Am. J. Surg. - 1990. - Vol. 160. - P. 302-305.

8. Collins J.P., Harden R.M. AMEE Medical Education Guide No. 13: Real patients, simulated patients and simulators in clinical examinations // Med. Teach. - 1998. - Vol. 20, N 6. - P. 508-521.

9. Cusimano M.D., Cohen R., Tucker W. et al. A comparative analysis of the costs of administration of an OSCE (objective structured clinical examination) // Acad. Med. - 1994. - Vol. 69. - P. 567-570.

10. Downing S.M. Item response theory: Applications of modern test theory in medical education // Med. Educ. -2003. - Vol. 37. - P. 739-745.

11. Ebel R. Essentials of Educational Measurement. - New Jersey, NJ: Prentice-Hall, 1972.

12. Epstein R.M. Assessment in medical education // N. Engl. J. Med. - 2007. - Vol. 356. - P. 387-396.

13. Friedman Ben-DavidM. Standard setting in student assessment. Association for Medical Education in Europe // Medical Teacher - 2000. - Vol. 22 (N 2). - P. 120-130.

14. GMC. Tomorrow's Doctors [Online]. - London: GMC, 2009. [Accessed 10 June 2012] Available from http:// www.gmc-uk.org/static/documents/ content/GMC_TD_09__1.11.11.pdf

15. Harden R.M., Stevenson M., Downie W.W., Wilson G.M. Assessment of Clinical Competence using Objective Structured Examination // BMJ. - 1975. - Vol. 1. - P. 447-451.

16. Hodges B., Mcilroy J.H. Analytic global OSCE ratings are sensitive to level of training // Med. Educ. - 2003. -Vol. 37. - P. 1012-1016.

17. Humphrey-Murto S., Smee S., Touchie C. et al. A comparison of physician examiners and trained assessors in a high-stakes OSCE setting // Acad. Med. - 2005a. - Vol. 80. - P. S59-S62.

18. Humphrey-MurtoS., WoodT.J., TouchieC.Why do physicians volunteer to be OSCE examiners? // Med. Teach. -2005b. - Vol. 27. - P. 172-174.

19. Humphris G.M., Kaney S. Examiner fatigue in communication skills objective structured clinical examination // Med. Educ. - 2001. - Vol. 35. - P. 444-449.

20. Kaufman D.M., Mann K.V., Muijtjens A.M. et al. A comparison of standard-setting procedures for an OSCE in undergraduate medical education // Acad. Med. - 2000. - Vol. 75. - P. 267-271.

21. Khan K., Ramachandran S. Conceptual Framework for Performance Assessment: Competency, Competence and Performance in the Context of Assessments in Healthcare - Deciphering the Terminology // Med. Teach. - 2012. - Vol. 34. - P. 920-928.

22. Kowlowitz. V., HooleA.J., Sloane P.D. Implementing the objective structured clinical examination in a traditional medical school // Acad. Med. - 1991. - Vol. 66. - P. 345-347.

23. Kramer A., Muijtjens A., Jansen K. et al. Comparison of a rational and an empirical standard setting procedure for an OSCE. Objective structured clinical examinations // Med. Educ. - 2003. - Vol. 37. - P. 132-139.

24. Mann K.V., MacdonaldA.C., Nornici J.J. Reliability of objective structured clinical examinations: Four years of experience in a surgical clerkship // Teach. Learn. Med. - 1990. - Vol. 2. - P. 219-224.

25. Mccoy J.A., Merrick H.W. (eds). The Objective Structured Clinical Examination. Association for Surgical Education. - Springfield, IL, 2001.

26. Morgan P.J., Cleave-Hogg D., Guest C.B. A comparison of global ratings and checklist scores from an undergraduate assessment using an anesthesia simulator // Acad. Med. - 2001. - Vol. 76. - P. 1053-1055.

27. Newble D. Techniques for measuring clinical competence: Objective structured clinical examinations // Med. Educ. - 2004. - Vol. 38. - P. 199-203.

28. Newble D.I., Hoare J., Sheldrake P.F. The selection and training of examiners for clinical examinations // Med. Educ. - 1980. - Vol. 14. - P. 345-349.

Медицинское образование и профессиональное развитие №3 (17) 2014 I 51

ТЕХНОЛОГИИ ОБУЧЕНИЯ

29. Pell G., Fuller R., Homer M., Roberts T. How to measure the quality of the OSCE: A review of metrics - AMEE guide no. 49 // Med. Teach. - 2010. - Vol. 32. - P. 802-811.

30. PMETB. Developing and maintaining an assessment system-a PMETB guide to good practice [Online]. -London, 2007: PMETB. [Accessed 10 June 2012] Available from http://www.gmc-uk.org/assessment_ good_ practice_v0207.pdf_31385949.pdf

31. ReznickR.K., Regehr G., Yee G. et al. Process-rating forms versus task-specific checklists in an OSCE for medical licensure. Medical Council of Canada // Acad. Med. - 1998. - Vol. 73. - P. S97-S99.

32. Roberts C., Newble D., Jolly B. et al. Assuring the quality of high-stakes undergraduate assessments of clinical competence // Med. Teach. - 2006. - Vol. 28. - P. 535-543.

33. Shavelson R., Webb N. Generalizability theory and its contributions to the discussion of generalizability of research findings // Generalizing from Educational Research: Beyond Qualitative and Quantitative Polarization / Eds K. Ercikan, W.-M. Roth. - N.Y.; Lond.: Routledge, 2009. - P. 13-32.

34. Shumway J.M., Harden R.M. AMEE Guide No. 25: The assessment of learning outcomes for the competent and reflective physician // Med. Teach. - 2003. - Vol. 25. - P. 569-584.

35. Stevens D.D., Levi A. Introduction to rubrics: An assessment tool to save grading time, convey effective feedback, and promote student learning. - Sterling, VA: Stylus Pub, 2005.

36. Stillman P.L. Technical Issues: Logistics // Acad. Med. - 1993. - Vol. 68. - P. 464-468.

37. Tan C.P., Azila N.M. Improving OSCE examiner skills in a Malaysian setting // Med. Educ. - 2007. -Vol. 41. - P. 517.

38. TavakolM., DennickR. Post Examination Analysis of Objective Tests: AMEE Guide 54 // Med. Teach. - 2011. -Vol. 33. - P. 245-248.

39. Tavakol M., Dennick R. Post-examination interpretation of objective test data: Monitoring and improving the quality of high-stakes examinations: AMEE Guide No. 66 // Med. Teach. - 2012. - Vol. 34. - P. e161-e175.

40. Turner J.L., Dankoski M.E. Objective Structured Clinical Exams: A Critical Review // Fam. Med. - 2008. -Vol. 40. - P. 574-578.

41. Van Der Vleuten C.P.M., Van Luyk S.J., Van Ballegooijen A.M.J., Swansons D.B. Training and experience of examiners // Med. Educ. - 1989. - Vol. 23. - P. 290-296.

42. Vargas A.L., Boulet J.R., Errichetti A. et al. Developing performance-based medical school assessment programs in resource-limited environments // Med. Teach. - 2007. - Vol. 29. - P. 192-198.

43. Whelan G.P. Educational commission for Foreign Medical Graduates - clinical skills assessment prototype // Med. Teach. - 1999. - Vol. 21. - P. 156-160.

44. Wilkinson T.J., Frampton C.M., Thompson-Fawcett M., Egan T. Objectivity in Objective Structured Clinical Examinations: Checklists Are No Substitute for Examiner Commitment // Acad. Med. - 2003. - Vol. 78. -P. 219-223.

45. Williams R.G. Have Standardized Patient Examinations Stood the Test of Time and Experience? // Teach. Learn. Med. - 2004. - Vol. 16. - P. 215-222.