CC BY
17
КАК ОПРЕДЕЛЯТЬ СТАНДАРТЫ ДЛЯ ПРАКТИЧЕСКИХ ЭКЗАМЕНОВ: РУКОВОДСТВО AMEE № 85*
МакКинли Д.У., Норсини Дж. Дж.
Фонд развития международного медицинского образования и исследований (FAIMER), отдел научно-исследовательских и информационных ресурсов, США
В руководстве АМЕЕ (Ассоциация медицинского образования в Европе) предлагается обзор методов, используемых при определении проходных баллов для экзаменов, оценивающих практические навыки. Рассмотрение различных целей оценки обеспечит контекст для обсуждения методов определения стандартов, за которыми последует описание различных типов стандартов, которые обычно выделяют в медицинском образовании. Представлено пошаговое руководство по процессу определения стандартов. Руководство содержит подробные объяснения и примеры методов определения стандартов, и в каждом разделе представлены примеры исследований, выполненных с использованием этих методов при проведении практических экзаменов у медицинских работников. Руководство предназначено для тех, кто отвечает за определение проходных баллов на экзаменах и ищет ресурс, объясняющий методы определения проходных баллов. В руководстве рассмотрены основания для проведения оценки, даны определения стандартов и предложены методы их применения, которые исследовались при проведении практических экзаменов. В 1-м разделе руководства описаны типы стандартов, во 2-м - рекомендации по подготовке к исследованию по определению стандартов. Следующие разделы включают описание порядка проведения обсуждения, выбора метода, определения проходного балла и поддержание стандарта. В руководстве приведены аргументы в пользу мероприятий по определению проходных баллов, которые на основании результатов исследований соответствуют цели оценки и являются воспроизводимыми.
HOW TO SET STANDARDS ON PERFORMANCE-BASED EXAMINATIONS: AMEE GUIDE NO. 85
McKinley D.W., Norcini J.J.
Foundation for Advancement of International Medical Education and Research (FAIMER), Research and Data Resources, USA
This AMEE Guide offers an overview of methods used in determining passing scores for performance-based assessments. A consideration of various assessment purposes will provide context for discussion of standard setting methods, followed by a description of different types of standards that are typically set in health professions education. A step-by-step guide to the standard setting process will be presented. The Guide includes detailed explanations and examples of standard setting methods, and each section presents examples of research done using the
* Впервые опубликовано в журнале «Medical Teacher»: McKinley D.W., Norcini J.J. How to set standards on performance-based examinations: AMEE Guide No. 85. Medical Teacher. 2014; 36 (2): 97-110. DOI: https://doi. org/10.3109/0142159X.2013.853119.
Полное описание условий доступа и использования см. на странице: https://www.tandfonline.com/action/journalInformation?journalCode=imte20
method with performance-based assessments in health professions education. It is intended for use by those who are responsible for determining passing scores on tests and need a resource explaining methods for setting passing scores. The Guide contains a discussion of reasons for assessment, defines standards, and presents standard setting methods that have been researched with performance-based tests. The first section of the Guide addresses types of standards that are set. The next section provides guidance on preparing for a standard setting study. The following sections include conducting the meeting, selecting a method, implementing the passing score, and maintaining the standard. The Guide will support efforts to determine passing scores that are based on research, matched to the assessment purpose, and reproducible.
McKinley D.W., Norcini J.J. How to set standards on performance-based examinations: AMEE Guide No. 85. Medical Teacher. 2014; 36 (2): 97-110.
DOI: https://doi.org/10.3109/0142159X.2013.853119
ВВЕДЕНИЕ
Определение стандарта - это процесс определения или суждения об уровне знаний и навыков, необходимых для достижения типичного уровня выполнения задания, а затем определения балла по шкале экзаменационных баллов, соответствующей этому стандарту успеваемости. Процедуры определения стандарта используются для обеспечения концептуального определения компетентности для специальности или образовательного домена и для реализации этой концепции. При рассмотрении концептуального определения компетентности целесообразно проанализировать критерии, разработанные в компетентностно-ори-ентированном медицинском образовании. При определении стандарта выполнения может оказаться полезной описательная информация, представленная в разработке вех или контрольных показателей (Holmboe et al., 2010). Процесс определения стандартов предназначен для перевода концептуального определения компетентности в операционную версию, называемую проходным баллом (Kane, 1994; Norcini, 1994). Проверка соответствия проходного балла является еще одним важным элементом сбора доказательств в поддержку обоснованности интерпретации результатов теста
(American Educational Research Association et al., 1999; Kane, 2006). Были разработаны и исследованы различные подходы к определению проходных баллов на экзаменах. В этом руководстве будет представлен обзор методов, которые обычно использовались при практических экзаменах. Рассмотрение различных целей оценки обеспечит контекст для обсуждения методов определения стандартов, за ними последует описание различных типов стандартов, которые обычно выделяют в медицинском образовании. Будет представлено пошаговое руководство по процессу определения стандарта.
ПРАКТИЧЕСКИЕ АСПЕКТЫ
Несмотря на обширные исследования в области определения стандартов как на тестовых, так и на практических экзаменах, не существует «правильного» проходного балла и «наилучшего» метода.
• Различные методы дают разные результаты.
• Заранее определенные проходные баллы, установленные без учета содержания экзамена или успеваемости экзаменуемых, могут сильно различаться в зависимости от сложности и содержания экзаменов, что влияет на правильность принимаемых решений.
• Выбор метода зависит от цели экзамена и доступных ресурсов.
• Проходной балл должен определяться группой экспертов (например, преподавателями), знакомых с целью оценки и оцениваемым доменом.
• Выбранный метод определения стандарта должен быть тесно увязан с целями оценки; быть простым для понимания и внедрения;требовать суждений, основанных на данных о результатах успеваемости; требовать продуманных действий и основываться на результатах исследований.
ЦЕЛИ ОЦЕНКИ
В сфере образования часто возникает необходимость оценить, овладевают ли обучающиеся знаниями, навыками и умениями, необходимыми для успешной работы в конкретной сфере деятельности. Для определения наличия «достаточных знаний, навыков и умений» в рамках программы оценки обычно используются различные методы (Dijkstra et al., 2010).
В области медицинского образования существует множество подходов к оценке знаний, навыков, умений и отношений абитуриентов, студентов, выпускников и практикующих врачей. В течение некоторого времени для оценки компетентности врача преподаватели использовали любой доступный, даже неподходящий метод оценки (Norcini, McKinley, 2007). Например, хотя для врача важно уметь эффективно взаимодействовать с медицинским персоналом,оценка этого аспекта не может быть проверена надлежащим образом с помощью письменных экзаменов. Было разработано и внедрено несколько методов оценки, позволяющих перейти к практической оценке, которая связана с тем, что ожидается на практи-
ке. При обучении медицинских работников часто используются стандартизированные пациенты (СП), обычно без медицинского образования, обученные изображать жалобы «реальных» пациентов (Patil et al., 2003). Этот тип оценки предоставляет испытуемым возможность показать то, что они умеют (например, правильно провести медицинский осмотр, общаться с пациентом), а не то, что они знают (Miller, 1990).
При разработке методов оценки действий испытуемых также использовались другие методы или даже комбинации методов (Nestel et al., 2006). Во многих медицинских профессиях было введено использование различных экзаменов на рабочем месте, включая анализ амбулаторных карт и оценки методом «360 градусов» (Norcini, Burch, 2007). Эти типы оценки обычно используются в качестве мер по повышению качества и включают экспертную оценку, оценку результатов практической деятельности и меры оценки удовлетворенности пациентов или клиентов (Norcini, 2003).
Для различных целей оценки, по крайней мере отчасти, были разработаны разнообразные инструменты. Цели оценки могут быть следующие: определение тех, кто имеет право поступить в медицинский вуз (например, вступительные экзамены); проверка выполнения требований учебного курса (например, аудиторные экзамены); готов ли студент перейти на следующий уровень подготовки (например, итоговые экзамены в конце учебного года); готовность испытуемого заниматься полученной профессией (например, лицензионный и сертификационный экзамен) или доказательство компетентности испытуемого(например,поддержание сертификации). Обычно предполагается, что баллы, полученные на основании оценки, указывают на способность студента
«использовать соответствующие знания, навыки и суждения для предоставления качественных профессиональных услуг при ведении врачебных приемов в конкретной практической области» (Kane, 1992, с. 167). Баллы часто используются для принятия решений (или интерпретации) относительно того, приобрели ли студенты (или выпускники) достаточные знания и навыки для начала или продолжения профессиональной деятельности. Таким образом, баллы, полученные на экзаменах, используются для разделения испытуемых на 2 группы или более (например, сдавшие или не сдавшие экзамен). Результаты экзаменов могут использоваться для принятия решений о том, кто нуждается в дополнительной педагогической помощи, перейдет ли испытуемый на следующий уровень обучения или достиг ли он необходимой квалификации в проверяемой области.
M.T. Kane (Kane, 1992) определил компетентность как степень, в которой индивидуум может справляться с различными ситуациями, возникающими в определенной профессиональной области (с. 165). В сфере образования, лицензирования и сертификации оценка проводится для определения уровня квалификации кандидатов. Например, при разработке способов измерения компетентности, таких как объективный структурированный клинический экзамен (ОСКЭ), могут использоваться принципы, связанные с оценкой определенных доменов, включая определение характеристик, соответствующих удовлетворительному выполнению (Pell et al., 2010). Независимо от того, состоит ли экзамен из тестовых заданий с выбором ответа или практических заданий, важно учитывать, является ли целью сравнение испытуемого с другими кандидатами в рамках той же оценки
или определение его уровня квалификации. В следующем разделе руководства описаны типы стандартов, соответствующих различным целям.
ТИПЫ СТАНДАРТОВ
Стандарты можно разделить на относительные (иногда называемые нормативно-ориентированными) или абсолютные (иногда называемые критериально-ориентированными) (Livingston, Zieky, 1982). Стандарты, которые устанавливаются на основе сравнения тех, кто проходит оценку, друг с другом, являются относительными стандартами. Например, когда проходной балл устанавливается на основе количества или процента испытуемых, которые сдадут экзамен, стандарт является относительным. Этот тип определения стандарта обычно используется при отборе на работу или зачислении на образовательные программы, где количество доступных мест ограничено. При проведении квалификационных экзаменов (например, выпуск, сертификация, лицензирование) относительные стандарты обычно не используются, так как уровень подготовки групп испытуемых, как и содержание оценки, могут меняться с течением времени. Когда заранее определенные проходные баллы используются в учебных (аудиторных) тестах, уровень подготовки студентов группы и сложность данного теста не учитываются (Cohen-Schotanus, van der Vleuten, 2010). Уровень подготовки испытуемого и сложность теста являются факторами, которые могут отрицательно повлиять на подтверждение соответствия проходного балла. Чтобы избежать недостатков, связанных с методом определения относительных стандартов, в случае аттестационных экзаменов (например, лицензирование или сертификация) чаще используются подхо-
ды, позволяющие определить абсолютные стандарты.
Стандарты,установленные путем определения количества тестовых заданий, на которые необходимо ответить (или которые необходимо выполнить) правильно, чтобы сдать экзамен, являются абсолютными стандартами. Например, если для прохождения теста с несколькими вариантами ответа экзаменуемый должен правильно ответить на 75% вопросов, стандарт является абсолютным. При использовании абсолютных стандартов может возникнуть ситуация, что принятые решения приведут к ситуации, когда все экзаменуемые сдадут или провалят экзамен.
УСТАНОВЛЕНИЕ СТАНДАРТОВ И ПРАКТИЧЕСКИЕ ЭКЗАМЕНЫ
При проведении практических экзаменов используется несколько методов установления стандартов. Поскольку относительные стандарты устанавливаются на основе желаемого результата (например, зачисление на факультет 75 лучших кандидатов) и, следовательно, они легче поддаются определению, в этом руководстве основное внимание будет уделено методам установления абсолютных стандартов(сравнительный анализ приведен в табл. 1). Эти методы включают проверку экзаменационных материалов или результатов выполнения задания испытуемыми, и итоговые проходные баллы могут выводиться исходя из суждений группы профильных экспертов.
Подходы к установлению абсолютных стандартов ориентированы либо на задания, либо на испытуемых (Livingston, Zieky, 1982). При использовании методов, ориентированных на задания,экзаменаторы сосредоточиваются на содержании экзамена. Примерами методов определения стандар-
тов, ориентированных на задания, служат методы Ангоффа (Angoff, 1971), Эбеля (Ebel, 1972) и Недельского (Nedelsky, 1954). Напротив, при использовании методов, ориентированных на испытуемых, эксперты сосредоточиваются на успеваемости испытуемых. Эти методы включают методы контрастных групп, граничных групп и пограничной регрессии (Livingston, Zieky, 1982; Wood et al., 2006). В случае методов, ориентированных на испытуемых, задача экспертов состоит в том, чтобы определить, отражают ли оцениваемые ими результаты наличие у испытуемого знаний и навыков, необходимых для соответствия стандарту (например, на уровне минимальной компетентности).
Аспекты подходов, ориентированных на задания и испытуемых, в отношении тестовых экзаменов, были представлены в предыдущем руководстве AMEE (Bandaranayake, 2008). В настоящем руководстве описан порядок применения некоторых из этих подходов к ОСКЭ. В частности, даны рекомендации по использованию методов Ангоффа, пограничных групп, пограничной регрессии, контрастных групп и компромиссных методов установления стандартов с использованием симулированных данных ОСКЭ. Остальная часть руководства разделена на 4 главы: подготовка к проведению исследования для определения стандарта, проведение самого исследования, выведение проходного балла и внедрение и поддержание стандарта.
ПОДГОТОВКА К ПРОВЕДЕНИЮ ИССЛЕДОВАНИЯ ДЛЯ ОПРЕДЕЛЕНИЯ СТАНДАРТА
Проходной балл, как правило, определяется экспертной группой, знакомой с целью оценки и оцениваемой областью. Прежде чем группа приступит к работе, не-
Таблица 1. Особенности методов определения стандарта
Метод определения стандарта Цель Описание Комментарии
Относительный, или нормативно-ориентированный Ранжирование испытуемых • Стандарт отражает результаты выполнения задания группой. • Проходной балл устанавливается на основе результатов тестирования (т.е. процент выполнения) Целесообразно использовать, когда экзамен, например вступительное тестирование, тестирование при приеме на работу, должно успешно сдать заранее определенное число (или процент) испытуемых. Проходной балл может колебаться в зависимости от уровня подготовки испытуемого или сложности теста. Процент сдавших (количество или процент прохождения) стабилен
Абсолютный, или критериально- ориентированный • Стандарт отражает концептуальное определение мастерства, квалификации или компетентности. • Проходной балл устанавливается независимо от результатов тестирования Целесообразно использовать, когда необходимо определить соответствие испытуемых требованиям, установленным стандартом. При использовании этого типа стандарта существует возможность сдачи или несдачи экзамена всеми испытуемыми
Ориентированный на задание Определение уровня квалификации • Стандарт переводится в проходной балл на основе анализа экзаменационных материалов (например, вопросов с несколькими вариантами ответа, ситуационных задач, заданий). • Стандарт определен, и эксперты сосредоточиваются на содержании экзамена
Ориентированный на испытуемых • Стандарт переводится в проходной балл, основанный на оценке выполнения заданий испытуемыми. • Эксперты определяют, отражают ли оцениваемые ими результаты наличие у испытуемого знаний и навыков, необходимых для соответствия стандарту
Компромиссный вариант • Эксперты учитывают как проходной балл, так и процент сдавших (не сдавших) экзамен. • Эксперты высказывают мнение о том, какую величину составляют «приемлемый» минимальный проходной балл и процент сдавших. Может быть полезной альтернативой при ограниченных ресурсах. Этот подход предполагает, что проходной балл определен и результаты тестирования доступны. Целесообразно использовать, когда необходим баланс между абсолютными и относительными методами
обходимо выполнить ряд шагов. Во-первых, необходимо набрать соответствующих экспертов. В целях повышения объективности и получения достоверных проходных баллов члены экспертной группы должны быть осведомлены о содержании экзамена и его цели (Jaeger, 1991; Raymond, Reid, 2001). Кроме того, они должны быть знакомы с квалификацией студентов, проходящих экзамен. И наконец, необходимым условием является наличие опыта работы с данным методом оценки. Члены группы, которые выносят суждения о квалификации медицинских работников, должны быть экспертами в своей профессии и быть знакомы с требованиями, предъявляемыми к обучающимся на различных этапах обучения, так как они хорошо понимают последствия, связанные с прохождением экзамена. Поскольку ОСКЭ часто используется для проверки клинических и коммуникативных навыков, преподаватели, которые участвовали в проведении ОСКЭ в качестве экзаменаторов, или те, кто помогал в разработке материалов,используемых при проведении экзамена (например, чек-листов), идеально подходят в качестве экспертов группы по определению стандарта. Например, для определения стандартов в отношении коммуникативных навыков врачей в качестве экспертов можно рассматривать других членов медицинской бригады (например, сестринский персонал, инструкторов по обучению стандартизированных пациентов). В силу знакомства с ожидаемыми результатами работы врачей в клинических условиях они также подходят для участия в процессе определения стандартов. Следует рассмотреть возможность подбора подходящего состава экспертной группы с учетом пола, дисциплины (например, педиатрия, общая медицина) и про-
фессиональной деятельности (например, преподавательский состав и практикующие врачи). Это особенно важно, когда проходной балл определяет кандидатов, которые приступят к профессиональной деятельности (например, лицензионный экзамен). Чем больше экспертов, тем больше вероятность того, что итоговый проходной балл будет стабильным (Ben-David, 2000). Однако также важно учитывать вопросы управления большой экспертной группой. Необходимое количество экспертов должно определяться рядом факторов: последствиями, связанными с принятием экзаменационных решений; количеством заданий, которые необходимо оценить; разумными сроками для проведения совещания по определению стандарта и доступными ресурсами. Успешные совещания по определению стандарта могут проводиться с участием как 4, так 20 экспертов. Наличие большой группы предоставит координатору совещания возможность распределить участников на более мелкие группы для большего охвата материала. Решающим фактором будут ресурсы (например, место проведения, количество координаторов), доступные для проведения совещания.
Следующим шагом в организации совещания является подготовка материалов, которые будут использоваться при обучении членов экспертной группы. Подготовка экспертов имеет большое значение; необходимо выработать четкое понимание стандарта экзамена (например, студент, нуждающийся в исправлении; выпускник, готовый к практике под руководством наставника; специалист, готовый к самостоятельной практике) (Ben-David, 2000; Bandaranayake, 2008). Пониманию стандарта могут содействовать критерии, которые обычно являются частью компетентностно-ориентированной
учебной программы. Этот тип информации может помочь в определении знаний, умений и навыков, которые составляют стандарт успеваемости в конкретном контексте и на определенном этапе карьеры медицинского работника (Frank et al., 2010).
В рамках ознакомления для обучения можно использовать экзаменационные материалы. Например, для определения стандарта прохождения ОСКЭ члены экспертной группы могут пройти некоторые станции в качестве испытуемых. Это позволяет экспертам посмотреть на экзамен со стороны испытуемого. Затем проводится обсуждение характеристик, определяемых стандартом. Наконец, членам экспертной группы предоставляется возможность применить на практике выбранный метод.
В следующем разделе руководства представлены методы, которые можно использовать в целях определения проходных баллов для практических экзаменов, в качестве примера используется ОСКЭ. Эти методы обычно применяются для выведения проходных баллов для ОСКЭ и экзаменов с участием стандартизированных пациентов (Norcini et al., 1993; Boulet et al., 2003; Downing et al., 2006). В каждом разделе приводится описание исследований, касающихся метода, используемого в ОСКЭ или экзаменов с участием СП. Для предоставления подробных рекомендаций по определению проходных баллов для ОСКЭ были собраны данные по итоговому курсовому экзамену 50 студентов по 5 станциям ОСКЭ. Также были получены данные для тестового экзамена, состоящего из 50 вопросов. Этот симулированный набор данных будет использоваться для иллюстрации ряда методов, которые могут применяться для определения проходных баллов для ОСКЭ.
ПРОВЕДЕНИЕ СОВЕЩАНИЯ ПО ОПРЕДЕЛЕНИЮ СТАНДАРТА: МОДИФИЦИРОВАННЫЙ МЕТОД АНГОФФА
Пункты чек-листа
Было проведено несколько исследований, в рамках которых для определения стандартов для каждого пункта чек-листа использовался модифицированный метод Ангоффа (например Downing et al., 2003, 2006). Для этого процесса необходимо подготовить материалы по конкретным случаям для всех членов экспертной группы, включая чек-листы и форму для выставления оценок. Координатору совещания понадобится средство отображения оценок (флипчарт, проектор), также он должен подготовить формы для ввода данных и, если возможно, настроить электронные таблицы чек-листов по каждому кейсу. Это позволит провести простой анализ данных и вычислить средние значения для пунктов чек-листа, экзаменаторов и кейсов. В ходе исследований участники экспертной группы анализируют пункты чек-листа, и задача состоит в том, чтобы оценить процент испытуемых, отвечающих стандарту прохождения задания (например, минимально компетентные кандидаты), которые правильно выполнят действие, описанное в чек-листе ОСКЭ.
В табл. 2 показан примерный чек-лист пунктов для кейса с падением пожилого пациента. После обсуждения стандарта выполнения и получения материалов по конкретным кейсам экспертам рекомендуется рассмотреть первые 5 пунктов чек-листа в рамках группы. В примере наблюдается большая разница между оценками экспертов 10 и 13 по пункту 3. Следует организовать обсуждение расхождений в 15% или более с целью достижения консенсуса в отношении определения и задачи оценки. При наличии пунктов, расхождение по
которым составляет 15% или более, после совещания их следует проанализировать на наличие проблем, связанных с содержанием пункта чек-листа. Возможно, по некоторым пунктам расхождения в 15% и более не решатся путем обсуждения, но таких пунктов не должно быть много. Эти пункты, возможно, потребуется исключить из определения проходного балла, и любое обсуждение, которое проведут члены экспертной группы, может оказаться полезным при принятии этого решения. После выставления оценок и проведения обсуждения в рамках группы эксперты могут оценить отдельно остальные пункты чек-листа.
В таблице, используемой для этого примера, показана средняя оценка всех членов экспертной группы. Чтобы получить проходной балл по данному случаю, была рассчитана средняя оценка по всем пунктам чек-листа и членам экспертной группы. В этом примере проходной балл составляет 67%. Если испытуемые правильно выполнят 67% или более пунктов чек-листа, они получат проходной балл по этому кейсу. Указанные действия, связанные с использованием модифицированного метода Ангоффа, предпринимаются для определения проходного балла для одного кейса. Этот процесс повторяется со всеми чек-листами станций, включенных в ОСКЭ. Как только участники экспертной группы завершат процесс оценки, можно начинать ввод данных. Ввод данных можно упростить путем использования электронной таблицы для каждого кейса. Вычисление среднего значения по пунктам и экспертам позволяет получить минимальный проходной балл для каждого кейса. В зависимости от порядка начисления баллов и представления результатов оценки проходные баллы для ОСКЭ могут рассчитываться путем усреднения проходных баллов
по конкретным кейсам или доменам ОСКЭ (например, сбор анамнеза, физикальный осмотр, общение).
Ситуационные задания
Хотя модифицированный метод Ангоффа используется для сбора оценок на уровне пунктов чек-листа, чаще члены экспертной группы выносят свои оценки на уровне конкретного кейса или станции. Одним из обоснований такого подхода является то, что пункты чек-листа взаимосвязаны; вероятность задать вопрос или выполнить действие зависит от постановки других вопросов или других результатов физикального обследования (Ben-David, 2000; Boulet et al., 2003). Если метод Ангоффа применяется на уровне конкретного кейса, задачей членов экспертной группы является оценка процента испытуемых, которые будут соответствовать стандарту выполнения задания исходя из содержания кейса, а не отдельных пунктов чек-листа для станции (Kaufman et al., 2000). В качестве альтернативы членам группы можно предложить проанализировать пункты чек-листа и определить процент пунктов, по которым испытуемые, соответствующие стандарту выполнения (например, минимально компетентные), получат проходной балл.
Члены экспертной группы рассматривают материалы по данному кейсу и проводят аналогичную подготовку к вводу данных. Однако в зависимости от количества кейсов, подлежащих анализу в рамках процесса определения стандарта выполнения заданий, можно использовать 1 электронную таблицу. В табл. 3 приведен пример формата электронной таблицы для симулированной ситуации, о которой мы упоминали ранее, по 5 станциям ОСКЭ для курсового тестирования 50 студентов. Этот пример
Таблица 2. Модифицированный метод Ангоффа: пункты чек-листа
Пункт Текст Эксперт 10 Эксперт 11 Эксперт 12 Эксперт 13 Эксперт 14 Средний балл
1 Опишите падение подробно или расскажите, что произошло. 65 80 65 80 75 73
2 Ударились ли вы головой во время падения? 75 70 60 65 70 68
3 Потеряли ли вы сознание? 65 72 75 85 68 73
4 Были ли у вас обморок, головокружение или «туман в голове» в последнее время или непосредственно перед падением? 70 80 85 80 55 74
5 После падения наблюдаются ли у вас какие-либо новые симптомы, кроме боли в области таза, или двоения в глазах, или проблем с речью, или слабости в кисти/руке? 75 65 60 70 45 63
6 Было ли у вас учащенное сердцебиение перед падением? 80 55 40 62 60 59
7 Что усугубляет боль? 65 60 65 57 65 62
8 Были ли у вас другие случаи падения? 75 75 55 85 67 71
9 Какие заболевания вы перенесли? 65 68 75 50 70 66
10 Принимаете ли какие-либо лекарственные препараты? 70 65 45 55 55 58
11 Проверка симметрии силы нижних конечностей (должна включать сгибание ноги в тазобедренном суставе вправо) 67 68 70 65 65 67
12 Пальпация болевой и вертельной областей 65 70 68 75 60 68
13 Наблюдение за походкой 60 80 65 70 72 69
14 Проверка ориентации во времени или оценка состояния кратковременной памяти 65 75 78 60 70 70
15 Аускультация сердца 60 50 50 65 65 58
Проходной балл для данного кейса 67
предусматривает 5 экспертов. Как и ранее, обсуждаются характеристики испытуемых, соответствующих стандарту выполнения, представляются и рассматриваются тестовые материалы, и члены экспертной группы приступают к выполнению задания по оцениванию. Большое значение имеет отработка этого метода. На основе этого примера 6-й кейс будет использован для отработки метода и проведения обсуждения членами экспертной группы. Оценки из этого кейса не будут использоваться для получения проходного балла. Оценки по отдельным кейсам (процент правильных ответов) для всех студентов представлены в последнем столбце таблицы. При наличии времени члены экспертной группы могли бы предоставить свои оценки, а затем получить информацию о результатах выполнения задания на станциях всеми студентами. Затем они могут изменить свои оценки. Вычисление среднего значения по экспертам и станциям позволяет получить проходной балл для ОСКЭ.
Проведение совещания по определению стандарта: пограничная группа
Поскольку оба модифицированных подхода Ангоффа (пункты чек-листа и уровень конкретного кейса) обычно используются для определения проходных баллов в ОСКЭ и экзаменов с участием стандартизированных пациентов, члены экспертной группы могут столкнуться с задачей определения процента испытуемых, соответствующих стандарту, которые получат проходные баллы за правильное выполнение пунктов чек-листа или которые правильно справятся с конкретным случаем (Boulet et al., 2003). Для ОСКЭ часто используется метод, который основан на результатах выполнения заданий испытуемыми, а не на экзаменаци-
онных материалах,- это метод пограничных групп. Метод пограничных групп требует определения характеристик (например, знаний, умений и навыков)«пограничного» испытуемого. «Пограничным» является испытуемый, чьи знания и навыки не совсем достаточны, но в то же время не являются недостаточными (Livingston, Zieky, 1982). Экзаменационные материалы (или фактические действия экзаменуемых) оцениваются экспертами как «сдано», «пограничный уровень» или «не сдано». Затем проходной балл устанавливается на уровне среднего (т.е. 50-го процентиля) балла пограничной группы (например Rothman, Cohen, 1996).
Одна из модификаций этого метода, которая применяется в ОСКЭ, заключается в использовании оценок, собранных во время проведения экзамена (например Reznick et al., 1996). Эта модификация не требует создания экспертной группы; вместо этого наблюдатели предоставляют информацию, используемую для определения проходного балла для каждой станции. В случае привлечения экспертов (например, врачей, преподавателей) для оценки станций ОСКЭ их можно спросить, будут ли наблюдаемые ими результаты выполнения заданий считаться «пограничными». Такой подход позволит сэкономить время за счет сбора оценок экзаменаторов во время проведения экзамена. После определения испытуемых, чьи результаты выполнения заданий считаются пограничными, проходной балл можно рассчитать путем определения среднего балла всех испытуемых, которые были классифицированы как «пограничные».
Чтобы проиллюстрировать этот подход, будет использоваться тот же набор данных, что и для модифицированного подхода Ангоффа, который представлен в табл. 4. 50 студентов прошли тестирование, и экзамена-
Таблица 3. Модифицированный метод Ангоффа: проходной балл по каждой станции
Станция Эксперт 10 Эксперт 11 Эксперт 12 Эксперт 13 Эксперт 14 Средняя оценка экспертов Средний балл (все студенты)
1 45 55 45 60 45 50 59,3
2 65 60 70 55 65 63 74,8
3 65 60 65 50 55 59 73,1
4 70 65 60 55 60 62 71,9
5 65 60 65 55 60 61 70,1
Проходной балл 59 69,8
торы выставили оценку, указывающую на наблюдаемый результат выполнения заданий на каждой станции - «не сдал», «пограничный уровень», «сдал» или «высший балл». На станции ОСКЭ из 50 студентов 9 показали «пограничный» результат. Чтобы получить проходной балл для станции, был рассчитан средний балл (т.е. 50-й процентиль). Для этого примера проходной балл был определен с помощью программного обеспечения для электронных таблиц: MEDIAN (C 23, C 26, C 29, C 36, C 37, C 42, C 43, G2, G6); где «С» и «G» указывают столбцы, в которых расположены оценки ОСКЭ, а цифры указывают строки для оценок пограничных испытуемых. В этом примере средний балл составляет 64%, поэтому испытуемые с баллами 64% или выше будут считаться сдавшими экзамен.
Модификация этого подхода используется Медицинским советом Канады (Smee, Blackmore, 2001) в виде 6-балльной шкалы оценок: «низшая», «плохая», «пограничная неудовлетворительная», «пограничная удовлетворительная», «хорошая» и «отличная». Средний балл станции для тех испытуемых, которые получили «пограничную неудовлетворительную» и «пограничную удовлетворительную» оценки, рассчитывается для выведения проходного балла для станции.
Модифицированный метод граничных групп (Modified Borderline Group Method) дает хорошие результаты при наличии достаточного количества испытуемых, которые были оценены как «пограничные» для данной станции. Однако стабильность проходного балла зависит от количества испытуемых в «пограничной неудовлетворительной» и «пограничной удовлетворительной» категориях. Если «пограничную» оценку имеют несколько испытуемых, то расчет проходного балла на основе среднего балла их станции вряд ли будет стабильным. Другими словами, надежность минимального проходного балла, полученного на основе 2 или 3 результатов, скорее всего, будет очень низкой.
Чтобы преодолеть этот потенциальный недостаток, T.J. Wood и соавт. (2006) изучили возможности применения регрессионного подхода. Использование всего диапазона оценок ОСКЭ может быть особенно полезным, если в экзамене участвовало лишь небольшое число испытуемых. Поскольку число испытуемых, классифицированных как «пограничные», может быть очень небольшим, итоговый проходной балл может быть менее точным, чем в случае использования всех баллов (Wood et al., 2006). В этой модификации оценка выполнения пунктов чек-листа
Таблица 4. Пример сбора индивидуальных результатов при использовании метода пограничных групп
Дата Номер студента Балл за кейс 6 Оценка экзаменатора Дата Номер студента Балл за кейс 6 Оценка экзаменатора
12.04.2010 15 75 Сдано 14.04.2011 12 64 Пограничный уровень
12.04.2010 20 83 Высший балл 14.04.2011 39 50 Не сдано
12.04.2010 43 75 Сдано 14.04.2011 28 57 Не сдано
12.04.2010 42 100 Высший балл 14.04.2011 50 43 Не сдано
12.04.2010 13 75 Сдано 14.04.2011 10 64 Пограничный уровень
12.04.2010 38 92 Высший балл 14.04.2011 48 71 Сдано
12.04.2010 5 92 Высший балл 14.04.2011 30 71 Сдано
12.04.2010 14 83 Высший балл 14.04.2011 23 71 Сдано
12.04.2010 29 83 Высший балл 13.04.2011 19 89 Высший балл
10.04.2011 37 60 Не сдано 13.04.2011 8 79 Сдано
10.04.2011 36 40 Не сдано 14.04.2011 1 64 Пограничный уровень
10.04.2011 16 50 Не сдано 14.04.2011 41 64 Пограничный уровень
10.04.2011 47 60 Не сдано 13.04.2011 19 89 Высший балл
10.04.2011 24 70 Сдано 13.04.2011 17 58 Не сдано
10.04.2011 40 80 Высший балл 13.04.2011 6 74 Сдано
10.04.2011 33 70 Сдано 13.04.2011 32 74 Сдано
10.04.2011 35 90 Высший балл 13.04.2011 27 95 Высший балл
10.04.2011 26 70 Сдано 13.04.2011 11 68 Пограничный уровень
10.04.2011 7 80 Высший балл 13.04.2011 3 68 Пограничный уровень
11.04.2011 4 56 Не сдано 13.04.2011 34 89 Высший балл
11.04.2011 18 75 Сдано 13.04.2011 46 84 Высший балл
11.04.2011 21 69 Пограничный уровень 11.04.2011 9 94 Высший балл
11.04.2011 2 50 Не сдано 11.04.2011 25 69 Пограничный уровень
11.04.2011 31 81 Высший балл 11.04.2011 22 75 Сдано
11.04.2011 45 63 Пограничный уровень 12.04.2011 44 92 Высший балл
11.04.2011 49 50 Не сдано
является зависимой переменной; ранжирование - независимой переменной. Цель регрессионного анализа состоит в том, чтобы спрогнозировать оценку выполнения пунктов чек-листа испытуемыми, классифицированными как «пограничные» для данной станции.
Метод пограничной регрессии прост и может применяться с использованием Microsoft Excel. Подробная информация об этом методе представлена на рис. 1-5, на которых изображена последовательность из 7 шагов.
• Шаг 1. Подготовьте таблицу с баллами ОСКЭ и оценками экзаменаторов.
• Шаг 2. Нажмите на вкладку с надписью «Данные», во всплывающем окне выберите «Анализ данных». Инструмент анализа - «Регрессия».
• Шаг 3. Определите «Диапазон входных данных Y» - прогнозные показатели. В данном случае это оценки ОСКЭ в колонке C.
• Шаг 4. Определите «Диапазон входных данных X» - показатели, которые будут использоваться для прогнозирования баллов. В этом случае будут выбраны оценки, предоставленные «Экзаменатором PF1» в колонке 0.
• Шаг 5. Определите место расположения результатов анализа. В этом примере мы присвоили электронной таблице имя «Лист 3». Нажмите кнопку ОК в окне «Регрессия» (правый верхний угол).
• Шаг 6. Результаты регрессионного анализа («Сводные данные») на «Листе 3».
• Шаг 7. Формула для получения проходного балла: проходной балл (медиана оценок * «Переменная 1»). Постоянное слагаемое.
Для этого примера проходной балл равен 7,4=(2х1 1,561)+52,326, где 2 - медиана оценок, 11,561 - «Переменная 1», 52,326 -постоянное слагаемое.
iß Л a-»- Ï3 • am ee_stdset_sim2.xls [Compatibility Mode] - Microsoft Excel _ в X
У \ Ho„ ,e Insert Page Layout Formula S Data Review View Developer Add-Ins Nuance PDF ® - Я X
Ar ial - : » - A' A " 3 » Number jf^j Conditional Formatting - ^Insert - î-'frA Sort & Find & Filter- Select- © в
- ä^A- ■ $ • % > îg Format as Table * 3* Delete - Share WebEx This File
-te J В « I и -IIШ — — =F al- too i°o Щ Cell Styles - gj Format -
Clipboard ni Font Ci II Alignment >» Number i Styles Cells Editing WebEx
Dl •b. f* 1 Examiner_PFl 1»
А T В с 1 D 1 E F G H 1 j К L M N 1
1 Date Student number OSCE Score 1 lExaminer PF11 1
2 10-Apr-11 16.00 40.00 ) 00
3 14-Apr-11 50.00 43.00 ) 00
4 10-Apr-11 24.00 50.00 ) 00
5 11-Apr-11 31.00 50.00 ) 00
6 11-Apr-11 4.00 50.00 ).00
7 14-Apr-11 12.00 50.00 ) 00
8 11-Apr-11 22.00 56.00 )00
9 14-Apr-11 39.00 57.00 ) 00
10 13-Apr-11 6.00 58.00 ) 00
11 10-Apr-11 36.00 60.00 .00
12 10-Apr-11 33.00 60.00 .00
13 11-Apr-1 21.00 63.00 .00
14 14-Apr-11 1 00 64.00 .00
15 14-Apr-11 10.00 64.00 .00
16 14-Apr-11 48.00 64 00 I 00
17 14-Apr-11 23.00 64.00 1 00
13 13-Apr-11 17.00 68.00 1.00
19 13-Apr-11 32.00 68.00 1.00
20 11-Apr-11 49.00 69.00 1.00
21 11-Apr-11 25.00 69.00 100
22 10-Apr-11 35.00 70.00 1.00
23 10-Apr-11 26.00 70.00 1.00
24 10-Apr-11 40.00 70.00 1.00
25 14-Apr-11 28.00 71.00 1 00
26 14-Apr-1 1 30.00 71.00 1.00
27 14-Apr-11 41.00 71.00 1.00
28 13-Apr-11 3.00 74.00 1 00
29 13-Apr-11 19.00 74.00 100
30 11-Apr-11 2.00 75.00 L00 _ ■
!e stdset sim2 . Sheetl Sheet2 tJ, \
Ready S ЩЦШМЕЩР^
Ë start о» С Search Desktop В ш ■■> a is 's © в п ¿С, '<©т. • В^Д 1:36 AM
Рис. 1. Электронная таблица баллов объективного структурированного клинического экзамена и оценок экзаменатора
i - jtea = borderline2.xls [Compatibility Mode] - Microsoft Excel -|-|д|х
—' Home Insert Page Layout Formulas Data Review View Developer Add-Ins Nuance PDF ® - a X
, [SI Connections цДЯГГ iv Clear sp 1 g lШ Data validation • Group • >1 Data Analysis
'•^J ^Properties Í» Reapply bkld Ü Ы Consolidate Ungrouo • -1 ?ф Solver
Data * АН- «» Ed I Columns Duplicates What-If Analysis - Д subtotal
Connections Sort & Filter
Bll r- f'\ 37 Data Analysis №
A B с D E Analysis Tools 1 „ i L M 1
? Date 10-Apr-2011 00:00:00 Student number OSCE Score ~ 36.00 40 00 Examiner PF Ö.00 Descriptive Statistics Exponential Smoothing F-Test Two-Sample for Variances - 1 Oral 1
3 14-Apr-2011 00:00:00 50 00 43 00 0 ОС -
4 14-Apr-2011 00:00:00 39 00 50 00 0 ОС Histogram 1 Help 1
5 10-Apr-2011 00:00:00 16.00 50.00 0 ОС Moving Average
6 11-Apr-2011 00:00:00 2.00 50 00 000 Rank and Percentile
8 11-Apr-2011 00:00:00 4 00 56 00 0.00 Sampling _ ...
У 14-Apr-2011 00:00:00 28 00 57.00 0 ОС
10 13-Apr-2011 00:00:00 17 00 58 00 0 ОС
11 10-Apr-2011 00:00 00 37 00 60.00 0 ОС
12 10-Apr-2011 00:00:00 47 00 60 00 0 ОС
13 11-Apr-2011 00:00:00 45 00 63 00 1 ОС
14 14-Apr-2011 00:00 00 1.00 64 00 1 ОС
16 14-Apr-2011 00:00:00 41.00 64 00 1.00
16 14-Apr-2011 00:00:00 12.00 6400 1.00
17 14-Apr-2011 00:00:00 10.00 64.00 1.00
18 13-Apr-2011 00:00:00 11.00 68.00 1.00
19 13-Apr-2011 00:00:00 3.00 68 00 1.00
20 11-Apr-2011 00:00:00 21.00 69.00 1.00
21 11-Apr-2011 00:00:00 25.00 69.00 1.00
22 10-Apr-2011 00:00:00 24.00 70.00 2.00
23 10-Apr-2011 00:00:00 33.00 70.00 2.00
24 10-Apr-2011 00:00:00 26.00 70.00 2.00
25 14-Apr-2011 00:00:00 48.00 71.00 2.00
26 14-Apr-2011 00:00:00 30.00 71.00 2.00
27 14-Apr-2011 00:00:00 23.00 71.00 2.00
28 13-Apr-2011 00:00:00 6.00 74.00 2.00
29 13-Apr-2011 00:00:00 32.00 74.00 2.00
30 12-Apr-2010 00:00:00 Sitn 15.00 Sheet] 75.00 IZSLJH 2.00 —— T- - - -- _____ — _ri_L- • 12:24 PM
Rea i Él (91. OF ■ m i«Doe> © в с •< о ■»>
Рис. 2. Анализ данных «Регрессия»
Рис. 3. Определение переменных для анализа
Рис. 4. Место расположения результатов анализа
Рис. 5. Результаты регрессионного анализа
Проходной балл может быть скорректирован на стандартную ошибку оценки (помеченную как «Стандартная ошибка» в Сводных данных), если в ходе проверки был сделан вывод, что экзаменатор на станции был особенно суровым (или снисходительным).
Проведение совещания по определению стандарта: метод контрастных групп
Метод контрастных групп требует, чтобы члены экспертной группы рассматривали работу испытуемых и классифицировали результаты как приемлемые или неприемлемые (Livingston, Zieky, 1982). В образовании для классификации испытуемых по этим категориям используется информация, полученная с помощью других видов оценки (Hambleton et aL, 2000). При наличии других показателей аналогичного содержания определяются две группы испытуемых. Затем результаты экзамена, на основе которого устанавливаются стандарты выполнения, используются для создания распределений (по одному для каждой группы), и проводится сравнительный анализ распределений, чтобы определить степень их совпадения. Это делается путем сведения в таблицу процентной доли испытуемых в каждой категории и на каждом уровне оценки, которые считаются «компетентными». Проходной балл - это точка, на которой около 50% испытуемых считаются компетентными. Для экзаменационных программ в области медицинского образования трудно найти другой измеритель, который позволял бы оценить те же навыки, которые измеряются в ОСКЭ. В медицинском образовании наиболее часто используется вариант, когда члены экспертной группы принимают решение о соответствии результатов выполнения задания, которые они оценивают по интересующему
показателю (например, ОСКЭ или экзамен с участием СП), характеристикам, связанным с установленными стандартами. Одним из примеров вариации этого подхода является получение проходного балла путем регрессии числа экспертов, оценивших выступление как «компетентное», к результатам тестов и установивших проходной балл в точке, в которой 50% членов экспертной группы оценили выступление как «компетентное» (Burrows et al., 1999).
В другом варианте метода контрастных групп эксперты оценивали результаты испытуемых по проверяемому экзамену, не зная полученных ими оценок (Clauser, Clyman, 1994). Затем проходной балл был определен как пересечение 2 распределений баллов. Применение этого подхода можно проиллюстрировать на предыдущем примере. 50 студентов прошли тестирование, и экзаменатор выставил оценку, указывающую, относятся ли наблюдаемые результаты к категории «сдано» или «не сдано». В табл. 5 показан набор данных, включающий диапазоны баллов и количество испытуемых, результаты которых оценены экзаменатором как «сдано» или «не сдано». В дополнение к колонкам под заголовком «Решение экзаменатора» указывается общее количество испытуемых, набравших баллы в пределах этого диапазона. В этом примере оценки экзаменатора отделены от диапазона оценок; вместо этого представьте, что оценки основаны на результатах выполнения пунктов чек-листа, заполненном другим экспертом. Результаты показывают, что эксперт обозначил сдавших экзамен испытуемых даже в самой нижней части диапазона баллов. Колонка «Процент сдавших» указывает на процент испытуемых, которые сдали бы экзамен, если бы проходной балл был установлен чуть выше диапазона баллов.
Таблица 5. Пример применения метода контрастных групп
Диапазон баллов Решение экзаменатора Всего Процент сдавших
Не сдано Сдано
0-49a 3 1 4 92
50-54 3 0 3 86
55-59 5 2 7 72
60-64 2 4 6 60
65-69 0 5 5 50
70-74 0 13 13 44
75-79 0 3 3 38
85-89 0 4 4 32
90-94 0 4 4 24
95-100a 0 1 1 2
"«Сглаженные» средние значения не могут создаваться для самого высокого и самого низкого балла.
Например, если бы проходной балл был установлен на уровне 50% правильных ответов, 46 испытуемых сдали бы экзамен, а число сдавших составил бы 92%. На рис. 6 показана область совпадений в распределении баллов. Учитывая подход, изученный Клаузером и Клейманом (С1аивег, С1утап, 1994), точка пересечения даст рекомендуемый проходной балл 65%. Испытуемые с результатом 65% или выше будут считаться сдавшими, а те, у кого результат 64% или ниже,- не сдавшими экзамен.
ОПРЕДЕЛЕНИЕ ПРОХОДНЫХ БАЛЛОВ ЭКЗАМЕНА
Хотя рассмотренные методы позволяют выводить проходные баллы для каждого задания практического экзамена, часто требуется определить проходной балл для экзамена в целом. Если испытуемые долж-
ны получить проходной балл по каждому проверяемому заданию или навыку, норма является конъюнктивной. Если учитываются результаты по всем задачам или навыкам, норма является компенсационной (Haladyna, Hess, 1999; Ben-David, 2000). При принятии решения о том, требовать ли от экзаменуемых успешного выполнения каждой задачи или рассматривать результат в целом, необходимо учитывать несколько факторов. Во-первых, результаты испытуемых, скорее всего, будут варьировать от задачи к задаче. Другими словами, вероятнее всего, в результатах каждого испытуемого будет наблюдаться несоответствие. Одни задания испытуемый будет выполнять лучше, чем другие. Кроме того, надежность оценки в случае отдельных задач, наверное, будет намного ниже, чем надежность оценки всех задач. Поскольку конъюнктивные нормы, скорее всего, при-
14
12
10
ш
о
0 я 8
1
®
S СО
Сдано ^^ Не сдано
А
\
ЛЛ
^ \
1 ■ 1 1 1 1 1 1 1 1
v ~ \ \ \ \ Ъ Ч Ч> Ч Ч Ч Ч Ч> Ч ч<
а ^ % qv >о
Уп х
Баллы
Рис. 6. Пример применения метода контрастных групп
ведут к увеличению числа обучающихся, не сдавших экзамен, необходимо учитывать последствия провала экзамена и логистику пересдачи или повторного обучения (Ben-David, 2000). Установление компенсационных норм предполагает усреднение (или суммирование) результатов по всем заданиям для получения экзаменационного балла. Компенсационные нормы позволяют испытуемым компенсировать плохой результат по одному заданию лучшим результатом по другому. Степень, в которой задачи (или навыки) соотносятся друг с другом, может содействовать принятию компенсационного или конъюнктивного решения (Ben-David, 2000). Другой вариант -рассмотреть вопрос о способе представления результатов испытуемым. Это решение важно, потому что тем, кто управляет процессом определения стандарта, необходимо будет
решить, как будут использоваться полученные проходные баллы. В конъюнктивной модели, чтобы сдать экзамен, испытуемые должны набрать или превысить балл по каждому заданию. В компенсационной модели для определения проходного балла за экзамен может использоваться средний проходной балл по заданиям. В отношении станций ОСКЭ решения могут приниматься по всем задачам (компенсационная модель), но, чтобы сдать экзамен, необходимо успешно выполнить задание на каждый навык (например, коммуникация, принятие клинических решений). Учет отзывов, предоставленных испытуемым, сыграет важную роль в определении того, какой метод - компенсационный, конъюнктивный или комбинированный, будет использоваться для определения проходного балла за экзамен.
6
4
2
0
Экзаменационные баллы (% правильных ответов) Рис. 7. Пример применения метода W.K.B. Нс^ее
КОМПРОМИССНЫЕ МЕТОДЫ
Хотя результаты, полученные от членов экспертной группы по определению стандарта, являются наиболее важными элементами при определении проходного балла, для определения итогового проходного балла, который будет применяться к экзаменам, часто используется дополнительная информация (Geisinger, 1991; Geisinger, McCormick, 2010). Одним из видов информации, которая учитывается при выведении проходного балла, является соотношение между количеством сдавших и не сдавших тест испытуемых. Компромиссные подходы, предложенные W.K.B. Hofstee (Hofstee, 1983), C.H. Beuk (Beuk, 1984) и D.N.M. De Gruijter (De Gruijter, 1985), прямо предусматривают учет экспертной группой как проходного балла, так и процента сдавших (или не сдавших) экзамен
испытуемых. Каждый подход предполагает, что у экспертов есть мнение, что представляют собой приемлемый проходной балл и процент сдавших.
W.K.B. Hofstee предположил, что выбранный проходной балл является только одним из множества возможных проходных баллов. Кроме того, существует возможность построить график всех возможных вариантов с процентом не сдавших. Чтобы убедиться, что экспертная группа учла эти данные,проводится обсуждение установленного стандарта (например, минимальной компетентности, уровня квалификации и т.д.), рассматриваются детали экзаменационного процесса, и членам экспертной группы предлагается ответить на 4 вопроса:
(1) Каков минимально допустимый процент студентов, не сдавших экзамен? (Минимальный процент не сдавших; f )
(2) Каков максимально допустимый процент студентов, не сдавших экзамен? (Максимальный процент не сдавших; Iтзх)
(3) Каков наименьший допустимый процент правильных оценок, который можно было бы считать проходным? (Минимальный проходной балл; ктп)
(4) Каков наибольший допустимый процент правильных оценок, который можно было бы считать проходным? (Максимальный проходной балл; ктзх)
4 базовые точки рассчитываются путем усреднения оценок, выставленных всеми экспертами. На графике отображается процент испытуемых, которые сдали бы тест при всех возможных значениях проходного балла, а также и 4 базовые точки, исходя из четырех оценок группы по установлению норм выполнения теста. На рис. 7 приведен пример применения метода W.K.B. Но1з1ее. В этом примере 140 студентов прошли курсовой экзамен, состоящий из 50 вопросов.
Кривая на графике показывает прогнозируемый процент не сдавших, исходя из процента оценок, полученных за правильные ответы на вопросы теста. Инструкторам были заданы 4 вопроса, которые приводились выше:
(1) Каков минимально допустимый процент студентов, не сдавших экзамен? Средний показатель: 20%.
(2) Каков максимально допустимый процент студентов, не сдавших экзамен? Средний показатель: 30%.
(3) Каков наименьший допустимый процент правильных оценок, который можно было бы считать проходным? Средний показатель: 60%.
(4) Каков наибольший допустимый процент правильных оценок, который можно было бы считать проходным? Средний показатель: 75%.
На основании информации, полученной от экспертов, наносятся 2 точки: пересечение наименьшего допустимого процента не сдавших и наибольшего допустимого процента правильных ответов и пересечение наибольшего допустимого процента не сдавших и наименьшего допустимого процента правильных ответов (см. рис. 7). Эти 2 точки создают линию, пересекающую кривую, которая определяется процентом правильных ответов и прогнозируемым процентом не сдавших. Проходной балл определяется пунктирной линией от пересечения до оси х (процент правильных ответов). Процент не сдавших определяется пунктирной линией от пересечения до оси у (процент не сдавших).
При модификации метода W.K.B. Но1Б1ее С.Н. Веик (Веик, 1984) предложил членам экспертной группы сообщить, в какой степени каждую из их оценок следует учитывать при определении окончательного проходного балла. Другими словами, членам экспертной группы необходимо было ответить на вопрос, в какой степени их решения ориентированы на испытуемых или на задание. Вычисляются средние значения и стандартные отклонения как проходных баллов, так и приемлемых процентов сдавших экзамен. На графике отображены средний процент сдавших и средний проходной балл. Определяется точка на графике, где эти 2 показателя пересекаются. Компромисс заключается в использовании отношения стандартного отклонения процента сдавших к стандартному отклонению проходного балла. Точка, в которой распределение баллов пересекает линию, образованную на основе наклона, составляет проходной балл. й.^М. йе Gгuijteг (1985) далее предложил задать членам экспертной группы дополнительный вопрос об уровне неопределенности в отно-
шении этих двух оценок. Методы C.H. Beuk и D.N.M. De Gruijter не были описаны в литературе по медицинскому образованию,но метод W.K.B. Hofstee использовался рядом исследователей.
N. Schindler и др. (Schindler et al., 2007) сообщили об использовании подхода W.K.B. Hofstee при определении проходных баллов за прохождение хирургической практики. Поскольку цель состояла в том, чтобы установить за прохождение практики общий проходной балл вместо индивидуальных оценок (тестовые экзамены, ОСКЭ, оценки за прохождение практики, рейтинги уровня профессионализма), группа по определению стандарта приняла решение о целесообразности использования метода W.K.B. Hofstee. Использование многочисленных взаимосвязанных оценок привело группу к выводу об установлении компенсационных норм, хотя недостаток профессионализма может привести к их невыполнению. Прежде чем ответить на 4 вопроса по методу W.K.B. Hofstee, члены экспертной группы проанализировали распределение баллов для всех студентов, а также для тех, кто не сдал экзамен в предыдущие годы, наряду с критериями выставления оценок и экзаменационными материалами.Авторы обнаружили, что эксперты достигли высокого уровня согласия и что процент сдавших был выведен обоснованно применительно к предыдущим данным по их успеваемости.
ВЫБОР МЕТОДА ДЛЯ ОПРЕДЕЛЕНИЯ СТАНДАРТА
При наличии множества доступных методов, возможно, будет трудно решить, какой из них является лучшим. При выборе метода определения стандарта необходимо руководствоваться практическими
соображениями. Метод должен позволять выносить суждения на основе информации; предпочтительны процессы, позволяющие выносить экспертные суждения с учетом результатов выполнения задания. Выбранный метод должен быть тесно увязан с целью оценки. Метод должен требовать вдумчивых усилий от тех, кто участвует в процессе, и в его основе должны лежать исследования. Наконец, метод должен быть легким для понимания и простым в реализации.
Важно иметь в виду, что исследование по определению стандарта позволит вывести рекомендуемый проходной балл и что балл должен соответствовать уровню выполнения задания, согласующегося с целью экзамена и процессом определения стандарта. Например, если экзамен используется для выявления студентов, нуждающихся в дополнительном обучении или исправлении, то проходной балл позволяет отделить группу студентов, готовых к следующему этапу обучения, от группы, которой следует повторить курс. В этом случае уровень выполнения заданий может быть не таким высоким, как уровень, соответствующий компетентности в самостоятельной практике. Если экзамен используется для выявления студентов, готовых к выпуску и приступить к практике под руководством опытного специалиста, то сдавшие экзамен обладают характеристиками, подтверждающими готовность приступить к практике под руководством наставника. Результат прохождения этих экзаменов имеет разное значение, и при окончательном определении проходного балла эти различия должны учитываться. Хотя определить наилучший метод невозможно, выбор должен основываться на цели экзамена, а также на практических соображениях, изложенных в этом руководстве.
ВНЕДРЕНИЕ СТАНДАРТА
Поскольку исследование по определению стандарта позволяет получить рекомендуемый проходной балл, существуют дополнительные вопросы, которые необходимо рассмотреть до внедрения результатов, полученных в процессе установления стандарта. Одно из важных решений, которое необходимо принять, заключается в том, будет ли проходной балл компенсационным или конъюнктивным. Для проведения ОСКЭ и экзаменов с участием стандартизированных пациентов обычно используется несколько станций. Если оценка усреднена (или суммирована) по всем кейсам, проходной балл должен быть получен аналогичным образом (т.е. усреднен или суммирован по всем кейсам). В этом примере норма будет считаться компенсационной; испытуемые, которые наберут или превысят проходной балл, пройдут, и плохие результаты на одной станции могут компенсироваться лучшими результатами на другой станции. В качестве альтернативы проходной балл может выводиться для каждого кейса/станции, и дополнительное требование может состоять в том, что для прохождения аттестации необходимо получить проходной балл по определенному количеству кейсов. В этом случае норма будет конъюнктивной. Поскольку ситуационные задания часто используются для измерения как клинических навыков, так и навыков межличностного общения, проходные баллы могут выводиться отдельно для каждого из этих навыков, и требование для прохождения будет заключаться в том, чтобы соответствовать или превышать проходной балл в каждой области. Такой подход также можно было бы считать конъюнктивным.
При принятии заключения о том, будет ли решение о сдаче или несдаче компен-
сационным или конъюнктивным, важно учитывать результаты исследований, проведенных в этой области. Результаты выполнения по разным задачам могут весьма различаться (Traub, 1994), и результаты, продемонстрированные в одном кейсе, вряд ли будут надежным показателем уровня подготовки испытуемого (Linn, Burton, 1994). Конъюнктивные нормы, основанные на требованиях отдельных станций, приведут к более высокому проценту не сдавших и могут повлечь за собой неправильные решения из-за ошибки измерения (Hambleton, Slater, 1997; Ben-David, 2000). В то время как более высокие проценты не сдавших также будут обусловлены конъюнктивными нормами, учитывающими соответствующие области навыков, разумно требовать выведения проходного балла для каждой области без возможности компенсации за счет других областей. M.F. Ben-David (Ben-David, 2000) полагает, что большое значение при принятии решения о компенсационных и конъюнктивных нормах имеет анализ конструкта, измеряемого с помощью оценки. Важными критериями, которые следует учитывать при принятии решения, являются цель оценки и обратная связь о результатах. Например, было бы очень полезно, чтобы испытуемые знали, что им необходимо улучшить свои навыки физикального обследования, но что они обладают достаточными навыками сбора анамнеза и коммуникативными навыками. В этом случае было бы разумно установить отдельные проходные баллы исходя из измеряемых навыков.
Еще одним фактором является формат представления результатов экзамена испытуемым и другим заинтересованным сторонам. Если ОСКЭ проводится в качестве курсовой оценки, не сдавшие экзамен
студенты (и их преподаватели), возможно, захотят узнать о сильных и слабых сторонах, чтобы сосредоточить свои усилия на повышении квалификации. Даже студенты, сдавшие экзамен, возможно, захотят узнать, есть ли какие-либо области, в которых они могли бы совершенствоваться. Предоставление обратной связи важно, особенно для не сдавших экзамен испытуемых (Livingston, Zieky, 1982; American Educational Research Association et al., 1999).
Наконец, важно учитывать процент сдавших экзамен. Понимание последствий принимаемых решений жизненно важно для обеспечения понимания и утверждения процесса лицами, принимающими решения. Маловероятно, что будет возможно вывести рекомендуемый проходной балл во время совещания по определению стандарта, поэтому следует провести встречу с заинтересованными сторонами (например, преподавателями, заведующими кафедрами), чтобы проинформировать их о результатах исследования и о последствиях(то есть о количестве сдавших).
ПОДДЕРЖАНИЕ СТАНДАРТА
После проведения совещаний, выведения и утверждения проходного балла следует подумать о том, как будет формироваться проходной балл для следующего экзаменационного цикла. Поскольку результаты выполнения заданий испытуемыми и сложность экзамена с течением времени могут меняться, один и тот же проходной балл может иметь разный эффект. В случае пересмотра экзаменационных материалов необходимо еще раз провести совещание по определению стандарта. Даже при отсутствии изменений в экзаменационных материалах важно следить за результатами выполнения заданий испытуемыми и слож-
ностью экзамена, а также за последствиями введения проходного балла (то есть за изменениями процента сдавших). Если тест станет легче (то есть испытуемые получат более высокие баллы), а проходной балл останется прежним, то процент сдавших, скорее всего, увеличится. И наоборот, если тест станет более сложным, процент сдавших, скорее всего, снизится. Рекомендуется регулярно пересматривать определение стандарта, а также проходной балл в свете изменений экзамена. Мониторинг успеваемости на экзамене имеет особое значение, если он используется для определения квалификации испытуемого, независимо от того, означает ли это переход на следующий уровень обучения или начало самостоятельной практики.
ЗАКЛЮЧЕНИЕ
Несмотря на обширные исследования по определению стандартов как для тестов с несколькими вариантами ответа, так и для практических экзаменов, не существует правильного проходного балла и наилучшего метода. Различные методы дают разные результаты. Выбор метода зависит от цели исследования и ресурсов, доступных в рамках мероприятия по определению стандарта. Указанные методы, рекомендации и примеры приведены с целью предоставления информации, необходимой для принятия решений относительно выбора метода, подготовки к совещанию, проведения совещания и анализа полученных данных, а также внедрения и поддержания стандартов.
Заявление об отсутствии конфликта интересов: авторы заявляют об отсутствии конфликта интересов. За содержание и написание настоящей статьи авторы несут единоличную ответственность.
ИНФОРМАЦИЯ ОБ АВТОРАХ
МакКинли Данетт У. (Danette W. Mckinley)* - PhD, директор отдела научно-исследовательских и информационных ресурсов. Доктор МакКинли определяет приоритетные направления и предмет исследований и предлагает методологию исследований, направленных на более глубокое понимание и продвижение международного медицинского образования. Она поддерживает исследовательскую деятельность, связанную с сертификацией выпускников международных медицинских программ. Ее интересы включают методологию образовательных исследований и оценку, особенно в области лицензирования или сертификации. Обладая более чем 20-летним опытом в области лицензионного и сертификационного экзамена, в настоящее время она уделяет основное внимание разработке исследовательских программ по международному медицинскому образованию и миграции медицинских работников. E-mail: dmckinley0faimer.org
Норсини Джон Дж. (John J. Norcini) - PhD, президент и генеральный директор. Доктор Норсини стал первым президентом и генеральным директором Фонда развития международного медицинского образования и исследований (FAIMER) в 2002 г. До начала работы в фонде Норсини 25 лет проработал в Американском совете по сертификации врачей-терапевтов, занимая различные должности, включая директора по психометрии, исполнительного вице-президента по оценке и исследованиям и, наконец, исполнительного вице-президента Института клинической оценки. Основные академические интересы доктора Норсини сосредоточены на оценке компетентности врача. В настоящее время основные научные интересы доктора Норсини включают методы определения стандартов, оценки результатов практической деятельности и проверки уровня профессиональной компетентности. Его исследования также сосредоточены на вопросах миграции врачей и трудовых ресурсов, а также на влиянии выпускников международных медицинских вузов на систему здравоохранения США.
ЛИТЕРАТУРА/REFERENCES
• American Educational Research Association, American Psychological Association, National Council on Measurement in Education, 1999. Standards for educational and psychological testing. American Educational Research Association, Washington DC.
• Angoff W.H. Scales, norms, and equivalent scores. In: Thorndike R.L, ed. Educational measurement. Washington, DC: American Council on Education. 1971, p. 508-600.
• Bandaranayake R.C. Setting and maintaining standards in multiple choice examinations: AMEE Guide No. 37. Med Teach. 2008; 30:836-45.
• Ben-David M.F. AMEE Guide No. 18: Standard setting in student assessment. Med Teach. 2000; 22: 120-30.
• Beuk C.H. A method for reaching a compromise between absolute and relative standards in examinations. J Educ Measure. 1984; 21:147-52.
• Boulet J.R., De Champlain A.F., McKinley D.W. Setting defensible performance standards on OSCEs and standardized patient examinations. Med Teach. 2003; 25: 245-9.
• Burrows P.J., Bingham L., Brailovsky C.A. A modified contrasting groups method used for setting the passmark in a small scale standardised patient examination. Adv Health Sci Educ Theory Pract. 1999; 4: 145-54.
• Clauser B.E., Clyman S.G. A contrasting-groups approach to standard setting for performance assessments of clinical skills. Acad Med. 1994; 69: S42-S44.
• Cohen-Schotanus J., van der Vleuten C.P.M. A standard setting method with the best performing students as point of reference: Practical and affordable. Med Teach. 2010; 32: 154-60.
• De Gruijter D.N.M. Compromise models for establishing examination standards. J Educ Measure. 1985; 22: 263-9.
• Dijkstra J., Van der Vleuten C.P.M., Schuwirth L.W.T. A new framework for designing programmes of assessment. Adv Health Sci Educ Theory Pract. 2010; 15: 379-93.
*Автор для корреспонденции.
Downing S.M., Lieska N.G., Raible M.D. Establishing passing standards for classroom achievement tests in medical education: A comparative study of four methods. Acad Med. 2003; 78: S85-S87.
Downing S.M., Tekian A., Yudkowsky R. Procedures for establishing defensible absolute passing scores on performance
examinations in health professions education. Teach Learn Med. 2006; 18: 50-7.
Ebel R. Essentials of educational measurement. 2nd ed. Englewood Cliffs, NJ: Prentice-Hall. 1972.
Frank J.R., Snell L.S., Cate O.T, Holmboe E.S., Carraccio C., Swing S.R., Harris P., Glasgow N.J., Campbell C., Dath D., et al. Competency-based medical education: Theory to practice. Med Teach. 2010; 32: 638-45.
Geisinger K.F. Using standard-setting data to establish cutoff scores. Educ Measure: Issu Pract. 1991; 10: 17-22. Geisinger K.F., McCormick C.M. Adopting cut scores: Post-standardsetting panel considerations for decision makers. Educ Measure: Issu Pract. 2010; 29: 38-44.
Haladyna T., Hess R. An evaluation of conjunctive and compensatory standard-setting strategies for test decisions. Educ Assess. 1999; 6:129-53.
Hambleton R.K., Jaeger R.M., Plake B.S., Mills C. Setting performance standards on complex educational assessments. Appl Psychol Measur. 2000; 24: 355-66.
Hambleton R.K., Slater S.C. Reliability of credentialing examinations and the impact of scoring models and standardsetting policies. Appl Measur Educ. 1997; 10: 19-28.
Hofstee W.K.B. The case for compromise in educational selection and grading. In: Anderson S.B., Helmick J.S., ed. On educational testing. San Francisco, CA: Jossey-Bass. 1983, p. 109-27.
Holmboe E.S., Sherbino J., Long D.M., Swing S.R., Frank J.R. The role of assessment in competency-based medical education. Med Teach. 2010; 32: 676-82.
Jaeger R.M. Selection of judges for standard-setting. Educ Measu: Iss Pract. 1991; 10: 3-14. Kane M.T. The assessment of professional competence. Eval Health Prof. 1992; 15: 163-82.
Kane M.T. Validating interpretive arguments for licensure and certification examinations. Eval Health Prof. 1994; 17: 133-59; discussion 236-41.
Kane M.T. Validation. In: Brennan R.L., ed. Educational measurement. Westport, CT: American Council on Education and Praeger Publishers. 2006, p. 17-64.
Kaufman D.M., Mann K.V., Muijtjens A.M.M., van der Vleuten C.P.M. A comparison of standard-setting procedures for an OSCE in undergraduate medical education. Acad Med. 2000; 75: 267-71.
Linn R.L., Burton E. Performance-based assessment: Implications of task specificity. Educ Measure: Issu Pract. 1994; 13: 5-8.
Livingston S.A., Zieky M.J. Passing scores: A manual for setting standards of perfromance on education and occupational tests. Educ Testing Serv. Princeton, New Jersey. 1982.
Miller G.E. The assessment of clinical skills/competence/performance. Acad Med. 1990; 65: S63-S67. Nedelsky L. Absolute grading standards for objective tests. Educ Psychol Measur. 1954; 14: 3-19.
Nestel D., Kneebone R., Black S. Simulated patients and the development of procedural and operative skills. Med Teach. 2006;28:390-1.
Norcini J., Burch V. Workplace-based assessment as an educational tool: AMEE Guide No. 31. Med Teach. 2007; 29: 855-71. Norcini J.J. Principles for setting standards on certifying and licensing examinations. In: Rothman A.I., Cohen R., ed. The Sixth Ottawa Conference on Medical Education. Toronto: University of Toronto Bookstore. 1994, p. 346-7. Norcini J.J. Work based assessment. Br Med J. 2003; 326: 753-5.
Norcini J., McKinley D. Assessment methods in medical education. Teach Teacher Educ. 2007; 23: 239-50.
Norcini J.J., Stillman P.L., Sutnick A.I., Regan M.B., Haley H.L., Williams R.G., Friedman M. Scoring and standard setting
with standardized patients. Eval Health Prof. 1993; 16: 322-32.
Patil N.G., Saing H., Wong J. Role of OSCE in evaluation of practical skills. Med Teach. 2003; 25: 271-2.
Pell G., Fuller R., Homer M., Roberts T. How to measure the quality of the OSCE: A review of metrics - AMEE guide no. 49.
Med Teach. 2010; 32:802-11.
Raymond M.R., Reid J. Who made thee a judge? Selecting and training participants for standard setting. In: Cizek G.J., ed. Setting performance standards: Concepts, methods, and perspectives. Mahwah, NJ: Lawrence Erlbaum Associates. 2001, p.119-58.
Reznick R.K., Blackmore D., Dauphine'e W.D., Rothman A.I., Smee S. Large-scale high-stakes testing with an OSCE: Report from the Medical Council of Canada. Acad Med. 1996; 71: S19-S21.
Rothman A.I., Cohen R. A comparison of empirically- and rationallydefined standards for clinical skills checklists. Acad Med. 1996; 71: S1-S3.
Schindler N., Corcoran J., DaRosa D. Description and impact of using a standard-setting method for determining pass/fail scores in a surgery clerkship. Am J Surg. 2007; 193: 252-7.
Smee S.M., Blackmore D.E. Setting standards for an objective structured clinical examination: The borderline group method gains ground on Angoff. Med Educ. 2001; 35: 1009-10.
Traub R.E. Facing the challenge of multidimensionality in performance assessment. In: Rothman A.I., Cohen R., ed. Proceedings of the Sixth Annual Ottawa Conference on Medical Education. Toronto: University of Toronto Bookstore. 1994, p. 9-11.
Wood T.J., Humphrey-Murto S.M., Norman G.R. Standard setting in a small scale OSCE: A comparison of the modified borderline-group method and the borderline regression method. Adv Health Sci Educ. 2006; 11: 115-22.
