CC BY
27
ДЛЯ КОРРЕСПОНДЕНЦИИ
Dr. Shazia Sadaf,
Senior Instructor — Education Coordinator,
Department of Surgery
and Educational Development,
Faculty Offices, Link Building,
Aga Khan University,
P.O. Box 3500, Stadium Road,
Karachi - 74800
E-mail: shazia.sadaf@aku.edu
Ш. Садаф1, С. Хан2, С.К. Али3
Практические советы по составлению валидного и надежного банка вопросов множественного выбора
Sh. Sadaf1, S. Khan2, S.K. Ali3
Tips for Developing a Valid and Reliable Bank of Multiple Choice Questions (MCQs)
1 Department of Surgery and Educational Development, Aga Khan University, Karachi, Pakistan
2 Department of Surgery, Aga Khan University, Karachi, Pakistan
3 Department for Educational Development, Aga Khan University, Karachi, Pakistan
Introduction. Multiple choice questions (MCQs) are one of the most frequently used written assessments particularly when there is a large body of material to be tested and a large number of students to be assessed. MCQ examinations have manageable logistics, are easy to administer, can be scored rapidly and difficulty indices and the discriminatory value of each item can be easily calculated, facilitating standard application. Methods of ensuring quality assurance are essential when assessment is used for the purposes of certification.
Methods. Developing MCQs requires a concerted effort from curriculum planners, content experts, course coordinators and medical educators. This article aims at outlining a stepwise approach towards ensuring quality assurance in written assessments in an integrated curriculum from aligning assessment with the learning to ensuring banking of good quality MCQs. Discussion. Coordinated eff orts and a stepwise approach towards item development, coupled with focused faculty development exercises, is a cost-effective means of developing a huge 'Question Data Bank' of valid and reliable test items which
1 Кафедра хирургии и развития системы образования, Университет Aga Khan, Карачи, Пакистан
2 Кафедра хирургии, Университет Aga Khan, Карачи, Пакистан
3 Кафедра развития системы образования, Университет Aga Khan, Карачи, Пакистан
Состояние проблемы. Вопросы множественного выбора (multiple choice questions, MCQ) — один из наиболее часто используемых письменных инструментов оценки, особенно если необходимо оценить большой объем учебного материала у большого числа студентов. Экзамены с использованием MCQ имеют управляемую систему организации, просты в проведении, позволяют быстро подсчитать баллы и легко рассчитать индексы сложности и дискриминативности для каждого задания, упрощая стандартную процедуру проведения экзамена. Когда этот вид оценки применяется для сертификации специалистов, важно использовать соответствующие методы обеспечения качества. Разработка MCQ требует концентрации общих усилий специалистов по планированию учебной программы, экспертов по содержанию, координаторов курса и преподавателей медицинских специальностей. Цель этой статьи — обрисовать поэтапный подход к обеспечению качества письменной оценки по комплексной учебной программе, начиная с выверки соответствия оценки программе обучения и заканчивая созданием банка вопросов множественного выбора (MCQ). Обсуждение. Скоординированные усилия и поэтапный подход к разработке тем наряду с целенаправленной работой профессорско-преподавательского коллектива являются экономически эффективным средством создания огромного банка вопросов валидных и надежных экзаменационных заданий, который может
can serve as a National Resource for the Professional Regulatory Councils in the country for their Licensure Examination.
Keywords
• faculty development
• multidisciplinary
• multiple choice questions
• post hoc analysis
• question bank
Вопросы множественного выбора (MCQ) — один из наиболее часто используемых письменных инструментов оценки. Этот инструмент особенно эффективен, если проводится оценка большого объема учебного материала у большого числа студентов [1—4]. Экзамены с использованием MCQ имеют управляемую систему организации, просты в проведении, позволяют быстро подсчитать баллы [1]. С помощью этого инструмента можно быстро рассчитать индексы сложности и дискриминативности для каждого задания, упрощая стандартную процедуру проведения экзамена [1, 3]. Когда такой вид оценки применяется для сертификации специалистов, важно использовать соответствующие методы обеспечения качества [1]. Мы описываем поэтапный подход к обеспечению качества письменной оценки по комплексной учебной программе, начиная с выверки соответствия оценки программе обучения и заканчивая созданием банка MCQ.
Методы Этап 1. Общие усилия
Основным ресурсом при разработке MCQ является время, необходимое для создания валидных заданий. Разработка
использоваться в качестве национального ресурса для профессиональных советов по регулированию в данной стране при проведении экзаменов на получение лицензии.
Ключевые слова
• обучение преподавателей
• мультидисциплинарный
• вопросы множественного выбора
• апостериорный анализ
• банк вопросов
MCQ требует концентрации общих усилий специалистов по планированию учебной программы, экспертов по содержанию, координаторов курса и преподавателей медицинских специальностей. Специалисты по планированию учебной программы определяют область оценки и утверждают методы оценки; эксперты по содержанию определяют объем знаний, который подлежит проверке; координаторы курса обрисовывают реальную картину полученного опыта обучения, которая необязательно должна совпадать с ожиданиями специалистов по разработке и планированию учебной программы; преподаватели медицинских специальностей обеспечивают техническую часть в создании соответствующего задания. Для объединения усилий всех этих людей требуются значительная административная поддержка и участие руководства кафедры, которое играет важную роль движущей силы в данном процессе.
Этап 2. Разработка плана проведения экзамена
Валидность и надежность можно назвать «лакмусовой бумажкой» инструмента оценки. Чтобы экзамен можно было считать надежным и валидным, важно, чтобы его проведение соответствовало заранее составленному плану [2].
Это позволит гарантировать, что в экзаменационных материалах будут в полной и равной мере представлены все необходимые и важные понятия [3]. Такая стратегия во время экзамена позволит исключить напрасную трату времени и ресурсов на оценку знаний студента, касающихся несущественных и поверхностных вопросов. Также это позволяет гарантировать, что определенные темы/узкие специализации/задачи не будут представлены в экзаменационных материалах шире, чем другие [4].
Как только составлен план проведения экзамена, его нужно сравнить с имеющимися тестовыми материалами [2]. Знания важнейших понятий необходимо проверять из года в год. Чтобы результаты экзамена имели высокую надежность, требуется внести соответствующие изменения в данные или информацию, представленные в плане, и убедиться, что изменения в MCQ проверяют знания этого же понятия. Если одно и то же задание использовать часто, оно станет бесполезным для проверки понимания студентами данного понятия [2].
Этап 3. Критический обзор существующего банка вопросов
Координаторы, участвующие в отборе заданий для включения в экзаменационный лист, скорее всего, выявят неверные задания, пробелы и недостатки в существующем банке вопросов ^В). С целью восполнения этих пробелов составляются новые вопросы, а существующие вопросы пересматриваются на предмет их структуры и содержания [2]. Это необходимо
выполнять постоянно, чтобы полностью пересматривать (проверить и исправить) каждое задание по крайней мере каждые 5 лет. Поскольку медицина очень быстро развивается, все варианты необходимо рассматривать критически с учетом поступающей новой информации, обеспечивая содержательную и конструктную валид-ности. Конструкцию вопроса следует рассматривать как часть предварительного и апостериорного анализа.
Для каждой дисциплины мы предлагаем координаторам, экспертам по содержанию и преподавателям медицинских специальностей критически пересмотреть экзаменационные MCQ за предшествующие 4—5 лет. Это преследует несколько целей:
• Определить, насколько хорошо предыдущие экзаменационные материалы соответствуют плану проведения экзамена.
• Определить, как часто за предыдущие 5 лет использовалось данное задание. Как упоминалось ранее, если задание используется многократно, это может привести к снижению надежности результатов оценки.
• Пересмотреть индексы сложности и дискриминативности для отдельных заданий, а также экзамена в целом. Изменение характера этих индексов за прошедшие годы послужит признаком изменения стратегий обучения, модификации воздействия различных клинических ситуаций и к последующей неэффективности задания.
• Выявить дефекты в структуре MCQ, которые могут негативно повлиять на использование заданий как надежного инструмента оценки [1].
Этап 4. Разработка заданий
профессорско-преподавательским коллективом
Для того чтобы обеспечить широкое участие в разработке экзаменационных материалов, все члены профессорско-преподавательского коллектива, оценивающие студентов, должны пройти базовую подготовку по разработке и критическому рассмотрению MCQ, участвуя в регулярных семинарах под руководством специалистов в области медицинского образования [4]. Эти специалисты должны быть готовы к периодическому пересмотру заданий и к тому, чтобы предоставить конструктивные ответы, которые помогут развивать навыки составления заданий. Критика без конкретных указаний только отобьет охоту предпринимать дальнейшие попытки и повысит нагрузку на немногих оставшихся сотрудников.
Если не считать талантливых составителей тестов, наиболее частым препятствием в разработке MCQ является творческий кризис. Мы считаем, что большинство членов профессорско-преподавательского коллектива испытывают трудности с разработкой MCQ, если работают за рамками контекста и без четких указаний. Поэтому после рассмотрения плана проведения экзамена руководитель курса/координатор медицинской практики должны разработать точный перечень заданий, которые необходимо включить в экзаменационные материалы. Например, если в обзоре имеющегося ряда вопросов отсутствует задание, посвященное часто встречающимся патогенным возбудителям заболеваний желчевыводящей системы и медикаментозной терапии этих заболеваний, координатор ставит эти специфические цели обучения специалисту по содержанию/предмету для дальнейшей разработки соответствующих MCQ.
Этап 5. Коллегиальное и мультидисциплинарное рассмотрение новых МСО
Как только составлены MCQ, задание должны оценить эксперты по содержанию, которые часто имеют различные научные интересы [1]. В нашем учреждении все новые MCQ проходят 2 цикла рассмотрения, перед тем как будут приняты. Первый цикл — внутрикафедральное рассмотрение коллегами, работающими на нашей кафедре. Например, вопросы, связанные с патологией почек, составленные нефрологом, рассматривает группа, включающая терапевтов, кардиологов, врачей-инфекционистов и т.д., в пределах медицинского факультета. Это гарантирует одинаковое понимание задания при прочтении, которое предусматривается его разработчиком, а также то, что проверяемая информация подобрана правильно и что задание соответствует уровню экзаменуемых. Это первая проверка, если она выполняется добросовестно, то в значительной степени обеспечивает высокое качество задания. Точный механизм реализации процесса проверки может варьировать. На более крупных кафедрах для этой цели может быть сформирован комитет по проверке вопросов. На небольших кафедрах/в отделах для этой цели проводится ряд заседаний, на которых могут присутствовать разные сотрудники факультета, в зависимости от их занятости.
На втором цикле осуществляется мультидисциплинарная проверка, которая играет важную роль для обеспечения соответствия всех заданий общим целям программы обучения. Мы осознаем тот факт, что ни одно понятие в медицине не стоит особняком. Каждый раздел ин-
формации подтверждается множеством фактических данных, которые в процессе обучения могут преподаваться разными специалистами. Поэтому при создании валидного задания необходимо, чтобы информация была представлена из нескольких разделов. Если задание для тестов для экзамена по педиатрии посвящено эмбриологии, очевидно, что эмбриолог должен иметь возможность проверять и улучшать MCQ. Это упражнение также позволяет выполнить оценку в других тестах по смежным темам. Например, ведение пациентов с инфарктом миокарда подходит, как для области терапии, так и для области неотложной медицины, и поэтому проверка знаний по этой важной теме валидна в обеих областях. Эта проверка предоставляет идеальную возможность внести изменения в общие задания таким образом, чтобы они оценивали различные задачи и позволили разработать всестороннюю группу MCQ.
В нашем учреждении мы организуем ежегодные практические семинары с участием всех руководителей в качестве способа поощрения активного участия сотрудников их кафедр. На такие практические семинары, которые проводятся за пределами университета в конце недели, приглашаются члены клинического профессорско-преподавательского коллектива, научные сотрудники, приглашенные экзаменаторы и преподаватели медицинских специальностей [1]. Это позволяет обеспечить максимальное участие — на собственном опыте мы убедились, что за последние 3 года число участников среди сотрудников факультета выросло с 60 до 145.
Мультидисциплинарные группы формируются в соответствии с проверяемыми (рассматриваемыми) дисциплинами. Например, группа, которая будет прове-
рять MCQ по акушерству и гинекологии, должна включать экспертов по содержанию, а также педиатров, семейных врачей (врачей общей практики), хирургов, эндокринологов, физиологов и преподавателя соответствующей медицинской специальности как главного эксперта в составе этой группы. Таким образом, члены профессорско-преподавательского коллектива получают возможность развивать навыки составления вопросов благодаря мультидисциплинарному совместному опыту обучения [1].
Этап 6. Определение основных характеристик задания и составление вопросов для банка вопросов
Для того чтобы пользователь мог сохранить или сформировать банк рассмотренных MCQ, важно, после того как задания рассмотрены, проверены и одобрены, определить их характеристики, которые упростят их извлечение из QB. Эти характеристики включают такие категории, как клиническая презентация, дисциплина, система органов, процесс заболевания и специальные задачи, основанные на принципах учебного заведения, связанных с обучением и оценкой и с учебным планом [5]. Для каждой рассмотренной темы необходимо заполнить Форму с описанием характеристик MCQ, которая упростит процесс загрузки MCQ в QB. В разных учебных заведениях используются разные системы и программы, которые используются для работы с QB. Наш QB создан в программе Excel и имеет определенные характеристики, психометрические особенности, включающие индекс сложности и индекс дискриминативности, он изолирован от Интернета эффективной систе-
мой защиты от вирусов/«червей» и системой безопасного резервного копирования данных.
Этап 7. Выбор тем для экзаменационного листа
Составление групп из 100 или более вопросов для проверки знаний на более высоких уровнях, например, в области представлений и решения задач, требует тщательного подбора заданий высокого качества и приверженности плану проведения экзамена. Поэтому выбор заданий для экзаменационного листа — это научная задача, решая которую координаторы на основании плана проведения экзамена выбирают 70% заданий средней сложности и приблизительно 10—15% с индексами «легкое» и «сложное». После правильной загрузки задания в QB, процесс извлечения осуществляется путем сортировки по характеристикам и психометрическим данным, в результате чего получается относительно просто и правильно выбрать задания для экзаменационного листа [5].
Этап 8. Апостериорный анализ
Этот этап является последним, но, вероятно, самым важным. Он позволяет получить измеряемый результат от вложенных в описанную выше задачу времени и усилий. Подробный апостериорный анализ включает рассмотрение (проверку) анализа задания, при котором определяются индекс сложности и индекс дискриминативности для каждого задания, принимаются реше-
ния, касающиеся выбора заданий на основании анализа темы и ответов эксперта по предмету/содержанию [1]. Полученные индексы используются для определения того, является ли задание валидным и надежным. Если выявлены какие-либо проблемы, задание не используется как элемент QB, пока не будет пересмотрено и скорректировано. Если тема признается приемлемой, следует пересмотреть стратегию обучения/изучения, направленную на решение конкретной задачи. После каждого использования индексы для каждого задания заносятся в QB. Эта информация является дополнительным аспектом для разработки сбалансированного метода проведения экзамена [3].
Обсуждение
Разработка качественного банка валидных и надежных заданий для вопросов множественного выбора, направленных на оценку когнитивных способностей и соответствующих рекомендациям, касающимся создания задания, является непростой задачей для разработчика. По нашему опыту, это требует многомесячных объединенных усилий группы специалистов. Скоординированные усилия и поэтапный подход к разработке заданий наряду с целенаправленной работой профессорско-преподавательского коллектива являются экономически эффективным средством создания огромного банка вопросов для валидных и надежных экзаменационных заданий, которые можно использовать в качестве национального ресурса для профессиональных регуляторных советов в данной стране при проведении экзаменов на получение лицензии.
Сведения об авторах
Садаф Шазиа (Shazia Sadaf) — кафедра хирургии и развития системы образования, Университет Aga Khan, Карачи, Пакистан
Хан Садаф (Khan Sadaf) — кафедра хирургии, Университет Aga Khan, Карачи, Пакистан Али Сиеда Каузер (Ali Syeda Kauser) — кафедра развития системы образования, Университет Aga Khan, Карачи, Пакистан
^HTepaTypa/Reierenees
1. Case S.M., Swanson D.B. Constructing Written Test Questions for the Basic and Clinical Sciences. 3rd ed. Philadelphia: National Board of Medical Examiners, 2001.
2. Wass V., Van der Vleuten C., Shatzer J., Jones R. Assessment of clinical competence. Lancet. 2001; Vol. 357: 945-9.
3. Mc Coubrie P. Improving the fairness of multiple-choice questions: A literature review. Med Teach. 2004; Vol. 26: 709-12.
4. Mc Coubrie P., McKnight L. Single best answer MCQs: A new format for the FRCR part 2a exam. Clin Radiol. 2008; Vol. 63: 506-10.
5. Vale C.D. Computerized item banking. In: S.M. Downing, T.M. Haladyna (eds). Handbook of Test Development. Mahwah, NJ: Erlbaum, 2006.
