CC BY
15О ДОКАЗАТЕЛЬНОМ ПОДХОДЕ, ЕГО МЕТОДАХ И СРЕДСТВАХ В АККРЕДИТАЦИИ СПЕЦИАЛИСТОВ ЗДРАВООХРАНЕНИЯ
Малахова Татьяна Николаевна,
главный специалист Методического центра аккредитации специалистов, ФГАОУ ВО «Первый МГМУ им. И.М. Сеченова» (Сеченовский университет) Минздрава России, Москва, e-mail: [email protected]
Челышкова Марина Борисовна,
доктор педагогических наук, главный специалист Методического центра аккредитации специалистов, ФГАОУ ВО «Первый МГМУ им. И.М. Сеченова» (Сеченовский университет) Минздрава России, Москва, e-mail: [email protected]
В статье рассматривается доказательный подход к созданию оценочных средств, которые обеспечивают возможность отслеживания процессов, происходящих при выполнении заданий испытуемыми. Теоретический базис доказательного подхода подкрепляется принципами, регламентирующими его реализацию при разработке инновационных оценочных средств. Основные положения доказательного подхода иллюстрируются на примере создания множественных интерактивных кейсов для аккредитации выпускников медицинских вузов. Приводятся рекомендации для авторов по разработке оценочных средств в рамках доказательного подхода.
Ключевые слова: аккредитация, доказательный подход, компетентностный подход, множественный интерактивный кейс.
Введение
По отношению к методам оценивания в образовании утвердилось стойкое заблуждение о том, что все они срабатывают и позволяют получить вполне обоснованную информацию о качестве результатов обучения. Столь же устойчиво и распространено заблуждение преподавателей по поводу своего умения разрабатывать оценочные средства. Например, трудно найти преподавателя, который признается в том, что он не умеет разрабатывать или применять тесты, хотя подавляющее большинство из них не получали специальной подготовки в сфере образовательных измерений. Более того, каждый из тех,
кто учит, скорее всего, будет утверждать, что именно его методы и средства оценивания являются наиболее правильными и эффективными.
Исследования, выполненные в рамках доказательного подхода и трактуемые по отношению к проблемам оценивания качества результатов обучения, позволяют ответить на вопрос о том, какие методы и средства оценивания являются наиболее эффективными1,2 Доказательный подход позволяет отследить процесс выполнения заданий испытуемым и получить аргументацию того, что ответ испытуемого не случаен, а получен путём применения необходимых знаний и умений. Необходимость в таких свидетельствах возникает в силу того, что мыслительные процессы, протекающие при выполнении испытуемым учебных заданий, слабо прогнозируемы. Мышление испытуемого движется то медленно и постепенно, то неравномерными рывками и зачастую протекает совсем не так, как планировал автор оценочных заданий. Таким образом, доказательный подход способствует повышению количества и качества обратной связи в оценочных процессах, предоставляя
1 Ефремова Н.Ф. Критериальные требования к фондам оценочных средств // Педагогические измерения. — 2016. — № 1.
2 Хэтти Джон А.С. Видимое обучение: синтез результатов более 50 000 исследований с охватом более 86 миллионов школьников / пер. Н.В. Селиванова. — М.: Национальное образование, 2017.
тем самым важную информацию об эффективности их протекания.
При правильном, а не поверхностном отношении к проблемам оценивания качества результатов обучения возникает множество вопросов, ответы на которые требуют такой обратной связи. Например: на основании каких со об ра жений испытуемый выбрал один из ответов, предложенных в заданиях с множественным выбором? как и каким путём в мышлении испытуемых происходит переход от знания к умениям его применять для решения жизненных или профессиональных проблем? в чём причины выбора неправильных ответов? как обобщить результаты выполнения отдельных заданий, чтобы получить более широкие представления о способностях испытуемых? И т.д.
Попытки углублённого анализа процессов выполнения заданий испытуемыми предпринимались неоднократно как в рамках классической, так и с помощью современной теории тестов. Разрабатывались различные модели, обладающие возможностями прогноза, и статистические методы, расширяющие возможность интерпретации стандартных оценок. Однако понимание сущности процессов, происходящих в мышлении испытуемых при выборе ответов в стандартизованных тестах, несмотря на все усилия специалистов, оставалось за гранью возможностей педагогов.
В качестве перспективного направления анализа этих процессов в начале XXI в. специалистами по образовательным измерениям в ETS (Educational Testing Service — Служба образовательного тестирования) был выбран доказательный подход, который получил своё первоначальное развитие применительно к проблемам образовательных измерений в работе Evidence-Centered Assessment Design (R.J. Mislevy и соавт.)3.
Сам доказательный подход как методологическое явление возник гораздо раньше. Первоначально он появился в доказательной медицине (медицина, основанная на доказательствах) в 90-е годы XX в. В соответствии с ведущей идеей доказательного подхода в доказательной медицине при принятии решений о применении диагностических, лечебных, профилактических мероприятий основывались на результатах анализа многочисленных фактов, интегрированных с помощью метаанализа (статистического метода, позволяющего объединить результаты нескольких исследований для выявления наиболее значимых факторов, связанных с целями исследования причинно-следственной зависимостью).
Развитие информационных технологий и продвижение в сфере соз-
3 Mislevy R.J., Almond R.G., Lukas J.F. A brief introduction to evidence-centered design. (ETS Research Report RR-03-16). — Princeton, NJ: Educational Testing Service, 2003. — 37 p.
дания больших баз банных (Big Data), позволяющих собрать и интегрировать огромные массивы информации, способствовали тому, что в первое десятилетие XXI в. в ряде стран значительное внимание доказательному подходу стало уделяться не только в медицине, но и в социологии, политологии и образовании. В последней сфере доказательный подход приобрёл форму поиска обоснований для структурирования содержания образования, поиска наиболее успешных методов преподавания с учётом индивидуальных особенностей восприятия материала обучаемыми на основе масштабного анализа всех имеющихся методов, средств и фактов.
В образовательных измерениях доказательный подход стал интенсивно развиваться во втором десятилетии XXI в. в связи с задачей оценивания уровня освоения компетенций и связанной с ней неизбежной многомерностью измерений. Необходимость выявления значимых факторов, влияющих на формирование компетенций, важность анализа процессов выполнения компетентностных заданий, происходящих по-разному и с разной скоростью у обучаемых, и вытекающая отсюда задача совершенствования обратной связи заставляют теоретиков и практиков в сфере образовательных измерений обращаться к аппарату доказательного подхода и разрабатывать средства его реализации.
Несомненно, что методология доказательного подхода вносит инновационные элементы в целостный процесс образовательных измерений: от момента выбора целей измерения в форме совокупности переменных до подведения итогов и выставления баллов испытуемым. Однако в данной статье внимание сосредоточено лишь на этапе создания инструментария, позволяющего реализовать отдельные положения доказательного похода в аккредитации специалистов здравоохранения. В ней предлагается подход к получению доказательной аргументации, позволяющей подтвердить или опровергнуть гипотезу и правильность рассуждений испытуемых при выполнении ситуационных заданий, представленных в формате множественных интерактивных кейсов и предназначенных для аккредитации выпускников медицинских вузов России -
Разработка оценочного инструментария в рамках доказательного подхода: теоретические и методические основы
Во втором десятилетии XXI в. в сфере образовательных измерений доказательный подход становится основой методологии, которую в целом можно определить как теорию создания методов инновационного оценивания и применения его результатов для принятия управленческих решений по совершенствованию качества образования. Методология доказательного подхода,
ориентированная на создание нового поколения оценочных средств, должна гарантировать, что пути представления формата доказательств, их сбора и интерпретации совместимы с основной целью оценивания и обеспечивают координацию работы различных специалистов по созданию инструментария, таких как статистики, авторы заданий, администраторы процессов предъявления измерителей и проектировщиков их интерфейса.
Идеологами доказательного подхода была разработана совокупность принципов, которая в виде, трансформированном для сферы образовательных измерений, включает в себя принципы:
■ обоснованности решений, принимаемых в образовании по результатам измерений, их направленности на улучшение методов, практик и программ обучения;
■ осознанности возможностей и ограничений различных видов доказательств или обоснований в образовательных измерениях;
■ необходимости поиска применимости методов доказательств и обоснований в реальных обстоятельствах оценивания;
■ совместимости путей и способов сбора доказательств с основной целью оценивания;
■ доверия и принятия доказательств или обоснований пользователями результатов измерений.
Представленная совокупность принципов служит основой для построения дизайна инструментария измерения (от стандартизированных тестов и практических заданий до портфолио и оценочных кейсов). Вне зависимости от видов инструментария проектирование его дизайна должно опираться на основную идею доказательного подхода, нацеленного на поиск достаточных обоснований того, что испытуемый справился с заданием не случайно, а вполне осознанно применил свои знания для решения практических или профессиональных задач. Методики разработки таких заданий стали называть «центрированным на доказательствах дизайном» (Evidence-Centered Design — ECD). Они легли в основу создания инновационного инструментария, привлёкшего внимание многих крупнейших служб тестирования в конце второго десятилетия XXI в.4
В частности, при создании компетентностно-ориентированных заданий в рамках доказательного подхода их автору необходимо:
■ сформулировать компетентно-стно-ориен ти рован ную жизненную или профессиональную проблему;
■ трансформировать проблему в виде совокупности заданий
4 Burke E., Kleeman J. Assessing for Situational Judgment Designing, deploying and getting value from Situational Judgment Assessments. — White Paper, 2018. — 43 p. — Режим доступа: www. questionmark. com (дата обращения: 10.12.2018).
с множественным выбором или ситуационных заданий, содержащих, по возможности, некоторую дилемму и допускающих более и менее эффективные решения;
■ собрать наиболее релевантные данные для обоснования возможных ответов испытуемых в электронном формате и проанализировать их для выстраивания причинно-следственных связей;
■ критически оценить данные, которые были собраны, чтобы определить их достоверность, надёжность и применимость, а затем синтезировать эти данные для использования в качестве критериев при оценивании ответов испытуемых.
Выбор формата заданий во многом определяет природа оцениваемого конструкта. Он зависит от того, какие поведенческие или профессиональные качества должны продемонстрировать испытуемые и какие ситуации должны выявить эти качества. При выборе формата заданий чаще всего используют форму с множественным выбором. При разработке таких заданий в рамках центрированного на доказательствах дизайна используют несколько приёмов. Один, наиболее распространённый, состоит в сочетании формы заданий с множественным выбором и последующих обоснований. В этом случае в задании испытуемого просят после выбора ответа, который он считает верным, обосновать свой выбор и привести аргументы.
Трудность формулировок подобных заданий состоит в том, что приведённая ситуация или направления аргументации, предлагаемые в задании, не должны служить подсказкой по выбору верного ответа. Недопустимо, когда испытуемый, прочитав вторую часть задания, требующую обоснования, возвращается назад и меняет опцию выбранного ответа. Для формулировки таких заданий необходимо иметь достаточный опыт. Иногда авторы вносят в число ответов несколько проблемных опций, порождающих дилемму и требующих обоснования проблемной ситуации для её разрешения. В других случаях испытуемому дают на выбор ответы, которые обычно предполагают привлечение взаимоисключающих аргументов к решению сформулированной проблемы. Или же испытуемого просят опознать аргументы и ранжировать их для обоснования своего подхода к решению проблемной ситуации либо выявить различные точки зрения в какой-либо статье, привести доводы в защиту или для опровержения определённой точки зрения, и т.д. Наиболее удачно доказательный подход реализуется при разработке кейсов и ситуационных заданий, содержащих проблемы профессионального или практического характера, которые позволяют испытуемому продемонстрировать способность применять выбранный ответ в профессиональной ситуации
и обосновывать в процессе применения свой выбор.
В общем случае кейс можно определить как структурированную и смоделированную ситуацию, отображающую конкретную профессиональную проблему и требующую от испытуемых проявления совокупности навыков (аналитических, критических, информационных, сравнительных, оценочных и т.д.) для получения оптимальных решений в условиях, когда контекст проблемы может варьировать5. Вариация контекста, осуществляемая испытуемым в процессе выполнения кейса, требует от него объяснений и обоснований, составляющих ядро доказательного подхода в образовательных измерениях. Ситуационное задание, в отличие от кейса, обладает жёстко детерминированным контекстом, поэтому столь широких возможностей для реализации доказательного подхода не предоставляет. Лишь когда ситуационное задание сопровождается заданиями с выбором ответов, от испытуемых можно требовать обоснование выбора того или иного ответа.
5 Методические рекомендации по оцениванию специалистов здравоохранения при аккредитации (Вып. 4) / Ж.М. Сизова, В.И. Звонников, М.Б. Челыш-кова; под ред. Ж.М. Сизовой: ФГАОУ ВО Первый Московский государственный медицинский университет имени И.М. Сеченова Минздрава России (Сеченовский университет), Методический центр аккредитации специалистов. — М.: Изд-во Первого МГМУ имени И.М. Сеченова, 2018. — 56 с.
Методическим центром аккредитации специалистов здравоохранения на базе Первого Московского государственного медицинского университета имени И.М. Сеченова с участием профессорско-пре пода вате льского состава и специалистов здравоохранения медицинских вузов, национальных медицинских исследовательских центров России уже более года ведётся работа по созданию множественных (оценивающих несколько переменных) кейсов. Обращение ко множественным (многомерным) кейсам было вызвано необходимостью оценивания уровня освоения совокупности трудовых функций в профессиональных стандартах в сфере здравоохранения. Идея многомерности потребовала выделения нескольких подмножеств вопросов к каждому кейсу, охватывающих в совокупности от трёх до пяти различных переменных. К вопросам приводятся задания с множественным выбором, разработанные для каждого вопроса кейса и требующие обоснований действий испытуемых по выбору ответов при их выполнении.
В основу содержания кейсов для аккредитации специалистов здравоохранения были положены клинические рекомендации, содержащие результаты обоснованного и тщательного анализа лучших результатов клинических исследований для выбора методов лечения конкретной болезни. Однако мы живём в эпоху, когда медицина стремительно развивается, каждый год в мире разрабатываются новые методы лечения,
создаются научные медицинские школы и в практику лечения поступают новейшие лекарственные средства и современное оборудование. Очевидно, что все эти нововведения затрудняют использование единых подходов к лечению и требуют адекватного развития оценочных средств для аккредитации специалистов здравоохранения. Поэтому выбор доказательного подхода при создании кейсов для аккредитации будущих специалистов здравоохранения, где выбор траектории разветвления возможных решений проблемы должен обосновывать испытуемый, является крайне актуальным в наши дни.
Структура такого кейса представлена на рис. 1.
При выполнении такого кейса на первом этапе все испытуемые получают единую проблемную ситуацию и общий контекст. На втором этапе испытуемые получают для выбора клинические рекомендации и перечень научных школ, к опыту которых обращаются при подготовке специалистов здравоохранения в различных вузах России. Позиции, которые излагаются в клинических рекомендациях, сопровождаются строгим ранжированием уровня достоверности доказательств того или иного метода диагностики или траектории лечения6.
6 Guyatt G., Oxman A.D., Aki E.A., Kunz R., et al. GRADE guidelines: 1. Introduction — GRADE evidence profiles and summary of findings tables // J Clin Epidemiol. 2011; 64(4):383-394. — Режим доступа: https://www. essentialevidenceplus.com/product/ebm_loe. cfm?show=grade (дата обращения: 10.12.2018).
О
Ситуация кейса и его контекст
© © ©
I
Клинические рекомендации (Научныешколы)
Обоснование выбора для построения траектории решения кейса
Задания с учётом уровней достоверности доказательств (1, 2, 3, 4) и уровней убедительности рекомендаций (А, B, С D)
Построение единой шкалы результатов испытуемых
▲ Рис. 1. Структура множественного кейса
Затем, после выбора траектории, наступает этап обоснования выбора, когда испытуемые могут проявить свои знания новейших методик лечения, появившихся новых лекарств и технологий. После обоснования сделанного выбора каждый испытуемый получает набор заданий для выполнения, ориентированных по содержанию на клинические рекомендации или определённую научную школу.
Таким образом, множественный кейс, разработанный в рамках доказательного подхода, позволяет отобразить уникальность отдельных научных школ и учесть клинические рекомендации, призванные помочь врачу принять оптимальные решения о рациональной помощи в различных клинических ситуациях.
В целом применение кейсов и ситуационных заданий в оценоч-
ных аккредитационных процедурах позволяет испытуемым:
■ продемонстрировать свои компетенции, навыки и умения по практическому применению полученных знаний;
■ проявить свою способность работать со значительными объёмами информации, в том числе применять умения собирать дополнительную информацию, анализировать её, интегрировать и интерпретировать для поставленной проблемы;
■ применить навыки критического мышления и системного мышления;
■ продемонстрировать навыки принятия решений на основе ана ли за ситуации;
■ проявить навыки проведения диагностики, выявления причин возникшей ситуации, анализа её
связей с внешними факторами в реальной жизни и т.д.
Рекомендации для авторов по разработке оценочных средств для аккредитации в рамках доказательного подхода
В целом при разработке дизайна оценочного средства, центрированного на доказательствах, авторам
можно порекомендовать придерживаться схемы действий, представленной в табл. 1.
Конечно, ряд действий авторов, из числа приведённых в таблице, достаточно традиционен. Другие действия, связанные с введением доказательного подхода, носят для них непривычный характер. Например, необычно и непросто для авторов собирать обосновывающую
▼ Таблица 1
Ключевые действия авторов оценочных средств в рамках доказательного подхода
Цель Действия
Провести анализ содержательной области Выявить — что является наиболее важным в этой области. Определить — какие задания являются ключевыми для оценки владения содержанием этой области, умениями или компетенциями. Обдумать — как собрать обосновывающую графическую информацию, которая может быть привлечена испытуемыми при обосновании ответов (формулы, эссе, карты, рисунки и т.д.)
Провести моделирование области Выявить — как операционализировать ключевые аспекты содержания в терминах измеряемого конструкта. Определить — как структурировать содержание оценочного средства
Выстроить концептуальную структуру оценивания Выявить — какой инструментарий нужно применить для этого оценивания. Решить — как разработать спецификацию оценочного средства
Разработать оценочные рубрики Принять решение о том, какие баллы и за какие уровни обоснованности (по правильности или по другим признакам) следует выставлять испытуемым
Провести апробацию Выявить — как выбрать и представить задания. Определить — как провести оценочную процедуру. Решить — как проверять ответы испытуемых (в частности, как проверять обосновывающую часть). Решить — как осуществить представление заданий испытуемым, сбор данных и анализ ответов
Провести предъявление Определить — когда предъявить задания испытуемым и как сообщить результаты выполнения
Обработать и проанализировать данные апробации Провести обработку данных по классической или по современной теории тестов. Оценить надёжность и валидность данных. Провести коррекцию кейса, заданий и оценочных рубрик
графическую информацию, заранее предвидя пути обоснования, которые могут выбрать испытуемые. Поэтому доказательный подход нельзя внедрить в работу тестовых структур прямым директивным решением. Ему нужно учиться, осваивая постепенно отдельные его возможности и положения. Несмотря на трудности, его следует внедрять в массовые оценочные процедуры, поскольку обращение к методологии центрированного на доказательствах подхода означает продвижение в когнитивном, психометрическом и технологическом инструмен-тариях, создаваемых для образовательных измерений.
Литература
1. Ефремова Н.Ф. Критериальные требования к фондам оценочных средств // Педагогические измерения. — 2016. — № 1. — С. 25-31.
2. Методические рекомендации по оцениванию специалистов здравоохранения при аккредитации (Вып. 4) / Ж.М. Сизова, В.И. Звонников, М.Б. Челышкова; под ред. Ж.М. Сизовой: ФГАОУ ВО Первый Московский государственный медицинский университет имени И.М. Сеченова Минздрава России (Сеченовский университет), Методический центр аккредитации специалистов. — М.: Изд-во Первого МГМУ имени И.М. Сеченова, 2018. — 56 с.
3. Хэтти Джон А.С. Видимое обучение: синтез результатов более 50 000 исследований с охватом более 86 миллионов школьников / пер. Н.В. Селиванова]. — М.: Национальное образование, 2017.
4. Burke E., Kleeman J. Assessing for Situational Judgment Designing, deploying and getting value from Situational Judgment Assessments. — White Paper, 2018. — 43 p. — Режим доступа: www. question-mark.com (дата обращения: 10.12.2018).
5. Guyatt G., Oxman A.D., Aki E.A., Kunz R., et al. GRADE guidelines: 1. Introduction — GRADE evidence profiles and summary of findings tables // J Clin Epidemiol. 2011;64(4):383-394. — Режим доступа: https://www. essentialevidenceplus.com/ product/ebm_loe.cfm?show=grade (дата обращения: 10.12.2018).
6. Handbook of test development. Ed. by M. Steven. Downing University of Illinois at Chicago.
7. Thomas M. Haladyna Arizona State University. — Mahwah, New Jersey, London: Lawrence Erlbaum Associates Publishers, 2006.
8. Mazurek M.B., Fineout-Overholt E. Evidence-based practice in nursing & healthcare: a guide to best practice. — 2nd ed. — 624 p.
9. Semenova T., Sizova Z., Chelyshkova M., Dorozhkin Е., Malygin A. Fairness and Quality of Data in Healthcare Professionals'Accreditation // Modern Journal of Language Teaching Methods. — Режим доступа: www.mjltm.org (дата обращения: 10.12.2018).
10. Semenova T., Sizova Z., Zvonnikov V., Masalimova A., Ersozlu Z. The Development of Model and Measuring Tool for Specialists Accreditation // EURASIA J. Math., Sci Tech. Ed. 2017;13(10):6779-6788.
11. Mislevy R.J., Almond R.G., Lukas J.F. A brief introduction to evidence-centered design. (ETS Research Report RR-03-16). — Princeton, NJ: Educational Testing Service, 2003. — 37 p.
