CC BY
15
доказательный подход в создании оценочного инструментария для аккредитации специалистов здравоохранения
Семенова Т.В.1, Малахова Т.Н.2, Сизова Ж.М.2
1 Федеральное государственное автономное образовательное учреждение высшего образования «Российский национальный исследовательский медицинский университет имени Н.И. Пирогова» Министерства здравоохранения Российской Федерации, 117997, г. Москва, Российская Федерация
2 Федеральное автономное образовательное учреждение высшего образования «Первый Московский государственный медицинский университет имени И.М. Сеченова» Министерства здравоохранения Российской Федерации (Сеченовский Университет), 119991, г. Москва, Российская Федерация
Рассматриваются основные положения доказательного подхода и его возможно- Ключевые слова: сти для создания инновационного оценочного инструментария. Анализируются аккредитация, этапы внедрения доказательного подхода в практику создания оценочного ин- доказательный струментария для аккредитации специалистов здравоохранения. Приводятся ито- подход, ги апробации ситуационных заданий, требующих аргументации выбора ответов. инновационные
ситуационные
Финансирование.Исследование не имело спонсорской поддержки. задания, модель
Конфликт интересов. Авторы заявляют об отсутствии конфликта интересов. специалиста
Для цитирования: Семенова Т.В., Малахова Т.Н., Сизова Ж.М. Доказательный подход в создании оценочного инструментария для аккредитации специалистов здравоохранения // Медицинское образование и профессиональное развитие. 2021. Т. 12, № 1. С. 67-79. DOI: https://doi.org/10.33029/2220-8453-2021-12-1-67-79 Статья поступила в редакцию 21.01.2021. Принята в печать 26.02.2021.
evidence-based approach in creating assessment tools for accreditation of healthcare professionals
Semenova T.V.1, Malahova T.N.2, Sizova Zh.M.2
1 N.I. Pirogov Russian National Research Medical University (RNRMU) of the Ministry of Health of the Russian Federation, 117997, Moscow, Russian Federation
2 I.M. Sechenov First Moscow State Medical University of Ministry of Healthcare of the Russian Federation (Sechenov University), 119991, Moscow, Russian Federation
Basic topics of evidence approach and its opportunity for creation of tools innovation are considered. The stages of evidence approach application in practice of tools construction for accreditation of health care specialists are analyzed. The results of situational items approbation demanding the arguments for answers choice are given.
Funding. The study had no sponsor support.
Conflict of interests. The authors declare no conflict of interests.
For citation: Semenova T.V., Malahova T.N., Sizova Zh.M. Evidence-based approach in creating assessment tools for accreditation of healthcare professionals. Meditsinskoe obrazovanie i professional'noe razvitie [Medical Education and Professional Development]. 2021; 12 (1): 67-79. DOI: https://doi.org/10.33029/2220-8453-2021-12-1-67-79 (in Russian) Received 21.01.2021. Accepted for publication 26.02.2021.
Keywords:
accreditation, evidence approach, innovative situational items, specialists model
Идеи доказательного подхода первоначально возникли в медицине в ХХ в. Родоначальником доказательного подхода считают А. Кокрейна, британского эпидемиолога, который полагал, что принятие решений в лечении больных необходимо вести на основе анализа многочисленных научных и практических данных, обеспечивающих доказательную базу для выбора оптимальных решений [1]. Его идеи были поддержаны единомышленниками, и доказательный подход в ХХ в. обрел свое заслуженное почетное место в здравоохранении многих стран мира. Например, обширная информация о рандомизированных исследованиях собрана в электронных базах данных - МеШсте, Cochrane Controlled TrieLs Register [2]. Примером реализации доказательного подхода в отечественной системе здравоохранения могут служить многочисленные клинические рекомендации по лечению больных, разработанные и внедренные в практику деятельности специалистов здравоохранения в России [3].
Со временем доказательный подход расширил область охвата и переместился в сферу социальных наук, получив свое развитие в социологии и образовании [4]. В частности, в образовательных измерениях доказательный подход как составная часть методологии сформировался еще в конце XX в., но получил свое распространение в практике создания инновационного оценочного инструментария для массовых оценочных процессов намного позже, лишь в конце первого десятилетия XXI в. В целом под доказательным подходом в образовании можно понимать специальную технологию научно обоснованного сбора и интеграции данных для выявления наиболее эффективных методов обучения, оценивания
и управленческих воздействий, приводящих к позитивным изменениям в образовании, росту его эффективности и совершенствованию качества его результатов [5].
Цель построения доказательств в оценивании состоит в установлении соответствия определенных утверждений относительно наблюдаемых баллов испытуемых реальной действительности, их истинным латентным баллам, являющимся идеализацией и свободным от ошибок измерения. С начала XXI в. в связи с появлением ком-петентностного подхода к трактовке качества результатов образования актуализировались проблемы обеспечения высокой надежности и валидности результатов измерений в силу металатентной природы переменных измерений - компетенций [6]. По этой причине целый ряд тестологических служб и компаний обратился к методологии доказательного подхода при проведении сертификационных или иных экзаменов (Cisco, GlassLab, CRESST, Labs, CITO и т.д.) [12]. Благодаря тому, что доказательный подход обеспечивает несмещенные оценки переменных измерений, свободных от субъективного восприятия индивидуумов, и предоставляет обоснованную интегрированную информацию об оцениваемых латентных характеристиках испытуемых, его применение позволяет повысить надежность и валид-ность оценок компетентности испытуемых.
Эти возможности доказательного подхода особенно важны на экзаменах высокой значимости, к числу которых относятся аттестация выпускников медицинских вузов и аккредитация специалистов здравоохранения [7]. При первичном анализе результатов аттестации и аккредитации, нацеленном на отбор испытуемых, преодолевших пороговый балл, доказательный подход обеспечивает дополнительную уточняющую ин-
формацию о результатах испытуемых в зоне нечетких решений (10% слева и справа от порогового балла). Такая информация, основанная на углубленном анализе аргументации испытуемых при выборе ответов в рамках доказательного подхода, позволяет минимизировать ошибки классификации при аттестации или аккредитации, к числу которых относят ложные положительные (испытуемый неоправданно считается преодолевшим пороговый балл) и ложные отрицательные (испытуемый незаслуженно отнесен к категории не преодолевших пороговый балл) решения.
Вторичный анализ результатов аттестации или аккредитации, предназначенный для совершенствования качества профессиональной готовности специалистов здравоохранения и выполненный в рамках доказательного подхода, позволяет получить детализированную развернутую информацию о ходе мышления каждого испытуемого при выполнении заданий теста или кейса. Анализируя ход размышлений испытуемых при выполнении заданий на экзаменах, можно получить доказательства того, что данная переменная (компетенция или трудовая функция) действительно освоена и правильное выполнение задания носит не случайный, а вполне закономерный характер. На основе анализа хода мышления испытуемого при выполнении аттестационных или аккредитационных заданий доказательный подход обеспечивает оценку способности каждого испытуемого к аргументации, анализу данных, критическому мышлению и принятию правильных профессиональных решений, в том числе с использованием информационных баз данных [3].
Таким образом,технологии аттестации и аккредитации, обращающиеся к возмож-
ностям доказательного подхода, способствуют повышению эффективности этих процедур путем роста надежности и валидности результатов образовательных измерений. Эти технологии обладают инновационно-стью и нуждаются в дальнейшем изучении и практическом внедрении. В статье рассматриваются теоретические и методические аспекты доказательного подхода при первичном и вторичном анализе данных аккредитации выпускников медицинских вузов. Приводятся результаты эксперимента, предназначавшегося для апробации возможности использования доказательного подхода при разработке инновационного оценочного инструментария для первичной аккредитации в целях роста надежности аккредитационных решений.
В основе доказательного подхода в оценивании лежат радикальные различия между данными и доказательствами (БсЬит О.А., 1987) [8]. Первые можно отождествить с наблюдаемыми результатами испытуемых в образовательных измерениях, а вторыми являются аргументы для анализа, позволяющего сделать обоснованные выводы об истинных баллах испытуемых. Не любые аргументы являются доказательствами, так как иногда испытуемые идут по простейшему пути и выбирают в качестве аргументов простой перечень событий, фактов либо ссылок на публикации. В оценочных процессах доказательства должны обладать должной глубиной и убедительностью, показывая последовательность рассуждений испытуемого при выполнении задания. Такие полноценные доказательства являются составной частью классической схемы Тулмина (Тои1тт, 1958), иллюстрирующей логические связи между данными, доказательствами и выводами [2]. Модификация схемы Тулмина, выполненная авто-
Модель интерпретации
Правильное решение
Модель доказательств
Контраргументы и альтернативный выход
Модель испытуемого
Модель заданий
Формат предъявления
Рис. 1. Модификация схемы Тулмина для оценочных процессов, по [2]
рами статьи для оценивания в аккредитации, приводится на рис. 1. На схеме связующим звеном между интерпретацией результатов оценивания, предназначенной для получения выводов относительно истинных баллов испытуемых, и наблюдаемыми результатами оценивания,полученными при проведении оценочных процедур, является совокупность доказательств, содержащих наборы утверждений. Сами по себе утверждения, как правило,неоднозначны,так как могут вести как к правильным, так и к альтернативным ответам.
При правильном выполнении задания испытуемый приведет верные аргументы. Контраргументы приведут испытуемого к неверным выводам, и задание будет выполнено неверно. Обращаясь к языку статистики, что вполне оправданно в силу неизбежного влияния на результаты оценивания
ошибок измерения, можно утверждать, что наблюдаемые результаты измерений дают априорные оценки вероятности правильного выполнения каждого задания испытуемыми, а доказательная база позволяет уточнить априорные оценки и получить апостериорные оценки параметра каждого испытуемого путем дедуктивных рассуждений на основе теоремы Байеса [9, 10].
В общем случае байесовская сеть имеет вид ориентированного графа, в котором каждая вершина представляет определенную переменную, а дуги изображают причинно-следственные связи между переменными. В образовательных измерениях для построения байесовской сети отталкиваются от теоретических предположений об освоении испытуемым переменных (для данного случая - трудовых функций), а затем переходят к поиску доказательств,
Рис. 2. Модель испытуемого в аккредитации специалистов здравоохранения (специальность «Кардиология»)
Д - действие.
подтверждающих освоение переменных. Такими доказательствами являются апостериорные оценки вероятности того, что данная переменная (компетенция или трудовая функция) освоена испытуемым, т.е. задание выполнено испытуемым не случайно или с помощью подсказки, а на основе сформированной компетентности в данном виде профессиональной деятельности.
Построению байесовской сети должна предварять работа по созданию модели специалиста, носящей форму сети и задающей в данном случае целевые ориентиры относительно освоения испытуемыми трудовых функций из профессиональных стандартов для специалистов здравоохранения [11, 12]. При построении сетевой модели необходимо принимать во внимание различный характер связей между отдельными ее компонентами. Такой характер может быть либо условным, когда для выполнения данного трудового действия необходимо, чтобы у специалиста были сформированы другие трудовые действия, либо безусловным, означающим, что отдельные компоненты модели локально независимы. Локальная независимость компонентов модели не исключает существование частичной взаимосвязи элементов, но эта связь намного слабее и не носит явного причинно-следственного характера (М1з1еуу R., 2016) [10].
На рис. 2 показан пример построения модели, включающей совокупность трудовых действий врача-кардиолога. В кружках размещены номера трудовых действий, взятые из приказа Министерства труда и социальной защиты Российской Федерации от 14.03.2018 г. № 140н «Об утверждении профессионального стандарта "Врач-кардиолог"» [13]. Модель специалиста, приведенная на рис. 2, отражает различия в характере связей между трудовыми функциями с помощью линий отличающегося вида. Существование локальной независимости между трудовыми функциями, предполагающей их частичную связь, показано с помощью штриховых линий. Для причинно-следственной связи выбраны сплошные линии.
Содержательный анализ трудовых действий, представленных на рис. 2, позволяет выделить 6-е действие, направленное на обоснование и постановку диагноза, которое связано с другими действиями причинно-следственными связями. Действительно, вполне очевидно, что ошибка в постановке диагноза приведет к последующим ошибочным решениям при выборе повторных осмотров и обследований пациентов, разработке плана лечения и назначении лекарственных препаратов и медицинских изделий.
Построение целевой модели для испытуемого имеет первостепенное значение
при определении правильных пропорций заданий, планировании их числа и распределении по отдельным трудовым действиям в спецификации аккредитационных оценочных средств. На основе таких моделей, имеющих вид направленного графа, разрабатывали спецификации для тестов и ситуационных заданий в Методическом центре аккредитации специалистов здравоохранения. Поэтому содержание оценочных материалов, используемое при аккредитации, всегда сбалансировано и адекватно требованиям профессиональных стандартов для специалистов здравоохранения.
На следующем шаге строится байесовская сеть, связывающая модель испытуемого и модель измерителя и имеющая так же вид графа. Первоначальный шаг в построении структуры сети основывается на результатах применения оценочного средства или на данных из экспертных оценок априорной вероятности, являющейся мерой тесноты связей между компонентами модели испытуемого и заданиями оценочного средства [14]. После этого с помощью специального программного обеспечения (программа Netica, http://www.ai.mit.edu/ murphyk/Software/BNT/bnsoft.html) выполняется количественная оценка апостериорной вероятности для каждой связи в байесовской сети, доказывающая правомерность вывода об освоении трудовой функции испытуемым или указывающая на случайный характер связи [9].
Применение доказательного подхода на основе обращения к байесовским сетям актуально при проведении вторичного анализа данных аккредитации в целях принятия управленческих решений по совершенствованию качества медицинского образования, когда подтвержденный процент испытуемых, освоивших каждое трудовое
действие из профессиональных стандартов, может служить индикатором качества образовательных программ или результатов их реализации в медицинских вузах России. При первичном анализе данных аккредитации, предназначенном для отбора аккредитованных испытуемых, доказательный подход служит базисом для создания инновационного оценочного инструментария, позволяющего минимизировать ошибки классификации в зоне нечетких решений, о которой упоминалось выше.
Инновационность должна быть направлена на то, чтобы отследить процесс выполнения заданий испытуемыми и получить аргументацию выбора ответов, описывающую ход мышления испытуемых, адекватный по своей структуре логической схеме Тулмина [2] и ее модификации (см. рис. 1). Правильная аргументация, представленная испытуемыми с баллами из зоны нечетких решений, должна служить минимизации случаев ложных отрицательных решений при аккредитации, когда испытуемый неоправданно отнесен к категории тех, кто не прошел за пороговый балл. В противном случае, если обнаружены подтверждения неправильной аргументации испытуемых при выборе тех или иных ответов, можно принять решение о ложной положительной классификации и перевести испытуемых в группу тех, кто не прошел за пороговый балл. Таким образом, доказательный подход помогает проследить путь мыслительной деятельности, которая протекает у испытуемых при выполнении заданий оценочных средств, и позволяет минимизировать ошибки при классификации испытуемых в зоне нечетких решений [3].
Другим позитивным следствием применения доказательного подхода при создании инновационного оценочного инстру-
Доказательный подход в создании оценочного инструментария для аккредитации специалистов здравоохранения
Таблица 1. Время разработки заданий по оценкам специалистов Службы тестирования Questionmark
Когнитивная характеристика заданий Число заданий, разрабатываемых за день, шт. Приблизительное время на разработку одного задания, мин
Задания на знания и умения 10-15 20-30
Задания на применение знаний и умений 8 ^ 30-45 в профессиональных ситуациях
Инновационные задания в рамках доказательного подхода 5-7 45-60
ментария является повышение количества и качества обратной связи в оценочных процессах, обеспечивающей важную информацию авторам заданий для коррекции заданий с целью повышения их содержательной валидности и аутентичности при имитации задач профессиональной деятельности на аккредитации. Помимо этого, коррекция заданий, выполненная по результатам обращения к доказательному подходу, позволяет также минимизировать систематические ошибки измерения, вернее, ту их составляющую, которая проистекает из низкой конструктной валидности заданий.
Методы и приемы создания инновационных заданий в рамках доказательного подхода многочисленны и разнообразны. Они реализуются путем включения в традиционные задания с выбором ответов различных схем, таблиц, рисунков, вопросов, ссылок на базы данных и т.п., вынуждающих испытуемых после выбора ответа обратиться к этой дополнительной информации и привести свою аргументацию по сделанному выбору в форме развернутого ответа. Несомненно, что эти приемы далеко не всегда просты и требуют от авторов заданий специальных навыков и дополнительной работы. Например, по оценкам специалистов крупнейшей Службы тестирования Questionmaгk, имеющей подразде-
ления в США, Великобритании и Германии и разрабатывающей тесты на 36 языках для различных стран мира, время разработки качественных заданий довольно значительно (https://www.questionmark.com/). В соответствии со взглядами специалистов этой Службы, сформированными на основе многолетнего опыта работы в различных странах, его можно определить в соответствии с данными в табл. 1.
Как следует из табл. 1, создание инновационных заданий является трудозатратным процессом, требующим от авторов креативности и тщательного обдумывания. Поэтому использование доказательного подхода в деятельности структур, занимающихся тестированием, требует подготовительного периода, включающего ряд этапов. В качестве I этапа работ по созданию инновационных заданий на основе доказательного подхода в Методическом центре аккредитации в состав ситуационных заданий был включен обширный графический материал, имитирующий ситуации профессиональной деятельности врача и содержащий различные форматы представления анализов, фотоснимки и другие документальные описания состояния пациента [15-17].
II этапом подготовительного периода можно считать введение элементов интерактивности в ситуационные задания, где
интерактивность понимается как способность задания реагировать на действия испытуемого [14]. Потребность в интерактивности возникла вследствие появления причинно-следственных связей в заданиях кейса по целому ряду медицинских специальностей («лечебное дело», «педиатрия» и т.д.), обусловленных содержанием трудовых функций профессиональных стандартов и отраженных в модели испытуемого для аккредитации специалистов здравоохранения (специальность «Кардиология»), приведенной на рис. 2. При появлении неверных ответов на вопросы, направленные на постановку диагноза, ответы испытуемых корректируются, и затем все испытуемые без исключения получают возможность ответить на оставшиеся вопросы ситуационного задания. Необходимость коррекции соответствующим образом отражается в итоговых баллах тех, кто не сумел поставить диагноз верно.
Первые 2 этапа в настоящее время уже внедрены в практику аккредитации специалистов здравоохранения, в то время как III этап подготовительного периода по созданию инновационных заданий на основе доказательного подхода был реализован пока в режиме апробации сотрудниками Методического центра аккредитации специалистов в 2019-2020 гг. на представительных выборках студентов VI курсов медицинских вузов России. Суть III этапа состоит в конструировании испытуемыми аргументации после выбора одного или нескольких ответов из числа предложенных ответов к заданию. Цель апробации - анализ информации о типичных аргументах испытуемых, приводимых ими при выборе ответов.
Оценочным инструментарием, выбранным для апробации, послужили ситуационные задания из банка оценочных
средств для первичной аккредитации специалистов по специальности «Лечебное дело». Каждому испытуемому предлагалось выполнить 2 ситуационных задания, включающих по 12 вопросов с выбором ответов, а затем обосновать выбор ответов путем приведения аргументации, ссылок на изученный материал и описания хода своих рассуждений. В апробации приняли участие 68 студентов VI курса лечебных факультетов образовательных организаций ФГАОУ ВО Первый МГМУ им. И.М. Сеченова Минздрава России (Сеченовский Университет), ФГБОУ ВО Тверской ГМУ Минздрава России, ФГБОУ ВО ИвГМА Минздрава России. Выбор участников был случаен.
Для аргументации в поле задания отводится специальное место. Примеры таких заданий показаны на рис. 3 и 4.
Для сравнения на рис. 3 и 4 приведены задания, отличающиеся по степени обоснованности выбора ответа. Аргументация испытуемого, приведенная на рис. 3, полнее по сравнению с ответами испытуемых на рис. 4. Однако даже она далека от требований логической схемы Тулмина, согласно которой должны выстраиваться аргументы по выбору ответов. Вполне понятно, что ответы испытуемых на рис. 4 не дают никакой информации о ходе их мышления и рассуждениях при выборе ответов.
В табл. 2 приводятся общие итоги апробации. В первом столбце указаны участники апробации. Второй столбец содержит информацию о числе заданий с выбором ответов, выполненных испытуемыми каждого вуза. В третьем столбце содержится число обоснований, включающих частично полную аргументацию, подобную той, которая приведена на рис. 3. Четвертый столбец показывает число испытуемых, ответивших подобно примерам на рис. 4, 5. Испытуемые
УСЛОВИЕ СИТУАЦИОННОИ ЗАДАЧИ
Ситуация Жалобы
Анамнез заболевания Анамнез жизни Объективный статус
►я
К необходимым в данной сит)
амбулаторное (суточное) монит! чреспищеводное эхокардиогра<) О трансторакальное эхокардиогрг В нагрузочная проба под визуальн В регистрация ЭКГ в 12 отведени?
амбулаторное (суточное) мониториривание ^141
УСЛОВИЕ СИТУАЦИОННОЙ ЗАДАЧИ
Ситуация
Женщина 68 лет обратилась к участковому врачу-терапевту Жяппйм_
Аргументация
Согласно клиническим рекомендациям всем пациентам с подозрением на ИБС необходимо выполнить ЭКГ в 12 отведениях, стресс-эхоКГ необходимо для определения степени ИБС Нагрузочная проба под визуальным контролем нужна для определения класса стенокардии
ятся (выберите 3)
Рис. 3. Пример фрагмента ситуационного задания, требующего приведения аргументации по выбору ответа (частично полная аргументация)
УСЛОВИЕ СИТУАЦИОННОИ ЗАДАЧИ Ситуация Жалобы
Анамнез заболевания Анамнез жизни Объективный статус Результаты инструментальн|
К необходимым в дан
определение калия в с О клинический анализ кр О исследование липиднс
Заключение: Нарушения локальной сократимости в покое нет, фракция выброса г левого желудочка, его диастолическзя дисфункция. Размеры полостей сердца сос
Нагрузочная проба под визуальным контролем (стресс-ЭхоКГ)
Исходно: ЧСС 84 в 1 мин, АД 165/95 мм рт. ст. Нарушений локальной сократимост: Нагрузка 100 Вт 2 минуты: ЧСС 120 в 1 мин, АД 190/105 мм рт. ст. На ЭКГ горизонт —па^щшлД гтп, 1пчащн|уу г-1гиг |,тов левого желудочка. Боли в 0<
Аргументация
На основании материалов кафедры госпитальной терапии
м, ЭКГ- и ЭхоКГ-критериям, ХКН I -ода.
"носятся (выберите 3)
определение тиреоидных гормонов определение высокочувствительного тропонина I I определение уровня креатинина в крови
Рис. 4. Пример фрагментов двух ситуационных заданий, требующих приведения аргументации по выбору ответов (неполная аргументация)
вместо развернутого обоснования приводят краткую ссылку на клинические рекомендации, приказ Минздрава России или другие материалы из прослушанных лекций.
Апробация инновационных заданий на основе доказательного подхода показала, что у значительного числа выпускников ме-
дицинских вузов (430 кратких ответов по сравнению с 1190 частично полными ответами) не сформированы навыки аргументированного объяснения выбора своих решений в лечении больных. При правильном положении вещей обоснования должны содержать результаты сравнитель-
УСЛОВИЕ СИТУАЦИОННОИ ЗАДАЧИ Ситуация Жалобы
Анамнез заболевания Анамнез жизни Объективный статус Результаты инструментальн
Заключение: Нарушения локальной сократимости в покое нет, фракция выброса г левого желудочка, его диастолическая дисфункция. Размеры полостей сердца сос
Нагрузочная проба под визуальным контролем (стресс-ЭхоКГ)
Исходно: ЧСС 84 в 1 мин, АД 165/95 мм рт. ст. Нарушений локальной сократимосп Нагрузка 100 Вт 2 минуты: ЧСС120 в 1 мин, АД 190/105 мм рт. ст. На ЭКГ горизонт
|тов левого желудочка. Боли в о(
Аргументация
Согласно клиническим рекомендациям
3 4 5 6
К необходимым в дан
определение калия в с О клинический анализ к( В исследование липидного спектра крови определение тиреоидных гормонов определение высокочувствительного тропонина I О определение уровня креатинина в крови
Отправить
м, ЭКГ- и ЭхоКПкритериям, ХКН I
носятся (выберите 3)
Рис. 5. Пример фрагментов двух ситуационных заданий, требующих приведения аргументации по выбору ответов (неполная аргументация)
ного критического анализа информации по лекционному курсу, оценочные суждения по практическому опыту выпускника и т.п., завершающиеся выводом по выбору правильного ответа.
В целом введение доказательного подхода в практику аккредитации позволит понять:
• на основании каких соображений испытуемый выбрал один из ответов, предложенных в заданиях с множественным выбором?
• как и каким путем в мышлении испытуемых происходит переход от знаний к умениям их применять для решения профессиональных проблем?
Таблица 2. Итоги апробации по вузам
1 2 3 4
Образовательная организация Количество заданий с выбором ответов Даны обоснования по заданиям (количество,%) Нет обоснований по заданиям (количество,%)
ФГБ°У ЕЮ ИвГМА 588 466 122 (20,7) Минздрава России ( ' ( '
ФГАОУ ВО Первый МГМУ им. И.М. Сеченова Минздрава России (Сеченовский Университет) 168 113 (67,3) 55 (32,7)
фГБОу ВО Тверикой ГМу 864 611 (70,7) 253 (29,3) Минздрава России
Всего 1620 1190 430
Доказательный подход в создании оценочного инструментария для аккредитации специалистов здравоохранения
• в чем причины выбора неправильных ответов?
• как обобщить результаты выполнения отдельных заданий, чтобы получить более широкие представления о способностях выпускников медицинских вузов аргументировать свои решения? Несомненным позитивным следствием
введения доказательного подхода в практику аккредитации будет совершенствование способностей выпускников медицинских вузов по построению доказательной базы для выбора оптимальных решений в своей профессиональной деятельности. Помимо этого применение доказательного подхода в ситуационных заданиях позволит испытуемым:
• проявить свои способности по работе со значительными объемами информации, в том числе применить умения собирать дополнительную информацию, анализировать ее, интегрировать и интерпретировать для поставленной проблемы;
• применить навыки критического и системного мышления;
• продемонстрировать навыки принятия решений на основе анализа ситуации. В целом можно сделать вывод о том, что
внедрение доказательного подхода в разработку оценочного инструментария для аккредитации открывает новые возможности для совершенствования качества медицинского образования.
СВЕДЕНИЯ ОБ АВТОРАХ
Семенова Татьяна Владимировна (Tatyana V. Semenova) - кандидат медицинских наук, доцент кафедры общественного здоровья и здравоохранения ФГАОУ ВО РНИМУ им. Н.И. Пирогова Минздрава России, заместитель министра здравоохранения России, Москва, Российская Федерация E-mail: tsemenova1230mail.ru
Малахова Татьяна Николаевна (Tatyana N. Malakhova) - заместитель директора Методического центра аккредитации специалистов ФГАОУ ВО «Первый МГМУ им. И.М. Сеченова» Минздрава России (Сеченовский Университет), Москва, Российская Федерация
E-mail: malaxovatn0yandex.ru
Сизова Жанна Михайловна (Zhanna M. Sizova) - доктор медицинских наук, профессор, директор Методического центра аккредитации специалистов, заведующий кафедрой медико-социальной экспертизы, неотложной и поликлинической терапии ФГАОУ ВО «Первый МГМУ им. И.М. Сеченова» Минздрава России (Сеченовский Университет), Москва, Российская Федерация
E-mail: Sizova-klinfarma0mail.ru https://orcid.org/0000-0002-1242-7074
ЛИТЕРАТУРА
1. Mazurek M.B., Fineout-OverhoLt E. Evidence-based practice in nursing & healthcare: a guide to best practice. Bernadette Mazurek Melnyk. 2nd ed. 624 p. ISBN 978-1-60547-778-7.
2. Mislevy R.J., Almond R.G., Lukas J.F. A brief introduction to evidence-centered design (ETS Research Report RR-03-16). Princeton, NJ: Educational Testing Service, 2003.
3. Звонников В.И., Свистунов А.А., Семенова Т.В. Оценка профессиональной готовности специалистов в системе здравоохранения / под ред. Т.В. Семеновой. Москва: ГЭОТАР-Медиа, 2019. 272 с.
4. Чиркин А.А. Размышления о доказательной педагогике // Педагогические инновации: традиции, опыт, перспективы. Материалы Международной научно-практической конференции. Витебск: ВГУ, 2010. С. 55-56.
5. Малахова Т.Н., Челышкова М.Б., Семенова Т.В. Доказательный подход в разработке оценочных средств для аккредитации выпускников вузов // Педагогические измерения. 2019, № 1. С. 55-62.
6. Ефремова Н.Ф. Аргументации и доказательства надежности оценок компетенций студентов // Известия Дагестанского государственного педагогического университета. Психолого-педагогические науки. 2018. Т. 12, № 2. С. 43-50. DOI: https://doi.org/10.31161/1995-0659-2018-12-2-43-50.
7. Сизова Ж.М., Семенова Т.В., Челышкова М.Б. Оценка профессиональной готовности специалистов здравоохранения при аккредитации // Медицинский вестник Северного Кавказа. 2017. Т. 12, № 4. С. 459462. DOI: https://doi.org/10.14300/mnnc.2017.12127.
8. Schum D.A. Evidence and inference for the intelligence analyst. Lanham, MD: University Press of America, 1987.
9. Тулупьев А.Л., Николенко С.И., Сироткин А.В. Байесовские сети: логико-вероятностный подход, СПб.: Наука, 2006.
10. Levy R., Mislevy R. Bayesian Psychometric Modeling. CRC Press, Taylor & Francis Group, LLC, 2016.
11. Буль Е.Е. Обзор моделей студента для компьютерных систем обучения // Образовательные технологии и общество. 2003. Том. 6, № 4. С. 245-50. Режим доступа: https://cyberleninka.ru/article/n/obzor-modeley-studenta-dlya-kompyuternyh-sistem-obucheniya.
12. Stauffer K., Stauffer K. Applications of Student Modeling. 1996.
13. Приказ Министерства труда и социальной защиты Российской Федерации от 14.03.2018 № 140н «Об утверждении профессионального стандарта "Врач-кардиолог"».
14. Semenova T., Sizova Z., Zvonnikov V., Masalimova A., Ersozlu Z. The Development of Model and Measuring Tool for Specialists Accreditation // EURASIA J. Math., Sci. Tech. Ed. 2017. Vol. 13, N 10. P. 67796788.
15. Сизова Ж.М., Звонников В.И., Челышкова М.Б. Методические рекомендации по оцениванию специалистов здравоохранения при аккредитации (Выпуск 4) // под ред. Ж.М. Сизовой. ФГАОУ ВО Первый Московский государственный медицинский университет им. И.М. Сеченова Минздрава России (Сеченовский университет), Методический центр аккредитации специалистов. Москва: Издательство Первого МГМУ имени И.М. Сеченова, 2018. 56 с.
16. Семенова Т.В., Сизова Ж.М., Малахова Т.Н., Малыгин А.А., Челышкова М.Б. Интерактивные множественные кейсы в аккредитации специалистов здравоохранения // Медицинский вестник Северного Кавказа. 2019. Т. 1, № 1. С. 118-22. DOI: https://doi.org/10.14300/mnnc.2019.14066.
17. Burke E., Kleeman J. Assessing for Situational Judgment Designing, deploying and getting value from Situational Judgment Assessments, White Paper, 2018. 43 p. Режим доступа: www.questionmark.
REFERENCES
1. Mazurek M.B., Fineout-Overholt E. Evidence-based practice in nursing & healthcare: a guide to best practice. Bernadette Mazurek Melnyk. 2nd ed. 624 p. ISBN 978-1-60547-778-7.
2. Mislevy R.J., Almond R.G., Lukas J.F. A brief introduction to evidence-centered design. (ETS Research Report RR-03-16). Princeton, NJ: Educational Testing Service, 2003.
3. Zvonnikov V.l., Svistunov A.A., Semenova T.V. Assessment of professional readiness of specialists in the healthcare system / ed. by T.V. Semenova. Moscow: GEOTAR-Media, 2019. 272 p. (in Russian)
4. Chirkin A.A. Reflections on evidence-based pedagogy. Pedagogical innovations: traditions, experience, prospects. In: Materials of the International Scientific and Practical Conference. Vitebsk: VSU, 2010. P. 55-6. (in Russian)
5. Malakhova T.N., Chelyshkova M.B., Semenova T.V. Evidence-based approach in the development of evaluation tools for accreditation of university graduates. Pedagogicheskie izmereniya [Pedagogical measurements]. 2019; (1): 55-62. (in Russian)
6. Efremova N.F. Argumentations and proofs of reliability of students' competence assessments. Isvestiya Dagestanskogo gosudarstvennogo pedagogicheskogo universiteta. Psikhologo-pedagogicheskie nauki [News of the Dagestan State Pedagogical University. Psychological and pedagogical sciences]. 2018; 12 (2): 43-50. DOI: https://doi.org/10.31161/1995-0659-2018-12-2-43-50. (in Russian)
7. Sizova Zh.M., Semenova T.V., Chelyshkova M.B. Assessment of professional readiness of healthcare professionals in accreditation. Meditsinskiy vestnik Severnogo Kavkaza [Medical Bulletin of the North Caucasus]. 2017; 12 (4): 459-62. DOI: https://doi.org/10.14300/mnnc.2017.12127. (in Russian)
8. Schum D.A. Evidence and inference for the intelligence analyst. Lanham, MD: University Press of America, 1987.
9. Tulupyev A.L., Nikolenko S.I., Sirotkin A.V. Bayesian networks: a logical-probabilistic approach. St. Petersburg: Nauka, 2006. (in Russian)
10. Levy R., Mislevy R. Bayesian Psychometric Modeling. CRC Press, Taylor & Francis Group, LLC, 2016.
11. Bul E.E. Review of student models for computer learning systems. Obrazovatelnye tekhnologii
i obschestvo [Educational technologies and society]. 2003; 6 (4): 245-50. URL: https://cyberleninka.ru/ article/n/obzor-modeley-studenta-dlya-kompyuternyh-sistem-obucheniya. (in Russian)
12. Stauffer K., Stauffer K. Applications of Student Modeling. 1996.
13. Order of the Ministry of Labor and Social Protection of the Russian Federation No. 140n of 14.03.2018 «On approval of the professional standard "Cardiologist"». (in Russian)
14. Semenova T., Sizova Z., Zvonnikov V., Masalimova A., Ersozlu Z. The Development of Model and Measuring Tool for Specialists Accreditation. EURASIA J Math, Sci Tech Ed. 2017; 13 (10): 6779-88.
15. Sizova Zh.M., Zvonnikov V.I., Chelyshkova M.B. Methodological recommendations for the assessment of healthcare professionals in accreditation (Issue 4). Ed. by Zh.M. Sizova. I.M. Sechenov First Moscow State Medical University of Ministry of Healthcare of the Russian Federation (Sechenov University), Methodological Center for accreditation of specialists. Moscow: Publishing house of the I.M. Sechenov First Moscow State Medical University, 2018. 56 p. (in Russian)
16. Semenova T.V., Sizova Zh.M., Malakhova T.N., Malygin A.A., Chelyshkova M.B. Interactive multiple cases in accreditation of healthcare professionals. Meditsinskiy vestnik Severnogo Kavkaza [Medical Bulletin of the North Caucasus]. 2019; 1 (1): 118-22. DOI: https://doi.org/10.14300/mnnc.2019.14066. (in Russian)
17. Burke E., Kleeman J. Assessing for Situational Judgment Designing, deploying and getting value from Situational Judgment Assessments, White Paper, 2018. 43 p. URL: www.questionmark.com.
