CC BY
11001:10.25586/1*Ми.НЕТ.18.11.Р.19 УДК 378
Т. Н. Малахова,
Первый Московский государственный медицинский университет им. И. М. Сеченова
Инновации в инструментарии аккредитации выпускников медицинских вузов
Аккредитация выпускников медицинских вузов - одно из главных направлений кардинального изменения существующих моделей подготовки специалистов для здравоохранения. Она вводится в тесной связи с развитием системы непрерывного медицинского образования и реализацией современных подходов к повышению качества профессиональной готовности специалистов здравоохранения [1].
В основе аккредитации лежат принципы, регламентирующие ее развитие в соответствии с целевыми критериями по четырем наиболее важным областям.
1. Высокая ответственность ак-кредитационных решений.
2. Конфиденциальность данных в условиях принятых прав и ограничений на доступ к данным для различных уровней пользователей.
3. Высокая объективность и обоснованность результатов аккредитации, обеспечиваемые контролем качества инструментария и процедур аккредитации.
4. Широкое взаимодействие профессионалов и общественности при аккредитации в сфере здравоохранения.
Эти принципы положены в основу инструментария для проведения аккредитации с опорой на научный аппарат теории измерений в социальных науках. Для повышения объективности и обоснованности результатов аккредитации в ней используются многостадийные оценочные про-
Первый Московский государственный медицинский университет им. И. М. Сеченова
цедуры, сочетающие различный инструментарий для трех этапов аккредитации [1, 2, 4, 5]. Первый этап включает классические тесты с выбором ответов, ориентированные на проверку освоения знаний и умений, лежащих в основе выполнения трудовых функций профессиональных стандартов. Второй этап носит практи-ко-ориентированный характер и выполняется в симулированных условиях, в том числе с использованием тренажеров. Третий этап предназначается для оценки освоения трудовых функций с помощью ситуационных заданий в формате кейсов.
Согласно первоначальному замыслу эти этапы должны были носить усложняющийся характер, с тем чтобы шло постепенное нарастание требований к профес-
сиональной готовности выпускников. Однако результаты аккредитации показали отступление от намеченного соотношения трудности этапов. Самым трудным для выпускников вузов оказался первый - теоретический - этап, а практические задания вызвали гораздо меньше затруднений.
Полученные результаты послужили основой для вывода о доминировании практической подготовки выпускников вузов и одновременно определили вектор развития инструментария третьего этапа аккредитации. В частности, в настоящее время в Методическом центре аккредитации специалистов Первого Медицинского государственного медицинского университета им. И. М. Сеченова в сотрудничестве с вузами России ведется интенсивная работа по
© Малахова Т. Н., 2018
МАЛАХОВА ТАТЬЯНА НИКОЛАЕВНА
главный специалист Методического центра аккредитации специалистов Первого государственного медицинского университета им. И. М. Сеченова. Сфера интересов: методические подходы к разработке оценочного инструментария для аттестации и аккредитации специалистов здравоохранения. Автор одной опубликованной научной работы
Обосновывается системный подход к аккредитации выпускников медицинских университетов. Обсуждается инструментарий для третьего этапа аккредитации. Рассматриваются преимущества кейсов и их отличия от ситуационных заданий. Предлагаются инновационные методические подходы к созданию многомерных кейсов, позволяющие повысить объективность оценивания испытуемых. Обсуждаются результаты апробации кейсов.
Ключевые слова: Аккредитация, многомерный кейс, объективность, ситуационное задание.
Some principles for system approach to accreditation of medical universities graduates are grounded. The toolkit for third stage of accreditation is discussed. Some advantages of cases and their distinctions from situational items are considered. The innovative methodical approaches to multidimensional cases creation are offered allowing to increase the objectivity of examinee scores. The results of cases approbation are discussed.
Key words: Accreditation, multidimensional case, objectivity, the situational item.
созданию так называемых инновационных множественных кейсов для третьего этапа аккредитации. Они достаточно сложны, предусматривают проверку освоения всех трудовых функций профессиональных стандартов по соответствующей специальности, отображают реальные ситуации профессиональной деятельности и строятся с учетом клинических рекомендаций Минздрава (стандартов лечения) и современных инноваций в деятельности врачей.
В самом общем случае образовательный кейс можно определить как структурированную и смоделированную ситуацию, отображающую конкретную профессиональную проблему или задачу и требующую от испытуемых проявления совокупности навыков (аналитических, критических, информационных, сравнительных, оценочных и др.) для получения оптимальных решений в условиях, когда контекст проблемы может варьироваться [2, 5].
Первой отличительной особенностью кейсов является высокая степень свободы испытуемых в вариации контекста проблемы путем его сокращения или расширения, но так, чтобы усложнить, а не облегчить решение профессионально ориентированной проблемы. Благодаря вариатив-
ности кейсы допускают несколько оптимальных решений, каждое из которых может быть ориентировано на различный набор граничных условий. Второй особенностью кейса является высокая степень реальности и актуальности проблемы, которая должна быть позаимствована из практики профессиональной деятельности специалиста и тесно связана с ее современными задачами.
Применение кейсов в аккреди-тационных оценочных процедурах позволяет испытуемым:
• продемонстрировать свои компетенции, навыки и умения по практическому применению полученных знаний;
• проявить свои способности по работе со значительными объемами информации, в том числе применить умения собирать дополнительную информацию, анализировать ее, интегрировать и интерпретировать для поставленной проблемы;
• применить навыки критического и системного мышления;
• продемонстрировать навыки принятия решений на основе анализа ситуации;
• проявить навыки проведения диагностики, выявления причин возникшей ситуации,
анализа ее связей с внешними факторами в реальной жизни.
Конечно, возможность модификации контекста проблемы кейса требует привлечения экспертов к проверке результатов его выполнения и нарушает требование высокой стандартизации оценочных подходов, столь необходимое в аккредитации. Поэтому при массовых оценочных процедурах, осуществляемых в целях принятия административно-управленческих решений, обычно обращаются к ситуационным заданиям, отличающимся от кейсов с жестко регламентированным контекстом проблем [3]. На рис. 1 представлены отличия кейсов и ситуационных заданий в верхнем блоке, а нижняя часть рисунка показывает различия между обучающими и оценочными кейсами. В целом, ситуационные задания и кейсы образуют совокупность профессионально ориентированных заданий, являющихся неотъемлемой частью процедур оценивания профессиональной готовности выпускников вузов на основе профессиональных стандартов. Многие отличия между кейсами и ситуационными заданиями их создатели или пользователи нередко не принимают во внимание, поэтому эти термины используются как синонимы, как, например, в этой статье.
Праф+спыа-ыьма v|i4»r»rBpmL»HI«Hv 1ДЛДЮ«»
Рис. 1. Классификационная схема профессионально ориентированных заданий
Выпускники медицинских университетов получают допуск к профессии только после выполнения аккредитационных заданий
Для разработки методических подходов к созданию инновационных кейсов была сформирована рабочая группа, в состав которой вошли сотрудники Методического центра аккредитации специалистов и ведущие представители профессорско-преподавательского состава Сеченовского университета. В процессе работы стало очевидно, что простой структуры кейса, когда все вопросы нацелены на одну переменную, будет недостаточно, поскольку обращение к одной переменной исключает возможность оценивания уровня освоения совокупности трудовых функций, представленных в профессиональных стандартах. По этой причине было принято решение о разработке множественных кейсов, внутри которых можно выделить несколько подмножеств вопросов, охватывающих в совокупности от трех до пяти различных переменных. Если перенести эту классификацию на язык измерений, то можно сказать, что рабочая группа сосредоточила свои усилия на методике создания многомерных (множественных) кейсов или, иначе говоря, многомерных ситуационных заданий.
Рабочей группой были подготовлены структура, макет и примеры многомерных ситуационных заданий, позволяющих с высокой объективностью и обоснованностью оценивать уровень владения трудовыми функциями профессиональных стандартов на третьем этапе аккредитации специалистов здравоохранения. В качестве первоочередной задачи была выбрана разработка ситуационных заданий для аккредитации выпускников вузов по специальностям «Педиатрия» и «Лечебное дело». В макетах ситуационных заданий по каждой специальности было выбрано фиксированное число вопросов, а именно двенадцать, с варьирующимся распределением по трудовым функциям в зависимости от специальности подготовки.
Поскольку в общем случае кейсы предполагают развернутые отве-
ты, то для их проверки при аккредитации необходимы собеседования, когда аккредитуемые поясняют свои ответы на вопросы кейса экспертам. Однако такая проверка потребовала бы привлечения значительного числа экспертов, работающих в условиях массового экзамена на протяжении значительного времени. В связи с этим рабочая группа приняла решение об отказе от собеседований с экспертами и утвердила выполнение вместо них в ходе аккредитации набора заданий с множественным выбором, разработанных для каж-
дого вопроса кейса. Это решение было связано не только с технологическими ограничениями,но также приобрело, по нашему мнению, иной, более глубокий смысл. Замена собеседований с экспертами на выполнение заданий с множественным выбором существенным образом повышает объективность оценок, выставляемых аккредитуемым по результатам выполнения кейсов.
Как показал содержательный анализ вопросов к ситуационным заданиям, предназначенным для проверки освоения трудо-
-тф1
-тф2
тфЗ
-тф4 -Ж-тф5
Рис. 2. Распределение вопросов по трудовым функциям в кейсах
Рис. 3. Распределение средних баллов трех групп в зависимости от скорости выполнения кейсов
вых функций профессиональных стандартов по специальностям «Лечебное дело» и «Педиатрия», не все вопросы могли быть локально независимыми. Поэтому было принято решение о коррекции ответов с соответствующим снижением баллов у тех испытуемых, кто ответил на ключевой вопрос о постановке диагноза неверно. Благодаря этому все испытуемые получили возможность дойти до конца развивающейся ситуации и ответить на все вопросы. Инновационным было не только содержание, но и форма представления многомерных ситуационных заданий. В них была включена многообразная фоновая информация в различных форматах представления анализов с графикой, фотоснимками и другими документальными описаниями состояния пациента, принятыми в практике деятельности специалистов.
Апробация методики создания многомерных ситуационных заданий и макетов для них велась с помощью 20 кейсов по специальности «Педиатрия» на представительной выборке студентов шестого курса пяти медицинских университетов из разных регионов России, включая Дальневосточный, Казанский, Красноярский, Курский и Тверской государственные медицинские университеты. Распределение заданий по пяти функциям показано на рис. 2, где различные цвета в верхней части рисунка соответствуют трудовым функциям профессиональных стандартов, превалирующим в различных кейсах.
По результатам апробации все аккредитуемые по времени выполнения кейсов были разделены на три группы:
1. Быстрое выполнение (менее 11 минут).
2. Среднее выполнение (от 11 до 23 минут).
3. Медленное выполнение (более 23 минут).
Результаты групп представлены на рис. 3 в виде трех бокспло-
тов (ящики с усами - box-whisker plots). Такое название получили графики, компактно изображающие средний, нижний и верхний квартили, минимальное и максимальное значение выборки. Горизонтальная черта внутри бокспло-та соответствует среднему баллу выборки аккредитуемых. Чем короче бокс, тем однороднее результаты. От бокса отходят «усы», соответствующие по длине одному из показателей разброса, в данном
случае - времени выполнения. Самые однородные результаты апробации получились для быстрого выполнения кейсов, что, возможно, объясняется низкой мотивацией испытуемых при апробации кейсов. В условиях аккредитации, скорее всего, оптимальное время выполнения одного кейса будет близко к 30 минутам. Таким образом, апробация показала, что на третьем этапе аккредитации каждому испытуемому можно дать два
Выполнение аккредитационного задания на муляже
кейса, для выполнения которых будет достаточно 60 минут.
В дальнейшей работе по развитию инновационного инструментария для системы аккредитации специалистов здравоохранения предполагается:
• проведение исследований по анализу качества многомерных ситуационных заданий на основе современных достижений теории измерений в социальных науках с целью оценивания их надежности и валидности;
• наращивание объемов, совершенствование структуры и качества банков заданий;
развитие системы подготовки экспертов для экспертизы качества инструментария для аккредитации;
разработка методического обеспечения для установления критериальных (проходных) баллов для оценивания результатов выполнения ситуационных заданий экспертными и эмпирическими методами; разработка российских стандартов качества инструментария и процедур аккредитации, одобренных профессиональным сообществом и общественностью;
• разработка методического обеспечения для интерпретации результатов выполнения многомерных ситуационных заданий в целях повышения качества и развития системы непрерывного медицинского образования.
Резюмируя сказанное, считаем возможным сделать вывод, что рассмотренная методика создания кейсов для оценивания профессиональной готовности выпускников медицинских вузов, прошедшая апробацию на примере специальности «Педиатрия», показала свою эффективность.
ЛИТЕРАТУРА
1. Методические рекомендации по оцениванию специалистов здравоохранения при аккредитации (Вып. 3) / [Ж. М. Сизова, В. И. Звонников, М. Б. Челышкова: под ред. Ж. М. Сизовой]: ФГАОУ ВО Первый Московский государственный медицинский университет им. И. М. Сеченова Минздрава России (Сеченовский университет), Методический центр аккредитации специалистов. М.: Издательство Первого МГМУ им. И. М. Сеченова, 2018. 48 с.
2. Методические рекомендации по оцениванию специалистов здравоохранения при аккредитации (Вып. 4) / [Ж. М. Сизова, В. И. Звонников, М. Б. Челышкова: под ред. Ж. М. Сизовой]: ФГАОУ ВО Первый Московский государственный медицинский университет им. И. М. Сеченова Минздрава России (Сеченовский университет), Методический центр аккредитации специалистов. М.: Издательство Первого МГМУ им. И. М. Сеченова, 2018. 56 с.
3. Baig L. A, Violato C. Temporal stability of objective structured clinical exams: a longitudinal study employing item response theory. BMC Medical Education, 12:121DOI: 10.1186/1472-6920-12-121.
4. Semenova T., Sizova Z, Chelyshkova M, Dorozhkin Е, Malygin A. Fairness and Quality of Data in Healthcare Professionals' Accreditation // Modern Journal of Language Teaching Methods. URL: www.mjltm.org (дата обращения: 30.10.2018).
5. Semenova T, Sizova Z,Zvonnikov V, Masalimova A, Ersozlu Z. The Development of Model and Measuring Tool for Specialists Accreditation // EURASIA J. Math., Sci Tech. Ed 2017; 13(10):6779-6788.
LITERATURA
1. Methodical recommendations on experts assessment in accreditation (issue 3) / [Z. M. Sizova, V. I. Zvonnikov, M. B. Chelyshova, ed. by J. M. Sizova] FSAEI HE I. M. Sechenov First Moscow State Medical University of the Russian Ministry of Health (Sechenov University), the Federal Methodological Center for Accreditation. M.: I. M. Sechenov First Moscow State University Publishing House, 2018. 48 p.
2. Methodical recommendations on experts assessment in accreditation (issue 4)/ [Z. M. Sizova, V. I. Zvonnikov, M. B. Chelyshova, ed. by J. M. Sizova] FSAEI HE I. M. Sechenov First Moscow State Medical University of the Russian Ministry of Health (Sechenov University), the Federal Methodological Center for Accreditation. M.: I. M. Sechenov First Moscow State University Publishing House, 2018. 56 p.
3. Baig L. A, Violato C. Temporal stability of objective structured clinical exams: a longitudinal study employing item response theory. BMC Medical Education, 12:121DOI: 10.1186/1472-6920-12-121.
4. Semenova T., Sizova Z, Chelyshkova M, Dorozhkin E, Malygin A. Fairness and Quality of Data in Healthcare Professionals' Accreditation // Modern Journal of Language Teaching Methods (MJLTM) ISSN: 2251- 6204. URL: www.mjltm.org (data obrashheniya: 30.10.2018).
5. Semenova T, Sizova Z, Zvonnikov V, Masalimova A, Ersozlu Z. The Development of Model and Measuring Tool for Specialists Accreditation // EURASIA J. Math., Sci Tech. Ed 2017; 13(10):6779-6788.
