CC BY
6
ОБЩИЕ ВОПРОСЫ СТАНДАРТИЗАЦИИ
DOI: 10.26347/1607-2502202203-04003-008
АККРЕДИТАЦИЯ КАК КЛЮЧЕВОЙ ФАКТОР СОВЕРШЕНСТВОВАНИЯ КАЧЕСТВА МЕДИЦИНСКОГО ОБРАЗОВАНИЯ
Цель исследования. Оценить подходы к анализу и интерпретации результатов аккредитации выпускников медицинских ВУЗов, выявляющие уровень освоения выпускниками трудовых функций профессиональных стандартов.
Материалы и методы. Проанализированы результаты первичной специализированной аккредитации 297 выпускников ординатуры по специальности «кардиология» на основе освоения ими трудовых функций профессионального стандарта.
Результаты. Рассмотрены подходы к анализу результатов аккредитации выпускников ВУЗов для повышения качества медицинского образования. Выделены различные уровни анализа, сопровождаемые рекомендациями по представлению результатов аккредитации. Основное внимание уделяется уровню, на котором анализируется качество развития трудовых функций профессиональных стандартов.
Заключение. Полученные данные показывают, что результаты аккредитации обладают высокой информативностью, позволяя с различной степенью детализации получить обоснованную и сопоставимую информацию о качестве результатов выпускников медицинских ВУЗов. Предложенная типовая структура интеграции результатов анализа позволит принимать организационно-управленческие решения для совершенствования качества медицинского образования.
Ключевые слова: аккредитация, анализ данных, качество результатов образования, трудовые функции
Конфликт интересов. Авторы заявляют об отсутствии возможных конфликтов интересов.
Финансирование. Исследование не имело спонсорской поддержки.
Для цитирования: Семенова Т.В. Аккредитация как ключевой фактор совершенствования качества медицинского образования. Проблемы стандартизации в здравоохранении. 2022; 3-4: 3-8. БО!: 10.26347/1607-2502202203-04003-008
Т.В. Семенова
Министерство здравоохранения Российской Федерации, Москва, Россия
ACCREDITATION AS A KEY FACTOR IN IMPROVING QUALITY OF MEDICAL EDUCATION
Objective. To evaluate approaches to the analysis and interpretation of the results of accreditation of healthcare specialists to assess how they master labor functions of their professional standards. Methods. The results of the primary specialized accreditation of297 graduates of residency program in cardiology were analyzed to assess how they master labor functions of their professional standards. Results. The study considers approaches to analysis of accreditation results of university graduates for improvement of medical education. Different levels of analysis are highlighted and accompanied by recommendations for presenting accreditation results. The main attention is given to the level at which the quality of the development of labor functions of professional standards is analyzed. Interpretation. The data obtained show that the results of accreditation are highly informative, allowing, with varying degrees of detail, to obtain reasonable and comparable information on the quality of the results of medical graduates. The proposed standard structure for integrating the results of the analysis will make it possible to make organizational and managerial decisions to improve the quality of medical education.
Keywords: accreditation, data analysis, quality of educational results, job functions Competing interests. The author declares no competing interests. Funding: the study had no funding.
For citation: Semenova TV. Accreditation as a key factor in improving quality of medical education. Health Care Standardization Problems. 2022; 3-4: 3-8. DOI: 10.26347/16072502202203-04003-008
Tatyana Semenova
Ministry of Health
of the Russian Federation,
Moscow, Russia
ВВЕДЕНИЕ
Аккредитация выпускников ВУЗов как любая инновация вызывает неоднозначное отношение со стороны медицинской общественности, что вполне объяснимо. В ней есть как достоинства, так и недостатки, однако первые значительно перевешивают вторые. К числу достоинств можно отнести независимость оценки профессиональной готовности выпускников ВУЗов к выполнению профессиональной деятельности, высокую объективность результатов аккредитации и их сопоставимость, достигаемую благодаря наличию единого инструментария и стандартизированным процедурам его применения. Недостатком можно считать двойную нагрузку на выпускников, которые сначала проходят процедуру государственной итоговой аттестации, а затем должны выполнить достаточно трудные задания трех этапах аккредитации. Для организаторов процедура аккредитации трудозатратная, поскольку для ее проведения требуется привлечение многочисленных аккредитационных комиссий.
Из вышеуказанных преимуществ аккредитации вытекает главное ее достоинство, пока не получившее должного внедрения в практику обучения в ВУЗах России, готовящих врачей. Результаты аккредитации, подвергнутые различным видам анализа, предоставляют обоснованную и сопоставимую информацию о качестве результатов обучения на момент окончания медицинского ВУЗа [1].
Цель исследования — оценить подходы к анализу и интерпретации результатов аккредитации выпускников медицинских ВУЗов, выявляющие уровень освоения выпускниками трудовых функций профессиональных стандартов.
МАТЕРИАЛЫ И МЕТОДЫ
Проанализированы результаты первичной специализированной аккредитации 297 выпускников ординатуры по специальности «кардиология» на основе освоения ими трудовых функций профессионального стандарта.
РЕЗУЛЬТАТЫ И ИХ ОБСУЖДЕНИЕ
У преподавателей ВУЗов всегда возникает ряд проблем, связанных с отсутствием необходимой информации. На каких данных основы-
вать совершенствование образовательных стандартов? В каких направлениях улучшать образовательные программы? На каких аргументах базировать выбор оптимальных моделей и методов обучения для формирования у обучающихся необходимых компетенций? Как оптимально выстроить индивидуальные образовательные траектории студентов с учетом их предпочтений и объективных данных об их результатах обучения? Все эти и другие многочисленные вопросы, возникающие в повседневной практике образования, носят на сегодняшний день нерешенный характер, поскольку для ответов на них необходима обоснованная информация в сочетании с соответствующими методами анализа данных и их интерпретацией [2].
Конечно, результаты аккредитации, подвергнутые соответствующему анализу, не способны закрыть все перечисленные проблемы. Для полноценного их решения необходимо создание в ВУЗах системы контроля, основанной на едином банке оценочных средств и систематических оценочных процедурах, данные которых накапливаются и анализируются в режиме мониторинга [3, 4]. Однако и по результатам аккредитации можно получить достаточно много полезной информации, позволяющей решать задачи совершенствования качества образования на различных его уровнях.
В частности, на федеральном уровне наибольший интерес представляет сравнительный анализ, позволяющий сопоставить по ВУЗам процент испытуемых, прошедших за пороговый балл с первой попытки на отдельных этапах аккредитации. Сбор сравнительных данных по годам может послужить основой для выявления ВУЗов, в которых наметится тенденция к систематическому отставанию [5].
Для ВУЗов наибольший интерес представляет детализированная информация, полученная с помощью анализа результатов аккредитации представленная в структурированном и интегрированном формате. Детализация осуществляется путем подсчета процента испытуемых, прошедших за пороговый балл по блокам заданий, предназначенным для оценивания уровня освоения отдельных трудовых функций. В качестве порогового балла можно выбрать те же 70%, что и в аккредитации. Таким образом, все испытуемые, выполнившие больше 70% заданий из блока за-
даний, будут считаться освоившими данную трудовую функцию [6].
При детализации информации для ВУЗа интерес может также представлять процент испытуемых, выполнивших в блоке все задания, предназначенные для оценивания освоения определенной трудовой функции. В другом случае можно подсчитать процент испытуемых, выполнивших минимальное число заданий в этом блоке. Накопление информации в ВУЗе позволит выявить те трудовые функции, которые осваиваются недостаточно. А затем искать причины этих негативных тенденций, которые могут скрываться в недостатках образовательной программы, реализуемой в данном ВУЗе, в неэффективной работе отдельных преподавателей либо в отсутствии необходимого материально-технического оснащения учебного процесса.
Для испытуемых важны протоколы ответов на аккредитационные задания, поскольку анализ своих ошибок и просчетов позволит каждому испытуемому выстроить траекторию дальнейшего профессионального развития в системе непрерывного медицинского образования. Таким образом, результаты развернутого анализа данных аккредитации нацелены на различных потребителей и являются важным информационным источником для совершенствования качества образования.
Если к результатам аккредитации присоединить результаты анкетирования студентов и преподавателей по различным аспектам качества осуществления процесса и материально-технического оснащения обучения, то спектр вопросов, на которые можно получить ответы, значительно расширится (рисунок) [7].
Таким образом, как показано на рисунке, информация охватывает самые различные аспекты качества процесса и результатов обучения.
Большинство вопросов с различных сторон характеризуют качество результатов обучения с позиции готовности выпускников медицинских ВУЗов к профессиональной деятельности. Один из вопросов является управленческим, предназначенный для оценивания позитивных эффектов от вложения дополнительного финансирования, а другой — нацелен на информацию, которая является обязательной в аккредитации, поскольку только валидные данные могут подвергаться интерпретации для совершенствования качества результатов обучения [5].
Агрегированные данные, которые можно собрать о качестве образования на основе совместного анализа результатов аккредитации и данных анкетирования
Таким образом, систематическое отслеживание и анализ аккредитационных результатов выпускников медицинских ВУЗов может дать важнейшую информацию как для совершенствования качества образования, так и для индивидуализации обучения специалистов в системе непрерывного медицинского образования. Для этого данные аккредитации должны быть подвергнуты статистическому анализу и дополнены другой информацией по различным аспектам качества процесса обучения.
В качестве первого шага предлагается оценить уровень освоения трудовых функций профессиональных стандартов в формате, предназначенном для детализации такой информации по отдельным ВУЗам.
В следующем разделе рассматривается возможный вариант структуры для интеграции такой информации, полученной на первом этапе аккредитации и детализирующей уровень освоения трудовых функций профессиональных стандартов. Результаты анализа позволяют использовать анализируемые данные в целях совершенствования качества образования.
Анализ результатов аккредитации с целью оценивания уровня освоения трудовых функций профессиональных стандартов в отдельных ВУЗах
предлагается разбить на два шага, согласно которым выстраивается структура представления результатов анализа данных аккредитации.
Шаг 1. Необходимо представить обобщенные результаты аккредитации по ВУЗам с целью проведения сравнительного анализа результатов испытуемых своего ВУЗа с другими результатами (табл. 1).
Шаг 2. Для отдельного ВУЗа и определенной специальности подсчитываются результаты испытуемых по трудовым функциям, представленные в виде процента правильно выполненных заданий из блока заданий, относящегося к данной трудовой функции. Поскольку аккредитуемые имеют возможность трижды выполнять задания каждого очередного этапа в случае неудачи, интерес представляет сравнение результатов по отдельным трудовым функциям после первой попытки с окончательными результатами, вклю-
чающими все возможные пересдачи этапа. Вариант интеграции данных по первой попытке для первого этапа аккредитации представлен в табл. 2. Окончательные данные по первому этапу можно разместить в таблице с аналогичной структурой (табл. 3).
Под минимальным процентом в данном случае понимается то минимальное число заданий (в процентах), которое выполнил испытуемый из блока задания, относящихся к определенной трудовой функции. Соответственно определяется максимальный процент выполнения заданий по трудовой функции.
Предлагаемый вариант интеграции данных аккредитации должен быть дополнен в ВУЗе детализирующей информацией, содержащей данные по испытуемым. Например, относительно их принадлежности к группам отдельных преподавателей или наличия особенностей в програм-
Таблица 1
Обобщенные результаты аккредитации по ВУЗам
Название ВУЗа Процент аккредитованных на первом этапе после первой попытки Процент аккредитованных на втором этапе после первой попытки Процент аккредитованных на третьем этапе после первой попытки Общий процент аккредитованных после всех попыток
Таблица 2
Результаты испытуемых по трудовым функциям после первой попытки
Название специальности Коды трудовых функций
Процент испытуемых, прошедших пороговый балл 70% по каждой трудовой функции Процент испытуемых, верно выполнивших все задания по каждой трудовой функции Минимальный % выполнения Максимальный % выполнения Средний % выполнения Число заданий в тесте по трудовым функциям
Название специальности Коды трудовых функций
Процент испытуемых, прошедших пороговый балл 70% по каждой трудовой функции Процент испытуемых, верно выполнивших все задания по каждой трудовой функции Минимальный % выполнения Максимальный % выполнения Средний % выполнения Число заданий в тесте по трудовым функциям
Таблица 3
Окончательные результаты испытуемых по трудовым функциям
Таблица 4
Проценты испытуемых, успешно прошедших первый этап аккредитации в ВУЗах по определенной специальности после первой попытки
Название ВУЗа Общее количество испытуемых Количество испытуемых, успешно прошедших первый этап Процент испытуемых, успешно прошедших первый этап
Таблица 5
Обобщенные результаты аккредитации по специальности
Название специальности
код трудовой функции средний процент испытуемых, прошедших за пороговый балл в 70% средний процент испытуемых, выполнивших все задания по трудовой функции средний минимальный балл испытуемых по трудовой функции число испытуемых, получивших средний минимальный балл по трудовой функции в ВУЗах
1 2 3 4 5
Примечание. Во втором, третьем и четвертом столбцах размешены средние результаты по ВУЗам. Во втором столбце приводится средний процент испытуемых, выполнивших не менее 70% заданий из блока заданий, относящихся к данной трудовой функции, код которой помещен в первом столбце. Третий столбец также содержит усредненную информацию и в нем указывается средний процент испытуемых, выполнивших все задания по соответствующей трудовой функции. В четвертом столбце приводится средний минимальный балл испытуемых по трудовой функции, код которой размещен в первом столбце. Последний столбец — это число испытуемых, получивших средний минимальный балл по трудовой функции в ВУЗах.
Таблица 6
Обобщенные результаты аккредитации по специальности «Кардиология»
Кардиология
код трудовой функции средний процент испытуемых, прошедших за пороговый балл в 70% средний процент испытуемых, выполнивших все задания по трудовой функции средний минимальный процент по трудовой функции для всех ВУЗов число испытуемых в ВУЗах, получивших средний минимальный процент по трудовой функции
А/02.8 85,0 18,0 19,23 18 испытуемых (ФГБОУ ВО Казанский ГМУ Минздрава России)
А/01.8 86,0 15,0 17,86 19 испытуемых (ФГБОУ ВО Казанский ГМУ Минздрава России)
А/06.8 80,0 80,0 0,00 11 испытуемых (ФГБВОУВО «Военно-медицинская академия имени С.М. Кирова» Минобороны РФ) 24 испытуемых (ФГБОУ ВО «ДГМУ» Минздрава России) 10 испытуемых (ФГБОУ ВО КЕМГМУ Минздрава России) 16 испытуемых (ФГБОУ ВО РязГМУ Минздрава России)) 28 испытуемых (ФГБОУ ВО СТГМУ Минздрава России) и т.д.
А/04.8 70,0 70,0 0,00 60 испытуемых (ГБУ «МЦАиПР») 22 испытуемых (ФГАОУ ВО «РУДН») 11 испытуемых (ФГБВОУВО «Военно-медицинская академия имени С.М. Кирова» Минобороны РФ) 24 испытуемых (ФГБОУ ВО «ДГМУ» Минздрава России) 36 испытуемых (ФГБОУ ВО КубГМУ Минздрава России) 18 испытуемых (ФГБОУ ВО «ПИМУ» Минздрава России) (18) ФГБОУ ВО СОГМА и т.д.
мах обучения и т.д. Подобная детализация позволит шире интерпретировать результаты аккредитации в целях совершенствования качества образования.
Для Минздрава России интерес представляют проценты испытуемых, успешно прошедших каждый этап аккредитации в ВУЗах по определенным специальностям (пример для первого этапа аккредитации и первой попытки представлен в формате табл. 4).
Для представления окончательных обобщенных результатов аккредитации по отдельным специальностям для всех ВУЗов можно использовать табл. 5.
Пример заполненной табл. 5 представлен в табл. 6, которая содержит фрагмент реальных данных, полученных по результатам первого этапа аккредитации выпускников ординатуры по специальности «Кардиология» в 2021 г.
ЗАКЛЮЧЕНИЕ
Полученные данные показывают, что результаты аккредитации обладают высокой информативностью, позволяя с различной степенью детализации получить обоснованную и сопоставимую информацию о качестве результатов выпускников медицинских ВУЗов. В частности, с помощью изложенных в ней подходов к анализу результатов аккредитации выпускников медицинских ВУЗов можно выявить уровень освоения трудовых функций профессиональных стандартов.
ЛИТЕРАТУРА
1. Семенова Т.В. О системном подходе к совершенствованию качества результатов медицинского образования. Медицинский альманах. 2021; 2 (67): 6—12.
2. Reznikov V.E. Medical education: a key word — quality. Higher Education Discovery. 2011; 51.
3. Кляйнманн M. Ассессмент-Центр: современные технологии оценки персонала. Перевод с нем. Бондарь Н. Харьков: Гуманитарный Центр, 2004.
4. Свистунов А.А., Ших Е.В., Сизова Ж.М. Независимая оценка профессиональных квалификаций специалистов медико-биологической и фармацевтической отрасли — важная составляющая непрерывного профессионального медицинского образования. Диагностическая и интервенционная радиология. 2013; 7 (2): 23—27.
5. Оценка профессиональной готовности специалистов в системе здравоохранения. Под ред. Т.В. Семеновой. М.: ГЭОТАР-Медиа; 2019.
6. Kersting M., Hornke L.F. Improving the quality of proficiency assessment: the German standardization approach. Psychology Science. 2006; 48 (1): 85—98.
7. Семенова T.B., Сизова Ж.М., Найденова H.H., Звонни-ков В.И., Малахова Т.Н., Литвинова Т.М. Интерпретация результатов аккредитации в контексте совершенствования качества медицинского образования. Медицинский вестник Северного Кавказа. 2020; 15 (3): 429—434. https://doi.org/10.14300/mnnc.2020.15103.
REFERENCES
1. Semenova TV. About system approach to improvement of medical education results quality. Medical Almanac. 2021; 2 (67): 6—12. Russian.
2. Reznikov VE. Medical education: a key word — quality. Higher Education Discovery. 2011; 51.
3. Kleinmann M. Assessment Center: modern technologies for personnel assessment. Bondar N, translator. Kharkiv: Gumanitarnyy Tsentr, 2004.
4. Svistunov AA, Shykh EV, Sizova ZhM. Independent assessment of professional qualifications of specialists of medicobiological and pharmaceutical branch — the important component of continuous professional medical education. Diagnostic and Interventional Radiology. 2013; 7 (2): 23—27. Russian.
5. Assessment of professional readiness of specialists in the healthcare system. Semenova TV, editor. Moscow: GEOTAR-Media; 2019.
6. Kersting M, Hornke LF. Improving the quality of proficiency assessment: the German standardization approach. Psychology Science. 2006; 48 (1): 85—98.
7. Semenova TV, Sizova ZhM, Naidenova NN, Zvonnikov VI, Malakhova TN, Litvinova TM. Interpretation of accreditation results in the context of improving the quality of medical education. Medical News of the North Caucasus. 2020; 15 (3): 429—433. https://doi.org/10.14300/mn-nc.2020.15103. Russian.
Поступила/Received: 02.02.2022 Принята к опубликованию/Accepted: 27.02.2022
Сведения об авторе:
Семенова Татьяна Владимировна — заместитель министра здравоохранения Российской Федерации. Министерство здравоохранения Российской Федерации. 127994, ГСП-4, Москва, Рахмановский переулок, 3. E-mail: SemenovaTV@rosminzdrav.ru. https://orcid.org/0000-0002-1393-4713
About the author:
Tatyana V. Semenova — Deputy Minister of Health of the Russian Federation. Ministry of Health of the Russian Federation, Moscow, Russia. E-mail: SemenovaTV@rosminzdrav.ru. https://orcid.org/0000-0002-1393-4713
