CC BY
31ОРИГИНАЛЬНЫЕ СТАТЬИ
УДК 614.39+614.22(23)+378.147/.225+37.014.54
ИТОГИ И УСПЕХИ АККРЕДИТАЦИИ СПЕЦИАЛИСТОВ В ОБЕСПЕЧЕНИИ СИСТЕМЫ ЗДРАВООХРАНЕНИЯ КВАЛИФИЦИРОВАННЫМИ МЕДИЦИНСКИМИ КАДРАМИ_
© Татьяна Владимировна Семенова
Министерство здравоохранения Российской Федерации. 127994, ГСП-4, г. Москва, Рахмановский пер, д. 3
Контактная информация: Татьяна Владимировна Семенова — заместитель министра здравоохранения Российской
Федерации. E-mail: SemenovaTV@rosminzdrav.ru
Поступила: 29.11.2020 Одобрена: 17.12.2020 Принята к печати: 28.12.2020
РЕЗЮМЕ: Статья посвящена проблеме совершенствования качества профессиональной готовности медицинских кадров. Вниманию читателей представлен краткий обзор итогов и перспектив развития аккредитации специалистов здравоохранения в настоящее время, а также возможности интерпретации результатов аккредитации в целях совершенствования профессиональной подготовки специалистов системы здравоохранения России. Аккредитация специалистов системы здравоохранения выполняет две основные функции: 1) допуск в профессию только подготовленных специалистов, способствующий укомплектованию системы здравоохранения квалифицированными кадрами и повышению тем самым качества оказания медицинской помощи в России; 2) создание информационной базы управления качеством в системе непрерывного медицинского образования, включая в том числе информацию о качестве подготовки выпускников медицинских вузов России. Цель аккредитации — повышение эффективности управления качеством подготовки кадров, его анализа и контроля. Углубленный анализ результатов аккредитации и их последующая интерпретация открывают новые возможности в совершенствовании профессиональной готовности специалистов здравоохранения на различных уровнях управления. В статье обсуждаются результаты анализа выборочной обработки показателей аккредитации выпускников ряда регионов России 2020 года по экспериментальному алгоритму. Проанализированы данные из 13 субъектов РФ по параллельным вариантам тестов (сформированным из банка заданий по единой спецификации содержания), каждый из которых состоял из 60 заданий, относящихся к 5 трудовым функциям профессионального стандарта 02.040 «Врач — анестезиолог-реаниматолог». Оценивались: средний тестовый балл, его распределение по рассмотренным регионам и по типам трудовых функций. Данный анализ позволил выявить различия в освоении трудовых функций как по регионам, так и по типам навыков, что позволяет распространить данную модель на более обширные выборки для совершенствования оценки профессиональной готовности специалистов здравоохранения. Развитие аккредитации медицинских работников должно идти не только в направлении наращивания количества аккредитуемых и совершенствования качества инструментария для повышения объективности и обоснованности результатов аккредитации. Перспективным представляется анализ данных аккредитации для создания системного подхода к совершенствованию профессиональной готовности специалистов от уровня Минздрава России до уровня построения
14431331
индивидуальных траекторий развития специалистов в системе непрерывного медицинского образования. Интерпретация результатов аккредитации будет более информативной, если дополнить ее данными анкетирования для сбора контекстных данных, влияющих на качество профессиональной готовности специалистов здравоохранения.
КЛЮЧЕВЫЕ СЛОВА: аккредитация; интерпретация; качество; профессиональная готовность; трудовые функции.
THE RESULTS AND ACHIEVEMENTS OF HEALTH CARE SPECIALISTS ACCREDITATION IN PROVIDING THE HEALTH CARE SYSTEM WITH THE QUALIFIED MEDICAL STAFF_
© Tatyana V. Semenova
Ministry of Health Care of Russian Federation. Rakhmanovsky lane, 3. Moscow, GSP-4, Russia, 127994
Contact information: Tatyana V. Semenova — Deputy Minister of Health Care of the Russian Federation. E-mail: SemenovaTV@rosminzdrav.ru
Received: 29.11.2020 Revised: 17.12.2020 Accepted: 28.12.2020
ABSTRACT: The article deals with the problem of improving the professional readiness of medical personnel. Readers are provided with a brief overview of the results and prospects of the development of the accreditation of health professionals at the present time, and the possibility of interpreting the results of accreditation in order to improve the level of professional training of Russian health-care specialists. The process of accreditation of health professionals is aimed at:
1) admission to the profession of only highly trained professionals, thus contributing to completing health-care system by qualified personnel, thereby improving the quality of medical care in Russia;
2) forming of the data base for quality management in the system of continuing medical education, including information about the quality of education provided by medical universities in Russia. The purpose of accreditation is to improve the quality management, its analysis and monitoring of training. The profound analysis of the results of accreditation and their subsequent interpretation offer new opportunities to improve the professional readiness of health specialists at different levels of management. The article discusses the results of the analysis of accreditation of graduates from some regions of Russia in 2020 according to the experimental algorithm. Data from 13 regions of the Russian Federation were analyzed on parallel versions of tests (formed from a bank of tasks according to a uniform specification of content), each of which consisted of 60 tasks related to 5 working functions of professional standard 02.040 «Doctor — anesthesiologist-reanimatologist». Average test results, their regional and job type distributions were estimated:. The analysis revealed differences in job acquisition, both regional and by skill type, allowing the model to be extended to larger samples to a more profound assess of the professional readiness of health professionals. The development of the process of health professionals' accreditation should go beyond increasing the quantity of specialists and improving the quality of the tools to improve the objectivity and validity of the results of accreditation. The analysis of the accreditation data is promising to create a systemic approach to improving the professional readiness of specialists of both the level of the Ministry of Health of the Russian Federation and the level of the construction of individual routs for the development of specialists in the system of continuing medical education. The interpretation of the results of accreditation will be more informative provided with questionnaire data for the collection of contextual data affecting the quality of professional readiness of health professionals.
KEY WORDS: accreditation; interpretation; quality; professional preparedness; work functions.
ВВЕДЕНИЕ
Федеральный проект «Обеспечение медицинских организаций системы здравоохранения квалифицированными кадрами» на 2019-2024 гг. предусматривает решение целого спектра крупномасштабных задач, нацеленных на рост доступности и качества медицинской помощи населению страны. В число этих задач входит ежегодное увеличение численности врачей и средних медицинских работников (в том числе тех, кто допущен к профессиональной деятельности через процедуру аккредитации), расширение перечня утвержденных профессиональных стандартов на фоне их системного внедрения и постоянного совершенствования, развитие организационно-методического обеспечения, необходимого для проведения процедуры аккредитации и функционирования системы непрерывного медицинского образования с использованием дистанционных образовательных технологий в России [5]. Среди перечисленных задач трудно выделить приоритетные, поскольку все они тесно взаимосвязаны и находятся в постоянном взаимодействии в процессе их решения. В целом выполнение поставленных задач позволит на момент завершения проекта в 2024 году решить проблему дефицита врачей и среднего медперсонала по каждому субъекту Российской Федерации с учетом фактически сложившейся ситуации по обеспечению населения медицинскими кадрами и существующей в регионах нагрузки на специалистов здравоохранения.
Цель написания данной статьи — представить краткий обзор итогов и перспектив развития аккредитации специалистов здравоохранения России в настоящее время, а также возможности интерпретации результатов аккредитации в целях совершенствования профессиональной готовности специалистов к выполнению своих трудовых функций.
АККРЕДИТАЦИЯ, ЕЕ РОЛЬ И СРЕДСТВА ОСУЩЕСТВЛЕНИЯ
Аккредитации, под которой понимается процедура определения соответствия лиц с медицинским или фармацевтическим образованием требованиям к осуществлению медицинской деятельности, отводится двоякая роль в решении задач проекта по обеспечению квалифицированными кадрами медицинских организаций России [2]. Во-первых, аккредитация позволяет создать систему допуска в профессию только подготовленных специалистов, способствуя укомплектованию системы здравоохранения квалифицированными кадрами и повышению тем самым качества оказания медицинской помощи в России.
Во-вторых, аккредитация закладывает информационную базу управления качеством в системе
INTRODUCTION
Federal project «Provision of medical organizations of the health care system with qualified personnel» for 2019-2024 provides for a range of large-scale tasks aimed at increasing the accessibility and quality of health care for the population. These include the annual increase in the number of doctors and nurses, including those admitted through the accreditation procedure, expansion of the list of approved professional standards against the background of their systematic implementation and continuous improvement, development of organizational and methodological support, necessary for carrying out the procedure of accreditation and functioning of the system of continuing medical education using remote educational technologies in Russia [5]. Among the tasks listed, it is difficult to identify priorities, as they are all closely interrelated and are in constant interaction in the process of fulfilment. On the whole, the completion of the project in 2024 will make it possible to solve the problem of the shortage of doctors and paramedical personnel in each region of the Russian Federation, taking into account the actual situation regarding the provision of medical personnel, and the burden on health specialists in the regions.
The purpose of this article is to provide a brief overview of the results and prospects of the development of the accreditation process of health professionals at the present time, and the possibility of interpreting the results of accreditation in order to improve the professional readiness of Russian health-care specialists to perform their work functions.
ACCREDITATION, ITS ROLE AND IMPLEMENTATION TOOLS
Accreditation is the procedure for determining whether persons with a medical or pharmaceutical education meet the requirements for performing medical activities, and plays a dual role in the project to provide medical organizations in the Russian health-care system with qualified personnel [2]. First, accreditation makes it possible to establish a system for admitting to profession only trained specialists, helping to staff the health-care system with highly qualified personnel thus improving the quality of medical care in Russia.
Secondly, accreditation provides an information base for quality management in the system of continuing medical education, including infor-
непрерывного медицинского образования, включая в том числе информацию о качестве подготовки выпускников медицинских вузов России. Она обеспечивает повышение эффективности управления качеством путем получения достоверной и полной информации о готовности специалистов здравоохранения к выполнению трудовых функций, текущем состоянии качества подготовки кадров в системе непрерывного медицинского образования, факторах, влияющих на качество этой подготовки, и динамике изменения состояния кадрового обеспечения системы здравоохранения. Комплексная интерпретация результатов аккредитации с учетом ключевых требований (требований федеральных государственных образовательных стандартов, профессиональных стандартов, результатов метаанализа в рамках доказательной медицины и клинических рекомендаций) может быть положена в основу бенч-маркинга и создания системы оказания помощи отстающим структурам в системе здравоохранения с учетом результатов анализа качества их деятельности [4].
Для методического и организационного сопровождения аккредитации на базе Первого Московского государственного медицинского университета им. И.М. Сеченова был создан Методический центр. Он курирует вопросы разработки инструментария аккредитации, формирует единый федеральный банк заданий, организует экспертизу и апробацию в целях совершенствования качества инструментария, разрабатывает методические материалы и паспорта станций объективного структурированного клинического экзамена (ОСКЭ) для практического этапа аккредитации, организует и поддерживает работу системы репетиционного тестирования, проводит обучение авторов и членов аккредитационных комиссий и т.д.
Экспертизу качества инструментария, обработку и интерпретацию результатов аккредитации осуществляют ведущие специалисты Методического центра, имеющие специальную подготовку в области теории и практики образовательных измерений. На основе анализа результатов аккредитации и апробации ее инструментария на представительных выборках студентов медицинских вузов России они отслеживают соответствие характеристик заданий федерального банка оценочных средств Стандартам качества процедур и инструментария аккредитации специалистов здравоохранения, разработанным в Методическом центре аккредитации в 2020 году.
Привлечение к разработке инструментария ведущих представителей профессорско-преподавательского состава медицинских вузов России, высокий научный уровень используемых технологий разработки инструментария, развитая система внутреннего контроля при аккредитации, соблюдение требований Стандартов качества процедур и инструментария аккредитации, а так-
ma tion of the quality of education of graduates in Russian medical universities. It ensures improvement of quality management by obtaining reliable and complete information on the readiness of health-care professionals to perform work functions and the current state of the quality of staff training in the sphere of continuing medical education, factors influencing the quality of this training and the evolution of health personnel. Comprehensive interpretation of accreditation results, taking into account key requirements (requirements of federal state educational standards, professional standards, meta-analysis within the framework of evidence-based medicine and clinical recommendations) can serve as a basis for benchmarking and establishing a system to assist lagging structures in the health system, based on the results of a quality analysis of their performance [4].
Methodological Centre for methodological and organizational support of accreditation was formed in the structure of the First Moscow State Medical University named after I. M. Sechenov. It supervises the development of the accreditation toolkit, forms a unified federal task bank, organizes expert examinations and tests to improve the quality of the toolkit, works out methodological materials and passports of objective structured clinical examination (OSCE) stations for the practical stage of accreditation, organizes and supports the rehearsal testing system, conducts training for authors and members of accreditation commissions, etc.
The quality of the tools and the processing and interpretation of the results of accreditation is assessed by the leading specialists of the Methodological Centre, who have special training in the theory and practice of educational measurements. On the basis of the analysis of the results of accreditation and the validation of its instruments on representative samples of students of medical universities in Russia, they monitor the compliance of the specifications of the Federal Bank of Assessment Tools with the Quality Standards of the Procedures and Tools for Accreditation of Health Professionals developed at the Methodological Accreditation Centre in 2020.
Involvement of leading representatives of the professorial and teaching staff of medical universities of Russia in the development of instrumentation development tools, high scientific level of the used technologies, developed system of internal control under the accreditation, compliance with the Quality Standards for accreditation procedures
же регулярная масштабная общественно-профессиональная экспертиза инструментария способствуют эффективному выполнению функций аккредитации по обеспечению медицинских организаций системы здравоохранения России квалифицированными кадрами.
ИТОГИ АККРЕДИТАЦИИ 2020 ГОДА
Первичная аккредитация специалистов, завершивших подготовку по основным образовательным программам высшего образования, в 2020 году проводилась на площадках 77 образовательных организаций. Она включала 3 этапа по трем специальностям («Лечебное дело», «Педиатрия», «Стоматология») и 2 этапа по пяти специальностям («Фармация», «Медико-профилактическое дело», «Медицинская биофизика», «Медицинская биохимия», «Медицинская кибернетика»). Первичная специализированная аккредитация лиц, завершивших освоение основных образовательных программ высшего медицинского образования и высшего фармацевтического образования (программ ординатуры), проводилась по 78 специальностям; лиц, завершивших освоение дополнительных профессиональных программ — программ профессиональной переподготовки, — по 73 специальностям.
Согласно Приказу Минздрава России от 24.08.2020 г. № 891 н «Об особенностях проведения аккредитации специалистов в 2020 году» тестирование частично проводилось с использованием дистанционных технологий в информационно-телекоммуникационной сети «Интернет». До конца 2020 года первичную аккредитацию прошли свыше 15 000 выпускников медицинских вузов (менее 6% неаккредитованных), а первичную специализированную — свыше 18 000 с высокими результатами (менее 3% неаккредитованных выпускников ординатуры и менее 5% — специалистов после профпе-реподготовки). Число специалистов, прошедших аккредитацию в 81 субъекте РФ, значительно возросло к середине января 2021 года и фактически превысило 90% по 105 специальностям, в том числе включая выпускников системы среднего профессионального образования.
ИНТЕРПРЕТАЦИЯ РЕЗУЛЬТАТОВ АККРЕДИТАЦИИ ДЛЯ СОВЕРШЕНСТВОВАНИЯ ПРОФЕССИОНАЛЬНОЙ ГОТОВНОСТИ СПЕЦИАЛИСТОВ ЗДРАВООХРАНЕНИЯ
Углубленный анализ результатов аккредитации и их последующая интерпретация открывают новые возможности в совершенствовании профессиональной готовности специалистов здра-
and tools and regular high-level public outreach, the professional expertise of the instrumentation facilitates the effective performance of the accreditation functions for the provision of qualified personnel to medical organizations of the Russian health-care system.
RESULTS OF THE 2020 YEAR ACCREDITATION
The initial accreditation of specialists who have completed their training in basic higher education programs was carried out in 2020 at the sites of 77 educational organizations. It included 3 stages in three specialties («curative business», «pediatrics», «dentistry») and 2 stages in five specialties («pharmacy», «medico-prophylactic business», «medical biophysics», «medical biochemistry», «medical cybernetics»). Initial specialized accreditation of persons who have completed the basic education programs of higher medical education and higher pharmaceutical education — the residency programs were carried out in 78 specialties; Persons who have completed additional vocational programs — retraining programs — in 73 specializations.
According to the Order of the Ministry of Health of Russia of 24.08.2020. 891n «On the peculiarities of carrying out the accreditation of specialists in 2020» testing was partially carried out using remote technologies in the information and telecommunication network «Internet». By the end of 2020, more than 15,000 medical graduates (less than 6 per cent non-accredited) and over 18,000 first-cycle graduates were registered, with excellent results (less than 3% of non-accredited graduates of residency and less than 5% of specialists after retraining). The number of specialists accredited in 81 constituent regions of the Russian Federation increased significantly by mid-January 2021 and actually exceeded 90 per cent in 105 specialties, including graduates of secondary vocational education.
INTERPRETING ACCREDITATION RESULTS TO IMPROVE
THE PROFESSIONAL READINESS OF HEALTH PROFESSIONALS
A profound analysis of accreditation results and their subsequent interpretation opens up new possibilities for improving the professional readiness of health professionals at different levels of man-
воохранения на различных уровнях управления. В частности на федеральном уровне такая интерпретация дает возможность Министерству здравоохранения принимать актуальные административные решения и намечать стратегические направления развития медицинского и фармацевтического образования, определять пути реализации основных направлений образовательной политики в соответствии с потребностями общества и государства. Результаты аккредитации в структурированном и интегрированном формате являются индикатором состояния учебного процесса в различных регионах России, показывая успешность реализации образовательных программ в вузах и в системе непрерывного медицинского образования [1].
На вузовском уровне анализ результатов аккредитации позволяет получить важнейшую информацию, предназначенную как для коррекции образовательных программ, так и для повышения эффективности работы отдельных преподавателей. Развернутый анализ данных аккредитации выявляет те требования профессиональных стандартов, которые систематически оказываются слабо освоенными выпускниками медицинских вузов.
Для отдельных специалистов детализированная интерпретация результатов аккредитации, содержащая подробные протоколы их ответов, позволяет скорректировать индивидуальные образовательные траектории в системе непрерывного медицинского образования. Для этого, помимо общего решения об аккредитации, каждый специалист должен получать подробный анализ своих результатов, содержащий интерпретацию в форме развернутого перечня освоенных хорошо и не освоенных в достаточной мере трудовых функций. Информация последнего рода особенно важна для будущего работодателя, поскольку при приеме на работу необходимо принимать во внимание потенциальные возможности будущего специалиста и планировать его профессиональное развитие в системе непрерывного медицинского образования. Таким образом, развернутая интерпретация данных аккредитации нацелена на различных потребителей и является важным информационным источником для совершенствования профессиональной готовности специалистов здравоохранения.
Проведение такой интерпретации осложняется размерами массивов данных аккредитации. Последнее обстоятельство вынуждает в процессе проведения анализа обратиться к дополнительной кодификации данных, построению выборочных совокупностей испытуемых и использованию режима Big Data (большие данные), требующего инновационных методических подходов к представлению данных для статистической обработки.
agement. In particular, at the federal level, this interpretation enables the Ministry of Health to make relevant administrative decisions and to set strategic guidelines for the development of medical and pharmaceutical education, To identify ways of implementing the main lines of educational policy in accordance with the needs of society and the State. The results of accreditation in a structured and integrated format are an indicator of the state of educational process in various regions of the Russian Federation, showing the effectiveness of educational programs in higher education and in the system of continuing medical education [1].
At the university level the analysis of the results of accreditation provides essential information both for correcting educational programs and for improving the activity of individual teachers. A detailed analysis of accreditation data highlights those requirements of professional standards that turn out to be poorly mastered by medical graduates.
For individual specialists, a detailed interpretation of the accreditation results containing detailed protocols of their responses, allows to make correction of individual educational trajectories in the system of continuing medical education. For this purpose, in addition to a general accreditation decision, each specialist must receive a detailed analysis of his or her tests, containing an interpretation in the form of a detailed list of well-trained and insufficiently trained work functions. The latter type of information is particularly important for the future employer, since recruitment must take into account the potential of the future professional and plan his or her professional development in a continuing health education system. Thus, the detailed interpretation of accreditation data is aimed at different users and is an important information source for improving the professional readiness of health professionals.
This interpretation is complicated by the size of the accreditation data sets. This latter circumstance leads to additional codification of data, construction of sample frames of subjects and use of Big Data mode in the analysis process which requires innovative methodological approaches to providing data for statistical processing.
In general, in order to implement a comprehensive approach to the analysis and interpretation of the results of the accreditation of health professionals, it is necessary to establish a fede-
В целом для реализации комплексного подхода к анализу и интерпретации результатов аккредитации специалистов здравоохранения необходимо создать федеральную базу данных аккредитации, сформировать перечень пользователей, установить различные уровни и права доступа к информации. Одним из важнейших свойств базы должно стать четкое структурирование результатов аккредитации по регионам, образовательным учреждениям и другим кодификаторам групп аккредитуемых. Благодаря этому можно будет в любой точке страны для различных образовательных целей оперативно подготовить статистический отчет по различным выборкам выпускников медицинских вузов, преобразовать массив данных в формат различных шкал и интерпретировать его в виде, требуемом для развернутого анализа с учетом потребностей пользователей. В связи с тем, что многие из этих задач находятся пока в стадии решения, в 2020 году была проведена экспериментальная обработка результатов аккредитации и их интерпретация для выявления качества освоения трудовых функций профессиональных стандартов ординаторами в ряде регионов России.
Для этого были выбраны 6 специальностей, по которым по состоянию на начало декабря 2020 года завершилась процедура первого этапа первичной специализированной аккредитации специалистов, а количество ее участников позволяло сделать достоверный анализ и получить обоснованные выводы. В состав выбранных специальностей для анализа вошли «Анестезиология-реаниматология», «Дерматовенерология», «Кардиология», «Неврология», «Оториноларингология», «Хирургия». В качестве примера в статье приводятся результаты анализа по специальности «Анестезиология-реаниматология».
Для анализа по этой специальности использовались результаты тестирования 207 аккредитуемых ординаторов из 13 субъектов Российской Федерации (далее — субъект), где были организованы площадки для первичной специализированной аккредитации специалистов. Образовательные организации в этих субъектах являются подведомственными как Минздраву России, так и Министерству науки и высшего образования Российской Федерации. Состав участников аккредитации, чьи результаты были выбраны для анализа, приведен в таблице 1, где серым цветом выделены субъекты с наибольшим числом тестируемых участников аккредитации (более 10 человек).
Результаты аккредитации для анализа были собраны по параллельным вариантам тестов (сформированным из банка заданий по единой спецификации содержания), каждый из которых состоял из 60 заданий, относящихся к 5 трудовым функциям профессионального стандарта 02.040 «Врач — анестезиолог-реаниматолог» [3]. Перечень трудовых функций, задания по которым вошли в тесты, приведен в таблице 2.
ral accreditation database, a list of users, different levels and rights of access to information. One of the most important features of the framework should be the clear structuring of accreditation results by region, educational institutions and other codifiers of the groups of accredited persons. This will make it possible to produce a statistical report for different samples of medical graduates at any point of the country for different educational purposes, convert the data set into different scales and interpret it as required for detailed user needs analysis. In view of the fact that many of these tasks are still in the process of being solved, the results of accreditation and their interpretation were experimented with in 2020 in order to determine the quality of the mastery of the work functions of professional standards by residents in a number of regions of the Russian Federation.
For this purpose, six specialties have been selected. As of the beginning of December 2020, the first stage of the initial specialized accreditation procedure was completed, and the number of participants allowed for reliable analysis and informed conclusions. The selected specialties for analysis included: «Anesthesiology-resusci-tation», «Dermatovenerology», «Cardiology», «Neurology», «Otorinolaringology», «Surgery». As an example, the results of the analysis on the specialty «Anesthesiology-resuscitation» are given in the article.
The results of the testing of 207 accredited residents from 13 regions of the Russian Federation (hereinafter, region) were used for the analysis of this specialty, where sites for initial specialized accreditation of specialists were organized. Educational organizations in these regions are under the jurisdiction of both the Ministry of Health and the Ministry of Science and Higher Education. The composition of the participants whose results have been selected for analysis is given in table 1, where the regions with the largest number of tested accreditation participants (more than 10 persons) are shown in grey.
The accreditation results under the analysis were collected on parallel versions of the tests (formed from the bank of tasks according to the unified content specification), each of which consisted of 60 tasks related to 5 work functions of professional standard 02.040 «Anaesthesiologist -resuscitator» [3]. The list of work functions, tasks for which were included in the tests, is given in Table 2.
Таблица 1. Состав субъектов Российской Федерации, вошедших в анализ Table 1. Analyzed regions of the Russian Federation
№ Субъект Российской Федерации/ Regions of the Russian Federation Число участников тестирования/ Number of test participants % от всей совокупности/ % of the total Средний тестовый балл (%)/ Average test score (%)
1 Амурская область/Amur Region 11 5,3 85
2 Архангельская область/Arkhangelsk Region 15 7,2 79
3 Красноярский край/Krasnoyarsk Region 41 19,8 88
4 Московская область/Moscow Region 7 3,4 82
5 Новосибирская область/Novosibirsk Region 45 21,7 89
6 Омская область/Omsk Region 16 7,7 88
7 Пензенская область Penza Region 10 4,8 86
8 Республика Карелия/Republic of Karelia 6 2,9 90
9 Республика Крым/Republic of Crimea 15 7,2 88
10 Республика Мордовия/Republic of Mordovia 15 7,2 90
11 Республика Саха (Якутия)/Republic of Sakha (Yakutia) 9 4,3 92
12 Республика Чувашия/Republic of Chuvashia 2 1,0 83
13 Ярославская область/Yaroslavl region 15 7,2 85
14 Итого/Total 207 100,0 87
Как следует из таблицы 1, средний тестовый балл для всех субъектов РФ равен 87%. Наивысший средний балл (92%), подсчитанный для результатов по тестовым заданиям для всех пяти трудовых функций из таблицы 2, наблюдался в ФГАОУ ВО «Северо-Восточный федеральный университет имени М.К. Аммосова» (Республика Саха (Якутия)). Самый низкий средний балл (79%) — в ФГБОУ ВО «Северный государственный медицинский университет» (г. Архангельск).
На рисунке 1 приведена гистограмма распределения частот средних баллов (в процентах) для всей совокупности аккредитуемых ординаторов. Расчет выполнен в программе SPSS (статистический пакет для социальных наук). На рисунке введены следующие обозначения: raw — число верно выполненных заданий всей выборкой аккредитуемых ординаторов; percent — процент ординаторов, получивших соответствующий балл (число верно выполненных заданий) на горизонтальной оси. Из гистограммы следует, что результаты сдвинуты вправо, иначе говоря, распределение имеет правую асимметрию, которая свидетельствует о преобладании высоких баллов в результатах аккредитации, поскольку большинство ординаторов выполнило не менее 50 из 60 заданий в тесте.
Другой вид обработки показывает распределение средних баллов по пяти трудовым функциям для всех выпускников ординатуры
As follows from Table 1, the average test score for all subjects of the Russian Federation is 87%. The highest average score (92%), calculated for the test results for all five work functions from Table 2, was observed in North-Eastern Federal University named after M.K. Ammosov (Sakha Republic, Yakutia). The lowest average score (79%) was registered in the Northern State Medical University (Arkhangelsk).
Figure 1 shows a histogram of frequency distribution of average scores (in percentages) for the entire population of accredited residents. The calculation was carried out in SPSS (statistical package for social sciences). The following symbols were used in the figure: raw — number of correctly completed tasks by the whole sample of accredited residents; percent — percentage of residents who received the corresponding score (number of correctly completed tasks) on the horizontal axis. The histogram shows that the results are shifted to the right, in other words, the distribution has a right-hand asymmetry, which indicates the predominance of high scores in accreditation results, as most residents completed at least 50 out of 60 tasks in the test.
Another type of processing shows the distribution of the average scores for the five work func-
Таблица 2. Перечень трудовых функций Table 2. List of work functions
Номер функции/ Function number Код функции/ Function code Название трудовой функции/ Name of the work function
1 A/01.8 Проведение обследования пациентов в целях выявления заболеваний и (или) состояний, требующих оказания скорой, специализированной медицинской помощи по профилю «анестезиология-реаниматология» вне медицинской организации/ Examination of patients in order to identify diseases and (or) conditions requiring the provision of emergency specialized medical care in the profile of "anesthesiology-resuscitation" outside a medical organization
2 A/02.8 Назначение лечения пациентам с заболеваниями и (или) состояниями, требующими оказания скорой, специализированной медицинской помощи по профилю «анестезиология-реаниматология» вне медицинской организации, контроль его эффективности и безопасности/ Prescribing treatment for patients with diseases and (or) conditions requiring the provision of emergency specialized medical care in the profile of "anesthesiology-resuscitation" outside a medical organization, monitoring its effectiveness and safety
3 B/01.8 Проведение обследования пациента с целью определения операционно-анестезио-логического риска, установления диагноза органной недостаточности/ Examination of the patient in order to determine the operational and anesthetic risk, to establish the diagnosis of organ failure
4 B/02.8 Назначение анестезиологического пособия пациенту, контроль его эффективности и безопасности. Искусственное замещение, поддержание и восстановление временно и обратимо нарушенных функций организма, при состояниях, угрожающих жизни пациента/ Prescribing anesthetic aid to the patient, monitoring its effectiveness and safety. Artificial replacement, maintenance and restoration of temporarily and reversibly impaired body functions, in conditions that threaten patient's life
5 B/03.8 Профилактика развития осложнений анестезиологического пособия, искусственного замещения, поддержания и восстановления временно и обратимо нарушенных функций организма, при состояниях, угрожающих жизни пациента/ Prevention of the development of complications of anesthetic aid, artificial replacement, maintenance and restoration of temporarily and reversibly impaired body functions, in conditions that threaten patient's life
(рис. 2). На горизонтальной оси показаны символы трудовых функций, а высоты конусов соответствуют среднему баллу (в процентах) по заданиям, оценивающим освоение той или иной трудовой функции.
Наиболее высокие результаты (более 90%) отмечаются для двух трудовых функций: В/01 и В/03 (В/01 «Проведение обследования пациента с целью определения операционно-анестезиологического риска, установления диагноза органной недостаточности» и В/03.8 «Профилактика развития осложнений анестезиологического пособия, искусственного замещения, поддержания и восстановления временно и обратимо нарушенных функций организма, при состояниях, угрожающих жизни пациента»).
На диаграмме рисунка 3 приведены средние результаты аккредитации по субъектам РФ для пяти трудовых функций. В анализ вошли данные аккредитации по различным регионам (табл. 1), что позволяет сделать вывод о представительности выборки ординаторов для отра-
tions for all residency graduates (Figure 2). The horizontal axis shows the symbols of the work functions and the heights of the cones correspond to the average score (in percentages) for the tasks assessing the mastery of a work function.
The highest results of over 90% are noted for two work functions B/01 and B/03 (B/01 "Conducting a patient examination to determine the operational and anaesthetic risk, making a diagnosis of organ failure" and B/03.8 "Preventing the development of complications of anaesthetic treatment, artificial substitution, maintenance and restoration of temporarily and reversibly impaired body functions, in life-threatening conditions").
The diagram in Figure 3 shows the average accreditation results in the regions of the Russian Federation for the five work functions. The analysis includes accreditation data for various regions (Table 1), which allows us to conclude that the
%
12,510,0-
7,5-
5,0-
2,5-
0,0-
I I I I I I I I I I I I I I I I I I
42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 Raw
Рис. 1. Средние тестовые баллы по всей совокупности ординаторов Fig. 1. Average test scores for the entire set of residents
95
90
85
80
75
70
Тестовый балл А/01.8 Test score A/01.8
Тестовый балл А/02.8 Test score A/02.8
Тестовый балл А/01.8 Test score B/01.8
Тестовый балл А/02.8 Test score B/02.8
Тестовый балл А/03.8 Test score B/03.8
Рис. 2. Распределение средних тестовых баллов по трудовым функциям (%) Fig. 2. Distribution of average test scores by work functions (%)
жения тенденций в медицинском образовании. Из диаграммы следует, что результаты участников тестирования практически по всем трудовым функциям ниже в Ярославской области. В остальных субъектах примерно равные резуль-
sample of residents is representative to reflect trends in medical education. The diagram shows that the results of the test participants in almost all work functions are lower in the Yaroslavl region. In the remaining regions there are approximately
100
95 90 85 80 75 70 65
с сг с:
о о о
О) О) О)
аэ
С£ et СС
s
5
о
»X
s
>o s
Q.
ОЭ
et
s s
Q.
S
S
I
сз Q.
СС
S
I
г
S f
сз Q.
Or"
I §
<3 г
s
I
CC
f Э
S f
SZ
о
о
Рис. 3. Средние результаты с учетом субъекта Российской Федерации
Fig. 3. Average results for the regions of the Russian Federation
таты по четырем трудовым функциям, за исключением функции В/03.8.
Более высокие результаты наблюдаются в Сибирских регионах России (Красноярский край, Новосибирская и Омская области), где результаты аккредитуемых по всем функциям превышают 80% выполнения теста. Результаты аккредитуемых по функции В/03.8 («Профилактика развития осложнений анестезиологического пособия, искусственного замещения, поддержания и восстановления временно и обратимо нарушенных функций организма, при состояниях, угрожающих жизни пациента») ниже во всех регионах по сравнению с результатами по другим функциям.
На следующей гистограмме (рис. 4) приведены детализированные результаты ординаторов по пяти трудовым функциям в выбранных субъектах РФ, где по горизонтальной оси отложены баллы аккредитуемых в процентах по отношению к максимальному баллу.
Анализ результатов аккредитации на рисунке 4 показывает, что распределения по регионам имеют сходный вид с сохранением тенденции внутри субъектов, в соответствии с которой трудовые функции с символом «А» (табл. 2) оказы-
equal results for the four work functions, except for function B/03.8.
Higher results are registered in Siberian regions of Russia (Krasnoyarsk Territory, Novosibirsk and Omsk region), where results of accredited persons in all functions exceed 80% of test performance. Accredited results for function B/03.8 ("Prevention of complications of anaesthetic treatment, artificial substitution, maintenance and restoration of temporarily and reversibly impaired body functions, in life-threatening conditions") are lower in all regions compared to results for other functions.
The following histogram (Figure 4) shows the detailed results of residents in five occupational functions in the selected regions of the Russian Federation, where the horizontal axis shows the accredited residents' scores as a percentage of the maximum score.
The analysis of the accreditation results in Figure 4 shows common distributions across the regions, with the tendency within the regions that the work functions with symbol "A" (Table 2) are worse mastered compared to those with symbol
Ярославская область / Yaroslavl region
Республика Чувашия / Republic of Chuvashia
Республика Саха (Якутия) / Republic of Sakha (Yakutia)
Республика Мордовия / Republic of Mordovia
Республика Крым / Republic of Crimea
Республика Карелия / Republic of Karelia
Пензенская область / Penza Region
Омская область / Omsk Region
Новосибирская область / Novosibirsk Region
Московская область / Moscow Region
Красноярский край / Krasnoyarsk Region
Архангельская область / Arkhangelsk Region
Амурская область / Amur Region
65 70 75 80 85 90 95 100
Рис. 4. Диаграмма по всем функциям в разрезе субъектов Российской Федерации Fig. 4. Diagram of work functions by regions of the Russian Federation
ваются освоенными хуже по сравнению с теми трудовыми функциями, которые обозначены символом «В». В Красноярском крае, республиках Крым и Мордовия, в Архангельской, Московской, Новосибирской и Омской областях превалирует освоение двух трудовых функций: (1) «Проведение обследования пациента с целью
"B". In Krasnoyarsk territory, the republics of Crimea and Mordovia, in Arkhangelsk, Moscow, Novosibirsk and Omsk regions good results in mastering of two work functions prevail: (1) "Carrying out examination of a patient in order to determine the operational and anaesthetic risk, making a
определения операционно- анестезиоло гического риска, установления диагноза органной недостаточности»; (2) «Профилактика развития осложнений анестезиологического пособия, искусственного замещения, поддержания и восстановления временно и обратимо нарушенных функций организма, при состояниях, угрожающих жизни пациента)». Результаты ординаторов по этим двум функциям превышают 90% выполнения. Результаты освоения функции «Проведение обследования пациентов в целях выявления заболеваний и (или) состояний, требующих оказания скорой специализированной, медицинской помощи по профилю "анестезиология-реаниматология" вне медицинской организации» (А01/8) ниже всего в республиках Чувашия, Саха (Якутия), Карелия и в Пензенской области.
В целом освоение ординаторами трудовых функций с символом «А» по сравнению с освоением трудовых функций с символом «В» отличается более резко между собой по субъектам РФ. Результаты по освоению трудовых функций с символом «В» представлены в субъектах РФ довольно равномерно.
ЗАКЛЮЧЕНИЕ
Краткий обзор подходов к интерпретации результатов аккредитации, представленный в статье, намечает те безграничные возможности, которые открывают данные аккредитации в создании информационной базы по совершенствованию профессиональной готовности специалистов здравоохранения. Развитие аккредитации медицинских работников должно идти не только в направлении наращивания количества аккредитуемых и совершенствования качества инструментария для повышения объективности и обоснованности результатов аккредитации. Перспективным представляется направление, связанное с углубленным анализом данных аккредитации, для создания системного подхода к совершенствованию профессиональной готовности специалистов от уровня Минздрава России до уровня построения индивидуальных траекторий развития специалистов в системе непрерывного медицинского образования.
Первоочередными шагами в становлении такой практики должна стать разработка форматов представления информации для различных уровней управления (Минздрав России, образовательное учреждение, аккредитуемый), а также форм отчетности по принятию коррекционных мер в образовательных организациях и в системе непрерывного медицинского образования. В состав форм необходимо включить информацию по коррекции образовательных программ, методов обучения, средств контрольно-оценочной деятельности и т.д. Интерпретация результатов аккредитации будет более информативной, если
diagnosis of organ failure"; (2) "Prevention of development of complications of anaesthetic aid, artificial substitution, maintenance and restoration of temporarily and reversibly impaired body functions, in life-threatening conditions of a patient)". Residents' results for these two functions exceed 90% performance. The results of mastering the function "Examination of patients in order to identify diseases and (or) conditions requiring emergency specialized medical care in the field of "An-aesthesiology-Resuscitation" outside a medical organization" (A01/8) are the lowest. (A01/8) is lowest in the Republics of Chuvashia, Sakha (Yakutia), Karelia and Penza region.
In general, residents' mastering of job functions with symbol "A" as compared to mastering of job functions with symbol "B" differs more sharply among the constituent entities of the Russian Federation. The results for mastering job functions with symbol "B" are rather evenly presented in the regions of the Russian Federation.
CONCLUSION
The brief review of approaches to the interpretation of accreditation results presented in the article outlines the limitless opportunities that accreditation data offers in creating information base for improving the professional competence of healthcare professionals. The development of health care professionals' accreditation should not only move in the direction of increasing the number of accredited individuals and improving the quality of tools to improve the objectivity and validity of accreditation results. A promising direction seems to be a profound analysis of accreditation data to create a systematic approach to improving professional competence of specialists both of the level of the Russian Ministry of Health and the level of building individual development trajectories for specialists in the system of continuing medical education.
The first steps in establishing such a practice should be the development of formats for presenting information for different levels of management (Ministry of Health Care of the Russian Federation, educational institution, accredited person), as well as reporting forms for taking corrective measures in educational organizations and in the continuing medical education system. These forms should include information about correction of educational programmes, teaching methods, instruments of control and evaluation activities, etc. Interpretation of accreditation results
дополнить ее данными анкетирования для сбора контекстных данных, влияющих на качество профессиональной готовности специалистов здравоохранения.
ЛИТЕРАТУРА
1. Оценка профессиональной готовности специалистов в системе здравоохранения / под ред. Т.В. Семеновой. М.: ГЭОТАР-Медиа; 2019.
2. Приказ Минздрава России от 06.06.2016 г. № 352н «Об утверждении порядка выдачи свидетельства об аккредитации специалиста, формы свидетельства об аккредитации специалиста и технических требований к нему». Доступен по: https://base.garant. ru/71436808/ (дата обращения 12.09.2020).
3. Приказ Министерства труда и социальной защиты Российской Федерации от 27.08.2018 г. № 554н «Об утверждении профессионального стандарта 02.040 «Врач — анестезиолог-реаниматолог». Доступен по: https://classinform.ru/profstandarty/02.040-vrach-anesteziolog-reanimatolog.html http://docs.cntd.ru/ document/542632239 (дата обращения 25.10.2020).
4. Сизова Ж.М., Звонников В.И., Челышкова М.Б. Методические рекомендации по оцениванию специалистов здравоохранения при аккредитации (Выпуск 5). М.: Издательство Первого МГМУ имени И.М. Сеченова; 2018.
5. Федеральный проект «Обеспечение медицинских организаций системы здравоохранения квалифицированными кадрами». Доступен по: https://minzdrav. gov.ru/poleznye-resursy/natsproektzdravoohranenie/ kadry (дата обращения 25.10.2020).
REFERENCES
1. Ocenka professional'noj gotovnosti specialistov v sisteme zdravoohranenija [Assessment of professional readiness of specialists in the healthcare system]/ pod red. T.V. Semenovoj. Moscow: GEOTAR-Media; 2019. (in Russian).
will be more informative if supplied with questionnaire data to collect contextual data affecting the quality of professional preparedness of healthcare professionals.
2. Prikaz Minzdrava Rossii ot 06.06.2016 g. № 352n «Ob utverzhdenii porjadka vydachi svidetel'stva ob akkred-itacii specialista, formy svidetel'stva ob akkreditacii specialista i tehnicheskih trebovanij k nemu». [Order of the Ministry of Health of the Russian Federation of 06.06.2016 No. 352n "On approval of the procedure for issuing a certificate of accreditation of a specialist, the form of a certificate of accreditation of a specialist and the technical requirements for it"]. Available at: https:// base.garant.ru/71436808/ (accessed 12.09.2020). (in Russian).
3. Prikaz Ministerstva truda i social'noj zashhity Rossijskoj Federacii ot 27 avgusta 2018 goda № 554n «Ob utverzhdenii professional'nogo standarta 02.040 «Vrach — anesteziolog-reanimatolog». [Order of the Ministry of Work and Social Protection of the Russian Federation of August 27, 2018 N 554n "On approval of the professional standard 02.040 "Anesthesiologist-resus-citator".] Available at: https://classinform.ru/profstan-darty/02.040-vrach-anesteziolog-reanimatolog.html http://docs.cntd.ru/document/542632239 (accessed 25.10.2020). (in Russian).
4. Sizova Zh.M., Zvonnikov V.I., Chelyshkova M.B. Meto-dicheskie rekomendacii po ocenivaniju specialistov zdravoohranenija pri akkreditacii (Vypusk 5). [Methodological recommendations for the assessment of healthcare professionals in accreditation (Issue 5).] Moscow : Publishing House of the First Sechenov Moscow State Medical University; 2018. (in Russian).
5. Federal'nyj proekt «Obespechenie medicinskih organi-zacij sistemy zdravoohranenija kvalificirovannymi kadr-ami». [Federal project "Providing medical organizations of the healthcare system with qualified personnel"]. Available at: https://minzdrav.gov.ru/poleznye-resursy/ natsproektzdravoohranenie/kadry (accessed 25.10.2020). (in Russian).
