АНАЛИЗ ПОЛОЖЕНИЙ, РЕГЛАМЕНТИРУЮЩИХ ИНСТРУМЕНТЫ ОЦЕНКИ В СИСТЕМЕ АТТЕСТАЦИИ ВРАЧЕЙ

Мишарин Виктор Михайлович; Кочубей Аделина Владимировна

Научно-практический рецензируемый журнал "Современные проблемы здравоохранения и медицинской статистики" 2024 г., № 2 Scientific journal "Current problems of health care and medical statistics" 2024 г., № 2

ISSN 2312-2935

УДК 614.252.1

DOI 10.24412/2312-2935-2024-2-727-740

АНАЛИЗ ПОЛОЖЕНИЙ, РЕГЛАМЕНТИРУЮЩИХ ИНСТРУМЕНТЫ ОЦЕНКИ В СИСТЕМЕ АТТЕСТАЦИИ ВРАЧЕЙ

В.М. Мишарин 1, А.В. Кочубей 2

1 ФГБУ «Научно-исследовательский институт пульмонологии» Федерального медико-биологического агентства, Москва, Россия

2 Академия постдипломного образования ФГБУ «Федеральный научно-клинический центр специализированных видов медицинской помощи» Федерального медико-биологического агентства, Москва, Россия

Введение. Профессиональное развитие кадров невозможно без объективной оценки компетентности. Хотя спектр инструментов оценки многогранен, практика оценивания профессиональной компетентности находится в зачаточном состоянии, так как традиционные инструменты неадекватны для измерения сложных компетенций. Основная проблема инструментов оценки квалификации заключается в нехватке эмпирических данных о чувствительности и надежности инструментов оценки в отношении определенных компетенций. Регламентация инструментов оценки квалификации призвана обеспечить ее единообразное надежное измерение.

Цель исследования: определение объективности инструментов оценки квалификации, применяемых при аттестации врачей.

Материалы и методы. Контент-анализ приказа Министерства здравоохранения РФ от 31 августа 2023 г. N 458н "Об утверждении порядка и сроков прохождения медицинскими работниками и фармацевтическими работниками аттестации для получения квалификационной категории" выполнен относительно положений, регламентирующих инструменты оценки квалификационных категорий. Анализировались способность инструментов измерять достоверные признаки (знания, умения, навыки) квалификации, надежность в измерении выраженности признаков квалификации в зависимости от категории, независимость от компетентности лиц, проводящих аттестацию и/или разрабатывающих инструмент оценки.

Результаты. Большинство инструментов оценки позволяют установить наличие формальных признаков профессионального развития и не предназначены для измерения квалификации. К инструментам, способным измерить бесспорные признаки (знания, умения, навыки) квалификации можно отнести отчет, заключение на отчет, собеседование, тестовый контроль. Минусом первых трех инструментов является зависимость оценки от компетентности лиц, проводящих аттестацию. Качество тестового контроля зависит от методологической подготовки разработчиков тестовых заданий. Недостатком всех инструментов, способных измерить квалификацию, является отсутствие параметров градации признаков квалификации по отдельным категориям.

Обсуждение. Инструменты оценки квалификации должны обеспечивать измерение прямых бесспорных характеристик квалификации и надежность измерения. Не соблюдение данных требований в отношении инструментов оценки, установленных приказом, обусловлено ключевыми проблемами - отсутствие апробационных исследований и неравная методологическая подготовка разработчиков инструментов.

Научно-практический рецензируемый журнал "Современные проблемы здравоохранения и медицинской статистики" 2024 г., № 2 Scientific journal "Current problems of health care and medical statistics" 2024 г., № 2

ISSN 2312-2935

Выводы (заключение). Утвержденные инструменты оценки квалификации не гарантируют единое достоверное измерение квалификации при проведении аттестации.

Ключевые слова: аттестация, квалификационная категория, профессиональное развитие, инструменты оценки квалификации

ANALYSIS OF THE PROVISIONS GOVERNING ASSESSMENT TOOLS IN THE DOCTOR CATEGORIZATION SYSTEM

V.M. Misharin 1, A.V. Kochubey 2

1 Federal State Budgetary Institution "Scientific Research Institute of Pulmonology" of the Federal Medical and Biological Agency of Russia

2 Academy of Postgraduate Education of the Federal State Budgetary Institution Federal Scientific and Clinical Center of Specialized Types of Medical Care of the Federal Medical and Biological Agency of Russia

Introduction. Professional development of staff is impossible without an objective assessment of competencies. Although the range of assessment tools used today is multifaceted, for some competencies, the practice of assessment is in its infancy. Traditional assessment tools are inadequate for measuring complex competencies. The main problem of objective assessment of competencies is the lack of empirical data on the sensitivity and reliability of assessment tools in relation to certain competencies. The regulation of qualification assessment tools is designed in such a way as to ensure its uniform reliable measurement.

The aim is determination of the objectivity of the qualification assessment tools used in the qualification of doctors.

Materials and methods. Content analysis of the provisions of the Order of the Ministry of Health of the Russian Federation No. 458n dated August 31, 2023, regulating tools for assessing qualification categories. The suitability of assessment tools for the objective measurement of qualifications by category is analyzed.

Results. Most assessment tools allow you to establish the presence of formal signs of professional development and are not intended to measure qualifications. Tools that can measure qualifications include a report, report conclusion, interview, and test control. The disadvantage of the first three tools is the dependence of the assessment on the competence of the persons conducting the categorization. The quality of the test control depends on the methodological training of the developers of the test tasks. The disadvantage of all tools capable of measuring qualifications is the lack of qualification assessment parameters for various categories.

Discussion. Qualification assessment tools should provide an objective measurement of the indisputable characteristics of qualifications. High methodological training of developers of assessment tools and conducting approbation studies allows meeting these requirements. Conclusions. The qualification assessment tools established by the Order do not guarantee a single reliable measurement of qualifications in categorization.

Keywords: categorization, professional grade, professional development, qualification assessment tools

Научно-практический рецензируемый журнал "Современные проблемы здравоохранения и медицинской статистики" 2024 г., № 2 Scientific journal "Current problems of health care and medical statistics" 2024 г., № 2 _ISSN 2312-2935_

Введение. Все сферы деятельности нуждаются в компетентных специалистах, способных обеспечить развитие организации и отрасли [1]. Вместе с тем подготовка таких специалистов, их профессиональное развитие невозможны без объективной оценки компетенций [2]. Хотя спектр инструментов оценки, применяемых сегодня многогранен, для некоторых компетенций практика оценки находится в зачаточном состоянии [3,4]. Это обусловлено отчасти нехваткой эмпирических данных о чувствительности и надежности инструментов оценки в отношении определенных компетенций [5,6].

Вообще прогресс в развитии инструментов оценки компетенций был несколько однобок, ориентируясь на приспособление традиционных методов к многомерным компетенциям [7,8]. Хотя для измерения сложных компетенций традиционные инструменты оценки неадекватны [9]. Например, компетенции плохо поддаются оценке тестированием из-за отсутствия подтвержденных моделей, связывающих тестовые вопросы с реальными компетенциями [10,11].

Несмотря на то, что любой инструмент оценки компетенций имеет недостатки, их можно нивелировать, применив сочетание различных инструментов, или обратив на недостатки внимание при разработке [12,13]. К сожалению, публикаций, описывающих исследования по разработке инструментов оценки компетенций, недостаточно [14]. Это затрудняет устранение недостатков при создании инструментов оценки компетенций другими разработчиками, а также реализацию и копирование инновационных подходов к оценке компетенций [12]. Регламентация инструментов оценки квалификации призвана обеспечить единообразное надежное измерение профессиональных компетенций [12,15-17].

Учитывая значимость инструментов оценки компетенций, целью настоящего исследования стало определение объективности инструментов оценки квалификации, применяемых при аттестации врачей.

Материалы и методы. Контент-анализ приказа Министерства здравоохранения РФ от 31.08.2023 №458н "Об утверждении порядка и сроков прохождения медицинскими работниками и фармацевтическими работниками аттестации для получения квалификационной категории" (далее - Приказ) выполнен относительно положений, устанавливающих инструменты оценки квалификационных категорий (далее - Инструменты).

Инструменты оценки рассматривались на предмет их способности измерять достоверные признаки (знания, умения, навыки) квалификации, включая степень их развития,

Научно-практический рецензируемый журнал "Современные проблемы здравоохранения и медицинской статистики" 2024 г., № 2 Scientific journal "Current problems of health care and medical statistics" 2024 г., № 2 _ISSN 2312-2935_

гарантировать независимость оценки от компетентности лиц, проводящих аттестацию и/или разрабатывающих инструмент оценки.

Результаты. Инструменты оценки квалификации регламентирует раздел 3 «Проведение аттестации» Приказа, в частности пункты 34.2-34.6, 34.8, 42, 44-47, 49, а также приложение 2.

К инструментам оценки квалификации аттестуемого можно отнести: аттестационный лист, отчет, копии документов об образовании, квалификации, допуске к практической деятельности (сертификаты и свидетельства об аккредитации), о присвоении ученой степени, выписку из трудовой книжки и документы о медицинском стаже, заключение на отчет, тестовый контроль, собеседование.

Аттестационный лист имеет рекомендованный формат, обеспечивающий единообразное представление сведений от аттестуемых. Сведения, излагаемые в аттестационном листе, можно разделить на формальные и косвенные признаки профессионального развития.

К формальным признакам профессионального развития можно отнести: информацию об образовании, продолжительность работы в должности, должность, общий медицинский стаж, наличие ученой степени и квалификационной категории, характеристика аттестуемого.

К косвенным признакам профессионального развития можно отнести: наличие научных трудов и свидетельств интеллектуальной собственности, знание иностранного языка.

При этом в рамках аттестации в отношении таких признаков как информация об образовании, характеристика, наличие научных трудов и свидетельств интеллектуальной собственности, знание иностранного языка нельзя определить степень их развития.

Часть сведений подтверждается документами, которые представляет аттестуемый. Часть сведений: перечень научных трудов и интеллектуальной собственности, - может быть проверена на сторонних открытых ресурсах. Но данные проверки не являются обязательными и не оговариваются в Приказе. Сведения о знании иностранного языка не могут быть подтверждены при аттестации.

Отчет не имеет формализованного рекомендуемого образца. К требованиям к отчету можно отнести: период описываемой профессиональной деятельности; формат изложения сведений в виде анализа с ориентацией на установленные Приказом требованиям к уровням квалификации; структуру отчета, которая должна включать сведения о выполненной работе, выводы о работе, предложения по улучшению работы.

Научно-практический рецензируемый журнал "Современные проблемы здравоохранения и медицинской статистики" 2024 г., № 2 Scientific journal "Current problems of health care and medical statistics" 2024 г., № 2 _ISSN 2312-2935_

Период описываемой профессиональной деятельности является формальным признаком квалификации.

Качество анализа демонстрирует аналитические способности аттестуемого и косвенно связано с квалификацией в области медицинской профессиональной деятельности косвенно. Главный недостаток оценки качества анализа - зависимость от компетентности лица, проводящего аттестацию.

Рекомендация ориентироваться на установленные требования к уровням квалификации призвана облегчить написание отчета, но требуемые знания, умения и навыки не конкретизированы, предоставляя экспертам определение содержания и объема указанных знаний, умений и навыков в зависимости от собственной компетентности.

Рекомендуемая структура отчета облегчает его формирование для аттестуемого. При этом качество выводов и предложений в отношении профессиональной деятельности достоверно демонстрирует квалификацию в области выполняемой работы. Но снова оценка выводов и предложений аттестуемого зависима от компетентности экспертов.

Документы об образовании, квалификации, ученой степени, допуске к практической деятельности, стаже формально отражают квалификацию, не дают понимания уровня знаний, умений и навыков в профессиональной сфере.

Требования к Заключению на отчет даны в п.42 Приказа. В требованиях указано, что в заключение отражается оценка знаний и практических навыков через сведения о применяемых методах диагностики, профилактики, лечения, реабилитации; об используемых медицинских изделиях; о работе в научных обществах; о наличии научных публикаций; о работе в профессиональных организациях; о самообразовании. При этом в приказе не даны критерии отрицательной оценки отчета.

Сведения о применяемых методах диагностики, профилактики, лечения, реабилитации и об используемых медицинских изделиях демонстрирует квалификацию в области выполняемой профессиональной работы. То есть данные сведения служат достоверными признаками развития в профессиональной сфере. Но перечень методов и медицинских изделий, требуемых для каждой категории, не указан, поэтому оценка зависит от компетентности экспертов.

Сведения о работе в научном обществе и профессиональных организациях, как и научные публикации и самообразование являются косвенными признаками профессионального развития. В приказе не указаны объем работ в научном обществе или в

Научно-практический рецензируемый журнал "Современные проблемы здравоохранения и медицинской статистики" 2024 г., № 2 Scientific journal "Current problems of health care and medical statistics" 2024 г., № 2 _ISSN 2312-2935_

профессиональных организациях, число научных публикаций, считающийся достаточным для каждой категории. В рекомендациях к отчету нет указаний на описание работы в научных обществах, профессиональных организациях, сведений о научных публикациях и о самообразовании. Хотя сведения о научных публикациях указываются в аттестационном листе, подтверждение (проверка) этих сведений возможна только при обращении к сторонним ресурсам, например, elibrary. Также аттестуемый не представляет документов, подтверждающих его работу или членство в научных обществах и профессиональных организациях. Что касается самообразования, то, как процесс образования без привлечения обучающих, он не может быть подтвержден. Если под самообразованием в Приказе понимается непрерывное развитие, повреждаемое документами об образовании, то оно является косвенным признаком профессионального развития. Документы об образовании не служат достоверным признаком квалификации. Результаты оценки сведений о работе в научном обществе и профессиональных организациях, научных публикациях и самообразовании зависимы от компетентности лица, проводящего аттестацию.

Требования к тестовому контролю даны в пунктах 44-46 приказа. Установлено, что для проведения тестового контроля используются тестовые задания, что тестирование проводится в виде компьютерного тестирования, что автоматически комплектуется пул заданий для каждого аттестуемого в соответствии со специальностью, что протокол тестирования формируется автоматически, что минимальный порог прохождения тестового контроля составляет 70% верных ответов. Данные требования являются едиными для всех аттестационных комиссий.

Число заданий, комплектуемых из общего банка заданий, для каждого аттестуемого, время на тестовый контроль, содержание и виды тестовых заданий устанавливаются аттестационными комиссиями. Хотя тестирование является известным и справедливым методом оценки знаний, надежность и чувствительность данного инструмента зависит от методического уровня разработчиков тестовых заданий. Методический уровень разработчиков гарантирует равномерность сложности вопросов, связь заданий с практикой, адекватный временной интервал для решения, противодействие угадыванию, однозначность ответа, правдоподобность вариантов ответов, апробирование тестов, выбор удобных и устойчивых к сбоям программ тестирования. Учитывая, что создание банка тестов - ответственность аттестационных комиссий, то качество тестовых заданий может быть различным по разным специальностям и аттестационным комиссиям. Кроме того, в требованиях к тестовому

Научно-практический рецензируемый журнал "Современные проблемы здравоохранения и медицинской статистики" 2024 г., № 2 Scientific journal "Current problems of health care and medical statistics" 2024 г., № 2 _ISSN 2312-2935_

контролю стоит автоматическое комплектование заданий для каждого аттестуемого в соответствии со специальностью, но не в соответствии с уровнем категории, на которую претендует аттестуемый. То есть уровень сложности выбранных тестовых заданий может быть одинаковым для аттестуемых на разные категории или более сложным для аттестуемых на низшие категории, чем на более высокие. В Приказе не прописаны требования к объему банка тестовых заданий по специальности, что также снижает результативность тестирования.

Собеседование регламентировано пунктом 47 Приказа. Установлено, что собеседование призвано установить теоретическую и практическую подготовку аттестуемого. В приказе не указаны критерии успешного прохождения собеседования для отдельных уровней квалификации. Единственным критерием отрицательной оценки собеседования является неявка аттестуемого. В отсутствии критериев объективность собеседования в верификации квалификации зависит от компетентности и личных представлений лиц, проводящих собеседование, их понимания содержания и объема подготовки аттестуемого для каждой категории.

Обсуждение. Инструменты оценки квалификации имеют типичные недостатки, характерные для большинства инструментов оценки компетенций. Большинство инструментов оценки при аттестации ориентированы на измерение формальных и/или косвенных признаков квалификации. Самой частой проблемой оценки компетенций является крен в сторону формальных признаков, а не выбор знаний, умений, навыков, являющихся прямыми признаками квалификации [18-20]. Не менее частыми ошибками являются выбор неверных прямых признаков, не отражающих определенную квалификацию, и, наконец, неадекватных критериев, не способных измерить уровень знаний, умений и навыков [21-23].

К инструментам оценки предъявляется требование, во-первых, обеспечить измерение установленных аспектов квалификации, во-вторых, гарантировать достоверность измерения [22,24]. Соблюсти данные требования при выборе и разработке инструментов оценки сложно, требуется высокая методологическая подготовка разработчиков и проведение апробационных исследований [23-26].

Выводы. Анализ инструментов оценки, установленных Приказом, показал, что большинство из них не позволяют измерить квалификацию в профессиональной сфере и верифицировать уровень квалификации. Качество ряда инструментов зависит от компетентности разработчиков данных инструментов. Результаты оценки во многом зависит от личных представлений и компетентности лиц, проводящих аттестацию.

Научно-практический рецензируемый журнал

"Современные проблемы здравоохранения и медицинской статистики" 2024 г., № 2

Scientific journal "Current problems of health care and medical statistics" 2024 г., № 2 _ISSN 2312-2935_

Таким образом, установленные Приказом инструменты оценки квалификации не гарантируют единое и высокое качество измерения квалификации при проведении аттестации.

Список литературы.

1. Gordon IJ, Bawa K, Bammer G et al (2019) Forging future organizational leaders for sustainability science. Nat Sustain 2:647-649. https://doi.org/10.1038/s41893-019-0357-4

2. Waltner E-M, Rieß W, Mischo C (2019) Development and validation of an instrument for measuring student sustainability competencies. Sustainability 11:1-20. https://doi.org/10.3390/su11061717

3. Cebrián Bernat G, Segalás Coral J, Hernández Gómez MA (2019) Assessment of sustainability competencies: a literature review and future pathways for ESD research and practice. Cent Eur Rev Econ Manag 3:19-44. https://doi.org/10.29015/cerem.664

4. Зимина Э.В., Кочубей А.В., Конаныхина А.К., Наваркин М.В. Отечественная система подготовки и непрерывного профессионального развития специалистов в сфере здравоохранения: SWOT-анализ. Современные проблемы науки и образования. 2015;4:445.

5. Schuwirth LWT, Van Der Vleuten CPM (2011) Programmatic assessment: from assessment of learning to assessment for learning. Med Teach 33:478-485. https://doi.org/10.3109/0142159X.2011.565828

6. Remington-Doucette SM, Hiller Connell KY, Armstrong CM, Musgrove SL (2013) Assessing sustainability education in a transdisciplinary undergraduate course focused on real-world problem solving. Int J Sustain High Educ 14:404-433. https://doi.org/10.1108/IJSHE-01-2012-0001

7. Reckase MD (2017) A tale of two models: sources of confusion in achievement testing. ETS Res Rep Ser. https://doi.org/10.1002/ets2.12171

8. Zlatkin-Troitschanskaia O, Shavelson RJ, Kuhn C (2015) The international state of research on measurement of competency in higher education. Stud High Educ 40:393-411. https://doi.org/10.1080/03075079.2015.1004241

9. Frey A, Hartig J (2009) Assessment of competencies. Stud Educ Eval 35:55-56. https://doi .org/10.1016/j.stueduc.2009.10.001

10. Waltner E-M, Rieß W, Mischo C (2019) Development and validation of an instrument for measuring student sustainability competencies. Sustainability 11:1-20. https://doi.org/10.3390/su11061717

Научно-практический рецензируемый журнал

"Современные проблемы здравоохранения и медицинской статистики" 2024 г., № 2

Scientific journal "Current problems of health care and medical statistics" 2024 г., № 2 _ISSN 2312-2935_

11. Sandri O, Holdsworth S, Thomas I (2018) Vignette question design for the assessment of graduate sustainability learning outcomes. Environ Educ Res 24:406-426. https://doi.org/10.1080/13504622.2016.1263280

12. Snyder H (2019) Literature review as a research methodology: an overview and guidelines. J Bus Res 104:333-339. https://doi.org/10.1016/jjbusres.2019.07.039

13. Конаныхина А.К., Кочубей А.В. Тренинг как технология симуляционного обучения при подготовке административно-управленческих кадров здравоохранения. Виртуальные технологии в медицине. 2015; 2(14):31 -32.

14. Lockyer J, Carraccio C, Chan MK et al (2017) Core principles of assessment in competency-based medical education. Med Teach 39:609-616. https://doi.org/10.1080/0142159X.2017.1315082

15. Амлаев К.Р., Шикина И.Б., Бузин В.Н., Койчуева С.М., Блинкова Л.Н. Факторы, влияющие на мотивацию профессорско-преподавательского состава медицинского университета к эффективной трудовой деятельности. Современные проблемы здравоохранения и медицинской статистики. 2020; 4 DOI 10.24411/2312-2935-2020-00131

16. Амлаев К.Р., Койчуева С.М., Хрипунова А.А., Шикина И.Б., Вдовина И.В., Блинкова Л.Н. Критерии выбора образовательной организации высшего образования и работодателя. Современные проблемы здравоохранения и медицинской статистики. 2020; №3 С. 132- 146 DOI: 10.24411/2312-2935-2020-00064

17. Амлаев К.Р., Шикина И.Б., Койчуева С.М, Хрипунова А.А. Профессиональная ориентация и востребованность услуг по трудоустройству выпускников медицинских и многопрофильных образовательных организаций высшего образования. Социальные аспекты здоровья населения [сетевое издание] 2020; 66(3):11. DOI: 10.21045/2071-5021-2020-66-3-10.

18. Wong, S.-C. (2020). Competency Definitions, Development and Assessment: A Brief Review. International Journal of Academic Research in Progressive Education and Development, 9(3), 95-114

19. Salman, M., Ganie, S.A. and Saleem, I. (2020), "The concept of competence: a thematic review and discussion", European Journal of Training and Development, Vol. 44 No. 6/7, pp. 717742. https://doi.org/10.1108/EJTD-10-2019-0171

20. Найговзина Н.Б., Конаныхина А.К., Кочубей А.В., Зимина Э.В., Наваркин М.В. Приоритетные пути развития системы подготовки и непрерывного профессионального

Научно-практический рецензируемый журнал

"Современные проблемы здравоохранения и медицинской статистики" 2024 г., № 2

Scientific journal "Current problems of health care and medical statistics" 2024 г., № 2 _ISSN 2312-2935_

развития кадров в сфере здравоохранения. Бюллетень сибирской медицины. 2014; 13(3):126-131. https://doi.org/10.20538/1682-0363-2014-3-126-131

21. Line J. 0vreb0, Dagrunn N. Dyrstad, Britt S. Hansen. Assessment methods and tools to evaluate postgraduate critical care nursing students' competence in clinical placement. An integrative review, Nurse Education in Practice. 2022; Volume 58: 103258. doi.org/10.1016/j.nepr.2021.103258.

22. Sophia Cyril Vincent, Judie Arulappan, Anandhi Amirtharaj, Gerald Amandu Matua, Iman Al Hashmi. Objective structured clinical examination vs traditional clinical examination to evaluate students' clinical competence: A systematic review of nursing faculty and students' perceptions and experiences. Nurse Education Today. 2022; Volume 108: 105170. doi.org/10.1016/j.nedt.2021.105170.

23. Paul Ross, Rachel Cross, Olivia Sonneborn, Brendan MacDonald, Cathy Dean, Charne Miller. Comparison of postgraduate student and educator appraisals: A retrospective analysis. Nurse Education in Practice. 2017; Volume 23: 82-91. doi.org/10.1016/j.nepr.2017.02.009.

24. Сон И.М., Иванова М.А., Армашевская О.В., Люцко В.В., Гажева А.В., Соколовская Т.А. Результаты фотохронометражных исследований рабочего процесса врачей амбулаторно-поликлинической помощи с учетом возрастных характеристик специалистов. Здравоохранение. 2014; 11:56-61.

25. Youn, S. J. (2020). Managing proposal sequences in role-play assessment: Validity evidence of interactional competence across levels. Language Testing, 37(1), 76-106. https://doi.org/10.1177/0265532219860077

26. Redman, A., Wiek, A. & Barth, M. Current practice of assessing students' sustainability competencies: a review of tools. Sustain Sci 16, 117-135 (2021). https://doi.org/10.1007/s11625-020-00855-1

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

References

1. Gordon IJ, Bawa K, Bammer G et al (2019) Forging future organizational leaders for sustainability science. Nat Sustain 2:647-649. https://doi.org/10.1038/s41893-019-0357-4

2. Waltner E-M, Rieß W, Mischo C (2019) Development and validation of an instrument for measuring student sustainability competencies. Sustainability 11:1-20. https://doi.org/10.3390/su11061717

Научно-практический рецензируемый журнал

"Современные проблемы здравоохранения и медицинской статистики" 2024 г., № 2

Scientific journal "Current problems of health care and medical statistics" 2024 г., № 2 _ISSN 2312-2935_

3. Cebrián Bernat G, Segalás Coral J, Hernández Gómez MA (2019) Assessment of sustainability competencies: a literature review and future pathways for ESD research and practice. Cent Eur Rev Econ Manag 3:19-44. https://doi.org/10.29015/cerem.664

4. Zimina E.V., Kochubej A.V., Konanyhina A.K., Navarkin M.V. Otechestvennaya sistema podgotovki i nepreryvnogo professional'nogo razvitiya specialistov v sfere zdravoohraneniya: SWOT-analiz. [The domestic system of training and continuous professional development of medical workers: SWOT analysis.] Sovremennye problemy nauki i obrazovaniya. [Modern problems of science and education] 2015;4:445. (in Russian)