CC BY
14Сеченовский вестник. 2016. № 1(23). С. 43—47
УДК 614.23
АА. Свистунов,
д-р мед. наук, проф., зав. кафедрой фармакологии, первый проректор — проректор по инновационной политике и международной деятельности Первого МГМУ имени И.М. Сеченова Минздрава России
Ж.М. Сизова,
д-р мед. наук, проф., директор Методического Центра аккредитации Первого МГМУимени И.М. Сеченова Минздрава России
A.A. Svistunov,
Dr. med. Sciences, Professor, Head of Chair of pharmacology, first Vice rector — Vice rector for innovation policy and international activities of tthe First Sechenov Moscow State Medical University
Zh.M. Sizova,
Dr. med. Sciences, Professor, Director, of Methodological Center of accreditation of the First Sechenov Moscow State Medical University
ОЦЕНКА ГОТОВНОСТИ ВЫПУСКНИКОВ К ПРОФЕССИОНАЛЬНОЙ ДЕЯТЕЛЬНОСТИ ПРИ АККРЕДИТАЦИИ СПЕЦИАЛИСТОВ ЗДРАВООХРАНЕНИЯ
THE ASSESSMENT OF GRADUATES PROFESSIONAL ACTIVITY READINESS IN THE ACCREDITATION OF PUBLIC HEALTHCARE PROFESSIONALS
Аннотация. Рассматривается оценка качества подготовки работников здравоохранения при их аккредитации. Для оценки предлагается модель измерителя, включающая три стадии измерений. Стадии соотносятся с различными видами оценочных средств, содержание которых отображает требования профессиональных стандартов. Обсуждаются этапы работ по созданию инструментария и методического обеспечения, выполненные в Методическом центре аккредитации специалистов здравоохранения. Abstract. The article duscusses the quality assessment of healthcare professionals training in their accreditation. The article proposes a three-stage assessment model. The stages involve stage-specific evaluation tools that reflect the requirements of professional standards. The article dwells upon the tools and methods development in the Methodical Center of Healthcare Professionals Accreditations.
Ключевые слова. Специалисты здравоохранения, врачи, система аккредитации, оценивание, компетентность, трудовые функции, многостадийные измерения, модель измерителя, фонды оценочных средств, спецификация, формы заданий, надежность, валидность.
Keywords. Healthcare professionals, the system of accreditation, assessment, competence, labour functions, multistage measurements, evaluation tool model, evaluation tool bank, specification, task forms, reliability, validity.
КОНТАКТНАЯ ИНФОРМАЦИЯ: Сизова Жанна Михайловна, д-р мед. наук, проф., директор Методического Центра аккредитации Первого МГМУ имени И.М. Сеченова Минздрава России Адрес: 119991, г. Москва, ул. Трубецкая, д. 8, стр. 2 Телефон: + 7 916 677 42 02 e-mail: sizova-klinfarma@mail.ru Статья поступила в редакцию: 29.02.2016 г. Статья принята к печати: 25.04.2016 г.
CONTACT INFORMATION:
Zhanna Sizova, Dr. med. Sciences, Professor, Director, of Methodological Center of accreditation of the First Sechenov Moscow State Medical University
Address: p. 8, bld.2, Trubetskaya str., Moscow, Russia, 119991
Tel.: + 7 916 677 42 02
e-mail: sizova-klinfarma@mail.ru
The article received: February 29, 2016.
The article approved for publication: April 25, 2016.
Развитие национальной системы медицинского образования в нашей стране происходит в контексте понимания того, что она нуждается в глубокой, радикальной и интенсивной трансформации. Модели медицинского образования, распространенные вплоть до первого десятилетия XXI в., не обеспечивают высокого качества его результатов и потому нуждаются в преобразованиях финансового, кадрового и организационного характера [1]. Одним из направлений радикального изменения существующих моделей является создание системы аккредитации специалистов здравоохранения, функционирование которой должно осуществляться в тесной связи с системой непрерывного медицинского образования [2].
Под аккредитацией специалиста понимается процедура определения соответствия готовности лица, получившего медицинское или фармацевтическое образование, к осуществлению профессиональной деятельности. Для создания системы аккредитации приказом Министерства здравоохранения Российской Федерации от 21.08.2014 г. № 463 был образован специальный Совет при Министерстве здравоохранения Российской Федерации, который концептуально заложил основные подходы к созданию системы аккредитации. По мере осмысления и развития концепции аккредитации специалистов ее разновидности находятся в процессе обсуждения и претерпевают определенные изменения, но во всех случаях ключевая роль отводится первичной аккредитации выпускников медицинских образовательных организаций.
Первичная аккредитация предназначается для определения готовности выпускников специалите-та к осуществлению медицинской деятельности или фармацевтической деятельности. Предполагается, что развитие системы аккредитации будет носить поэтапный характер и начнется с реализации процедуры первичной аккредитации лиц, завершивших обучение по основной образовательной программе высшего медицинского образования по специальностям «Стоматология» и «Фармация». В основу процедур аккредитации должны быть положены требования профессиональных стандартов, представленные в форме совокупности трудовых функций специалистов [3]. Эти функции описаны и конкретизированы с помощью трудовых действий специалистов в процессе профессиональной деятельности.
Работу по созданию системы аккредитации возглавляет Министерство здравоохранения Российской Федерации, которое формирует аккредита-ционные комиссии с участием профессиональных некоммерческих организаций, организовывает разработку оценочных средств и осуществляет другие функции по организации проведения аккредитации специалистов здравоохранения, опираясь в их выполнении на подведомственные образовательные или научные организации. В частности, Перво-
му Московскому государственному медицинскому университету имени И.М. Сеченова была делегирована функция по созданию Методического центра аккредитации специалистов здравоохранения с тем, чтобы уже в 2016 году развернуть подготовку фондов оценочных средств и методического обеспечения первичной аккредитации в сотрудничестве с другими медицинскими вузами России.
Совместно с Первым Московским государственным медицинским университетом в подготовке фондов оценочных средств для аккредитации выпускников по направлениям «Стоматология» и «Фармация» принял участие Казанский государственный медицинский университет, Московский государственный медико-стоматологический университет, Воронежский государственный медицинский университет и другие вузы России, подведомственные Министерству здравоохранения Российской Федерации.
Первоначально в деятельности Методического центра были определены регламентирующие принципы процедур аккредитации, направленные на обеспечение высокой объективности (надежности), обоснованности (валидности) и сопоставимости оценок испытуемых. Соблюдение этих принципов позволяет гарантировать справедливость процедур аккредитации, выполнение их без нарушения прав отдельных лиц или групп лиц на получение обоснованных оценок своей готовности к осуществлению профессиональной деятельности. Поэтому оценивание специалистов при аккредитации предполагает обязательное обращение к теории измерений в социальных науках и всем ее прикладным компонентам: методикам разработки измерителей, методикам анализа качества измерителей и результатов измерений и построения шкал для интерпретации оценок испытуемых [4].
В основу выбора модели инструментария для измерений было положено представление о процедуре аккредитации как об экзамене высокой значимости, предполагающем использование профессионально разработанных тестов и нескольких этапов измерений (High Stakes Testing). В связи с этим, при определении модели оценочных средств для первичной аккредитации специалистов предпочтение было отдано многостадийному варианту измерений, включающему три этапа: этап оценки квалификации лица с помощью тестирования, этап оценки практических навыков и умений в симулированных условиях и этап решения ситуационных задач в форме мини-кейсов.
Обычно в многостадийных измерениях число стадий совпадает с числом диапазонов, выделенных для описания признаков проявления трудовых функций или компетенций, и на каждой стадии используются различные виды оценочных средств [4]. Поэтому в приведенной ниже модели измерителя
100 90 80 70 60 50 40
304 20 100-
Пороговый балл
Диапазон высокой компетентности
Пороговый балл
Диапазон базовойой компетентности
Пороговый балл
Диапазон минимальной компетентности
Мини-кейсы (профессиональные стандарты)
Практические задания " в имитационной среде (профессиональные стандарты)
Задания для оценки знани и умений, необходимых при выполнении трудовых действий
три стадии измерений соотнесены с различными видами оценочных средств, позволяющими обеспечить эффективное функционирование процедур аккредитации в соответствии с требованиями профессиональных стандартов (рис.1). При этом предполагается, что задания разработаны таким образом, что нижняя часть измерителя включает наиболее легкие задания, соотнесенные с минимальной готовностью к профессиональной деятельности или компетентностью, средняя часть соответствует диапазону базовой готовности или компетентности, а верхняя часть содержит наиболее трудные задания, выполнить которые способен только очень компетентный специалист.
В модели, предложенной специалистами Методического центра, содержание легких заданий нижней части должно быть ориентировано на проверку освоения знаний и умений, лежащих в основе выполнения трудовых действий. Содержание заданий среднего и верхнего диапазонов также ориентировано на требования профессиональных стандартов, однако, задания этих диапазонов отличаются от заданий нижней части по цели создания и по трудности в сторону ее увеличения. Средняя часть предназначается для оценки сформированности базовых практических навыков, поэтому включает практические задания средней же трудности. Верхняя часть — это мини-кейсы, с наиболее трудными заданиями проблемного характера, правильное выполнение которых свидетельствует о высокой компетентности специалиста.
Для проведения первого этапа аккредитации в соответствии с трудовыми функциями, включенными в проекты профессиональных стандартов по соответствующим специальностям, под руководством Методического центра аккредитации были разработаны банки тестовых заданий, прошедших
Рис 1. Модель измерителя для первичной аккредитации выпускников медицинских образовательных организаций
тестологическую и содержательную экспертизу, по результатам которой проводилась коррекция содержания и формы заданий. Тестологическая экспертиза позволила выявить недостатки формы заданий, случаи ее несоответствия требованиям технологии написания заданий и требованиям стандартизации, повысив тем самым надежность (точность и устойчивость) результатов измерений.
Содержательная экспертиза велась независимыми экспертами по специальной методике, разработанной в Методическом центре аккредитации, и включала различные аспекты анализа качества содержания как отдельных заданий, так и всего теста. В число анализируемых аспектов вошли: выявление случаев логической некорректности содержания заданий, анализ значимости содержания, проверка его соответствия спецификации оценочных средств. Разработка спецификаций (содержательных планов) оценочных средств предваряла этап их создания и включала подробный анализ требований профессиональных стандартов, их представление в форме дескрипторов, позволяющих операционали-зировать требования и отобразить их в содержании заданий оценочного средства. Коррекция содержания заданий, проведенная их авторами по результатам экспертизы, позволила значительно повысить содержательную валидность оценочных средств.
Для разработки спецификаций измерителей на основе анализа требований проектов профессиональных стандартов было составлено описание трудовых функций с последующей конкретизацией в форме трудовых действий и сопутствующих им знаний и умений [3]. Анализ показал, что проверить уровень владения каждым выпускником всеми трудовыми действиями при аккредитации просто невозможно, поэтому при планировании содержания оценочных средств пришлось обращаться к укрупненным группам трудовых действий, сформированным по признакам близости и принадлежности к одной трудовой функции.
Для разработчиков оценочных средств в профессиональных стандартах наибольшую ценность представляют подробные перечни трудовых действий, а также знания и умения, освоение которых является необходимым, но не достаточным условием успешного выполнения всех трудовых действий. Проблема установления достаточности здесь видится в том, что освоение выпускниками знаний и умений, перечисленных в профессиональных стандартах, вовсе не говорит о наличии
способностей к их успешному применению. Последнее обстоятельство как раз и послужило причиной появления компетентностного подхода в образовании, поскольку хорошо подготовленные в теоретической области выпускники образовательных организаций нередко оказывались плохими специалистами, неспособными успешно реализовать в профессиональной деятельности свой теоретический потенциал [5].
Достаточные условия успешности профессиональной деятельности обеспечивают сформированные компетенции, представленные уже не в профессиональных, а в образовательных стандартах. Таким образом, при оценивании выпускников с целью определения или подтверждения их готовности к осуществлению профессиональной деятельности необходимо учитывать требования и профессиональных, и образовательных стандартов путем установления соответствия между ними [3,6]. При этом необходимо понимать, что требования профессиональных стандартов первичны, а компетенции должны вытекать из них, обеспечивая способности к выполнению трудовых действий.
Проблема, которая здесь возникла, была связана с выбором метода для установления такого соответствия. Для решения этой проблемы в Методическом центре были подготовлены Методические рекомендации по оцениванию специалистов здравоохранения при аккредитации (выпуск 1), рассматривающие некоторые особенности компетентностного подхода во ФГОС для системы высшего образования и предлагающие методику паспортизации компетенций путем описания их дескрипторов на языке трудовых функций. В процессе работы появилось понимание того, что такие описания обеспечивают оптимальное решение проблемы установления соответствия между требованиями ФГОС и требованиями профессиональных стандартов.
В целом при разработке модели и заданий оценочных средств были выполнены следующие этапы работ:
— идентификация цели измерения в виде совокупности измеряемых переменных, установление связи ее с функциями оценивания и областью применения его результатов;
— формирование авторских коллективов;
— обучение авторских коллективов;
— выбор модели оценочного средства (число стадий измерения и форм оценочного средства для каждой стадии);
— разработка технического задания на создание оценочного средства;
— анализ профессиональных стандартов по соответствующему виду профессиональной деятельности;
— кластеризация компетенций и трудовых действий, разработка дескрипторов;
— разработка спецификаций вариантов оценочного средства;
— разработка заданий;
— разработка оценочных рубрик и подготовка рекомендаций для экспертного анализа;
— экспертиза заданий;
— коррекция заданий;
— разработка инструкций для испытуемых и для организаторов, проводящих апробацию измерителя;
— апробация оценочных средств на выборках студентов;
— коррекция содержания и форм заданий оценочных средств по результатам апробации.
В апробации приняли участие студенты 5-го курса Первого Московского государственного медицинского университета имени И.М. Сеченова, среди которых было 50 студентов, обучающихся по направлению «Стоматология» и 48 студентов — по направлению «Фармация». Дальнейшая работа предполагает статистический анализ результатов апробации заданий на выборке испытуемых и интерпретацию результатов анализа для оптимизации трудности заданий, повышения их валид-ности, улучшения системообразующих свойств и повышения надежности и валидности результатов измерений [7,8].
В результате длительной работы коллективов авторов заданий и сотрудников Методического центра аккредитации были подготовлены объемные материалы, включающие спецификации оценочных средств, фонды тестовых заданий, мини-кейсы, оценочные рубрики и репетиционные тесты, размещенные на специально созданном сайте Методического центра аккредитации. Работа на данном сайте позволяет медицинскому и фармацевтическому работнику, находясь в любой точке России, где есть сеть Интернет, не только подготовиться к прохождению аккредитационного экзамена, но и оценить уровень своей подготовки путем прохождения репетиционного тестирования.
Список литературы
1. Свистунов А.А., Ших Е.В., Сизова Ж.М. Независимая оценка профессиональных квалификаций специалистов медико-биологической и фармацевтической отрасли — важная составляющая непрерывного профессионального медицинского образования // Диагностическая и интервенционная радиология. 2013; 7(2): 23-27. [Svistunov A.A., Shih E.V., Sizova Zh. M. Independent assessment of professional qualifications of specialists in medical-biological and pharmaceutical industry is an important component of continuous professional medical education of Diagnostic and interventional radiology. 2013; 7(2): 23-27.]
2. Сизова Ж.М., Трегубов В.Н. Формирование индивидуальной траектории самообразования врача-спе-
циалиста в системе непрерывного медицинского образования // Медицинское образование и профессиональное развитие. 2014; № 4: 22-25. [Sizova Zh.M., Tregubov V.N. The formation of individual self-educational path of a specialist in the continuous medical education system // Medical education and professional development. 2014; No. 4: 22-25.]
3. Олейникова О.Н., Муравьева А.А. Профессиональные стандарты: принцип формирования, назначение и структура. Методическое пособие. М. АНО Центр ИРПО. 2011.
[Oleynikova O.N., Muravyov A.A. Professional standards: the principle of formation, purpose and structure. Methodical manual. M. ANO the Center of IBO. 2011.]
4. Звонников В.И., Челышкова М.Б. Современные средства оценивания результатов обучения: Учеб. пособие. М. Издательский центр Академия. 2014. [Zvonnikov V.I., Chelyshkova M.B. Modern tools of assessment of learning outcomes: Proc. allowance. M. Publishing center Academy. 2014.]
5. Звонников В.И., Челышкова М.Б. Оценка качества результатов обучения при аттестации (компетент-ностный подход). М. Логос. 2013.
[Zvonnikov V.I., Chelyshkova M.B. Assessment of the quality of learning outcomes for certification (competency approach). M. Logos. 2013.]
6. Об утверждении Порядка организации и осуществления образовательной деятельности по образовательным программам высшего образования — программам бакалавриата, программам специалитета, программам магистратуры. Приказ № 1367 Министерства образования и науки Российской Федерации от 19 декабря 2013 г. № 1367 // Ы^^/Минобрна-уки РФ.
[About approval of the Procedure of organization and implementation of educational activity on educational programs of higher education — undergraduate, programs, specialist degrees, master's degree programs. Order No. 1367 of the Ministry of education and science of the Russian Federation of 19 December 2013 № 1367 // http:// Ministry of education and science of the Russian Federation.]
7. Крокер Л., Алгина Д. Введение в классическую и современную теорию тестов / Перевод на русский язык под общей редакцией В.И. Звонникова, М.Б. Челыш-ковой. М. Логос. 2010.
[Crocker L., Algina D. Introduction to classical and modern test theory / Translation to Russian language under the General editorship V.I. Zvonnikov, M.B. Chelyshkov. M. Logo. 2010.]
8. Defending Standardized Testing. Ed. by R. Phelps. Lawrence Erlbaum Associates Publishers, London, 2005.
