CC BY
33
ОБРАЗОВАНИЕ ■
ТЕХНОЛОГИЯ НЕЗАВИСИМОМ ОЦЕНКИ
ПРОФЕССИОНАЛЬНОЙ КОМПЕТЕНТНОСТИ
ДЛЯ КОРРЕСПОНДЕНЦИИ
Балкизов Залим Замирович -
А.А. Свистунов1, Н.В. Пятигорская1, Д.М. Грибков1, З.З. Балкизов2, кандидат медицинских наук,
А.Л. Колыш3 заместитель председателя
правления региональной
общественной организации
1 ФГБОУ ВО «Первый Московский государственный медицинский университет им. И.М. Сеченова» «Ассоциация медицинских
Минздрава России обществ по качеству», член
2 РОО «Ассоциация медицинских обществ по качеству», Москва Координационного совета
3 Общество с ограниченной ответственностью «Интермедика», Москва по развитию непрерывного
медицинского образования
Минздрава России, официальный
представитель AMEE в СНГ (Москва)
E-mail: [email protected]
Целью данной работы являлась разработка технологии независимой оценки компетентности
специалистов с медицинским и фармацевтическим образованием с использованием междуна- Ключевые слова:
родного опыта. Для решения поставленной цели были предложены такие механизмы, как объек- аккредитационный
тивный структурированный клинический экзамен, анализ профессиональных стандартов в сфере экзамен, критерии
здравоохранения, а также оригинальная система оценивания (в штрафных баллах) с использо- оценки, объективный
ванием электронных листов экспертной оценки. Были разработаны основные показатели оценки структурированный
в ходе профессионального экзамена с учетом разной направленности, выбраны формы и мето- клинический
ды контроля, включающие тестирование и экспертную оценку. Результаты оценивания по много- экзамен, уровень
балльной саморазвивающейся системе можно конвертировать в оценку по любой шкале, в том подготовленности,
числе по классической для России - 5-балльной, используя аналогичный подход для переводных матрица компетенций,
экзаменов. Перевод технических баллов в традиционную оценку можноосуществлять с помощью симуляция, электронный
рейтинговой (порядковой) или интегральной (абсолютной) шкалы. лист экспертной оценки
Клин. и эксперимент. хир. Журн. им. акад. Б.В. Петровского. 2016. № 3. С. 111-117.
Статья поступила в редакцию: 15.07.2016. Принята в печать: 15.08.2016.
Technology independent assessment of professional competence
A.A. Svistunov1, N.V. Pyatigorskaya1, D.M. Gribkov1, Z.Z. Balkizov2, A.L. Kolysh3 CORRESPONDENCE
Balkizov Zalim Z. - MD, Deputy
Chairman of Association of Medical
1 I.M. Sechenov First Moscow State Medical University Societies for Quality of Medical Care
2 Association of Medical Societies for Quality of Medical Care and Medical Education, Moscow and Medical Education, Member
3 Intermedica LLC, Moscow of the Coordination Coundl for
the development of continuing
medical education Russian Ministry
of Healthcare, AMEE official
representative in the CIS (Moscow)
The purpose of this work was development of independent assessment technology of specialists E-mail: [email protected]
with medical and pharmaceutical education competence with use of the international experience.
In furtherance of this goal such mechanisms as the objective structured clinical examination, the Keywords:
analysis of professional standards in health care and also original grading system (in penalty points) accreditation examination,
with use of an expert assessment electronic sheets were offered. The main indicators of assessment evaluation criteria,
have been developed during the professional examination taking into account a different direction, objective structured clinical
the forms and control methods including testing and expert assessment are chosen. Grading results examination, preparedness
on multimark self-developing system can be converted into assessment on any scale, including on level of competency
classical for Russia - 5-mark, using similar approach for end-of-year examinations. A conversion of matrix, simulation, expert
technical points in traditional assessment can be made by means of a rating (serial) or integrated assessment electronic
(absolute) scale. sheets
Clin. Experiment. Surg. Petrovsky J. 2016. N 3. Р. 111-117.
Received: 15.07.2016. Accepted: 15.08.2016.
Значительные изменения в здравоохранении и ускорение научно-технического прогресса (персонифицированная медицина, всеобщее старение населения, фармакогеномика, трансляционная медицина, нанотехнологии, генная и клеточная терапия и др.) оказывают существенное влияние на формирование медицинских и фармацевтических кадров во всем мире. В настоящее время в Российской Федерации разрабатывается новая концепция государственной системы профессионального образования, которая должна готовить специалистов нового типа для инновационной экономики не только владеющих современными методами осуществления профессиональной деятельности, но и готовых и стремящихся к овладению новыми знаниями на протяжении всей своей профессиональной жизни [1-3]. Непрерывное образование подразумевает формирование и/или поддержание уровня компетенций, позволяющих успешно осуществлять профессиональную деятельность на протяжении всей профессиональной жизни специалиста как на вузовском, так и на послевузовском этапах обучения. Организация медицинской помощи и медицинское образование всех уровней крайне зависимы друг от друга, так как объем и качество медицинской помощи, оказываемой населению, зависят как от квалификации медицинских работников, так и от системы, в которой эта помощь предоставляется.
Еще одним вызовом для медицинского образования является то, что университет должен готовить специалистов для будущей системы здравоохранения и учитывать те изменения, которые в ней произойдут за время учебы студента. С учетом стремительных и важных изменений в медицине и медицинской науке можно отметить необходимость реформ медицинского образования на всех уровнях системы: среднее и высшее образование, ординатура (общая и специализация) и повышение квалификации/переподготовка.
Первым и важным шагом на пути преобразования образования, в частности медицинского, является создание системы независимой оценки уровня квалификации. Для обеспечения объективности оценки необходимы привлечение внешних экзаменаторов; выработка критериев оценки, отражающих компетенции для осуществления практической деятельности; использование методов оценки с высокой степенью надежности. Воспроизведение стандартных (типичных и уникальных) клинических случаев при оценке компетенций в симулированных условиях и встроенная в ряд симуляторов система объективной регистрации параметров выполненной работы дают основу для дополнительной объективизации оценки. Помимо объективности процедура аккредитации специалистов должна опираться на следующие принципы:
• практическая направленность, обеспечивающая создание контрольных материалов на основе единых профессиональных стандартов, клинических протоколов и порядков оказания медицинской помощи;
• регулярность оценки квалификации (не реже 1 раза в 5 лет), гарантирующей поддержание необходимого уровня подготовки.
Процесс оценки соответствует этапам симу-ляционного обучения, которые предполагают освоение базовых практических умений и навыков, специальных практических умений, а также коммуникативных навыков.
Систему оценки профессиональных компетенций можно выстраивать на основе классификации профессиональных умений и навыков по блокам: 1) общие и общемедицинские знания, умения и навыки, необходимые всем категориям медицинских работников, вне зависимости от уровня квалификации; 2) общие сестринские знания, умения и навыки, которые обязательны для среднего медицинского персонала, а также могут быть выбраны отдельными лицами с более высоким уровнем квалификации; 3) общие терапевтические знания, умения и навыки, обязательные для всех практикующих врачей; 4) специальные знания, умения и навыки, необходимые для оценки специалистов, выбрать которые могут любые лица с медицинским образованием; 5) специальные врачебные знания, умения и навыки, необходимые для оценки специалистов, могут быть выбраны для освоения любым практикующим врачом.
Наличие такой системы создаст условия для качественного изменения самой процедуры подготовки за счет повышения ответственности обучающихся за результат, а образовательным организациям позволит сосредоточиться на процессе формирования компетентности специалистов.
Для повышения качества практической подготовки медицинских специалистов требуется наличие у медицинских учебных организаций достаточной клинической базы. Но обучение у постели больного может нарушить право пациента на оказание ему качественной медицинской услуги, и, как правило, преподаватель не может контролировать процесс формирования компетенции. Довольно часто эта ситуация усугубляется отсутствием обеспеченности достаточным количеством тематических пациентов и вынужденной работой обучающихся в больших группах. Безусловно, добросовестный обучающийся найдет способ получить необходимую практическую подготовку и в этих условиях, но невозможно говорить о гарантированном качестве практической подготовки специалистов [4, 5].
В качестве альтернативы теоретическому обучению и обучению у постели больного возникли симуляционные технологии, служащие дополни-
тельным промежуточным этапом подготовки между этими методами обучения, а также выступающие механизмом совершенствования практической деятельности сертифицированных (аккредитованных) специалистов [6-11]. Современные возможности симуляционного оборудования позволяют имитировать достаточное количество ситуаций, необходимых для практического обучения на разных этапах образования медицинских специалистов.
С 1 января 2016 г. в Российской Федерации введена аккредитация медицинских и фармацевтических специалистов, которая предполагает оценку профессиональных компетенций. Основная задача аккредитационного экзамена - проверить уровень подготовки специалиста, который он приобрел на предшествующих экзамену этапах обучения (в том числе и во время своей работы) на соответствие конкретным требованиям.
Аккредитационный экзамен проверяет готовность специалиста к выполнению указанного вида профессиональной деятельности и сформирован-ность у него компетенций, определенных образовательным стандартом.
Для формирования содержания аккредитационного экзамена была выбрана наиболее перспективная модель объективного структурированного клинического экзамена (ОСКЭ). Объективность обеспечивается использованием унифицированных листов экспертной оценки (чек-листов), структурированность - тем, что все аккредитуемые получают одинаковый набор заданий и решают его в одинаковое отведенное время. Все задания представляют собой эпизод рабочей задачи, сформированной на основе реальных клинических ситуаций.
Ввиду отсутствия в Российской Федерации унифицированных подходов к системам независимой оценки компетентности специалистов с медицинским и фармацевтическим образованием необходима разработка современных подходов к формированию таких систем и оценке эффективности их использования, в том числе при процедуре аккредитации специалистов.
Методика
Самым сложным при создании объективной системы оценки является разработка критериев, по которым сравниваются реальное и идеальное выполнения. Поскольку проще всего регистрировать время реального выполнения, именно оно является наиболее распространенным критерием оценки, в частности в спорте. Появление современных технических средств обучения, к которым относятся компьютеризированные симуляторы, послужило толчком для развития системы объективной оценки. Так, например, симуляторы позволяют регистрировать целый ряд параметров выполненного дей-
ствия: длина пройденного пути инструмента, взятого в разные руки; объем введенного лекарственного препарата; скорость проведения массажа сердца и т.п. [13, 14]. В результате получается некий массив информации, который можно экспортировать из симулятора в хранилища данных, обрабатывать, хранить и т.д.
Важно понимать, что приоритетом при процедуре аккредитации являются именно профессиональные действия специалиста (профессиональный экзамен), поэтому процедура контроля должна предусматривать возможности для демонстрации аккредитуемыми профессионализма в условиях своего будущего или настоящего рабочего места.
Именно поэтому в ходе разработки тестовых заданий должны преобладать задания, диагностирующие уровень профессиональных умений, а не только знаний. По этой же причине при проведении первичной аккредитации этап оценки практических навыков должен выглядеть не как сдача навыка на фантоме, а проходить в виде симуляции работы с пациентом, роль которого частично выполняет фантом (симулятор, тренажер, робот и т.п.).
В случае ОСКЭ для определения содержания экзамена необходимо провести отбор совокупности компонентов оцениваемых компетенций и частоту, с которой каждый из них должен демонстрироваться в ходе экзамена. В каждом проекте ОСКЭ должны учитываться знания и умения, которые нужно оценить в соответствии с учебным планом, и необходимость повторения оценки тех или иных областей знаний с помощью различных методов.
Процесс проектирования должен обеспечить формирование необходимого набора элементов из учебного плана, нужных для приобретения компетенций, предусмотренных образовательным и/или профессиональным стандартом. Таким образом, экзамен должен отражать содержание обучения. Как правило, проект ОСКЭ состоит из двухмерной матрицы, в которой одна ось отражает основные подлежащие тестированию компетенции (например, сбор анамнеза, коммуникативные навыки, физикальное обследование, планирование тактики ведения больного и т.д.), а вторая представляет те проблемы или состояния, в отношении которых демонстрируются эти умения. Проектирование может проводиться аттестационной комиссией автономно, однако в случае наиболее важных экзаменов согласование тем, включаемых в тестовый проект, может быть осуществлено с помощью метода экспертной оценки Дельфи или других методик опроса экспертов.
Важной задачей для совершенствования технологии независимой оценки является разработка специальных листов экспертной оценки, которые должны создаваться на основе профессиональных стандартов, среди которых можно выделить 7 групп:
1. Порядки оказания медицинской помощи.
Из использование необходимо для моделирования среды, в которой реализуются учебный и/или аттестационный процессы.
2. Клинические рекомендации и протоколы. Клинические рекомендации являются инструментами для принятия решений в области здравоохранения. Данные документы имеет краткую информацию о вмешательствах и степени их доказательности, но требуют для целей настоящего исследования алгоритмизации под конкретные клинические случаи.
3. Стандарты медицинской помощи - это имеющий фиксированную стоимость набор медицинских услуг, лекарственных средств и медицинских материалов, необходимых пациенту с установленным диагнозом для проведения эффективных лечебно-диагностических мероприятий. В настоящее время утвержденные приказами Минздрава России стандарты медицинской помощи не могут использоваться как документы прямого действия, но позволяют обеспечить создание единого информационного пространства для организаций системы здравоохранения.
4. Профессиональные стандарты деятельности - это характеристика квалификации, необходимой работнику для осуществления определенного вида профессиональной деятельности, в соответствии со ст. 195.1 Трудового кодекса РФ. Применяться они могут при приеме на работу, аттестации сотрудников, формировании кадровой политики предприятия, разработке должностных инструкций и системы оплаты труда. Применение профстандартов работодателями с 1 июля 2016 г. станет обязательным в части требований к квалификации, необходимой работнику для выполнения трудовой функции, если такие требования установлены ТК РФ, другими федеральными законами или иными нормативными правовыми актами Российской Федерации.
5. Технологии выполнения медицинских услуг должны стать основой для разработки листов экспертной оценки.
6. Санитарные нормы и правила создаются для решения проблем обеспечения безопасности при проведении медицинских манипуляций.
7. Международные рекомендации (в том числе рекомендации ВОЗ) и стандарты. Для конкретизации отдельных процессов можно выделить следующие международные рекомендации: Европейский стандарт обработки рук, Е^1500 и Рекомендации по проведению реанимационных мероприятий Европейского совета по реанимации (последний пересмотр от 2015 г.).
Санитарные нормы и правила, а также международные рекомендации могут применяться для детализации первичных алгоритмов с целью повы-
шения безопасности и прозрачности при выполнении необходимых действий, а также для описания не только конкретной помощи (оказание медицинских услуг пациенту), но и поведения медицинского работника в целом (например, утилизация отходов, обработка рук).
Проведенный анализ показал, что данная работа требует дополнительного привлечения клинических специалистов, а также что не для всех заявленных компетенций существует отечественная нормативная база. Существующая нормативная база постоянно подвергается изменениям, в связи с чем разрабатываемое программное обеспечение должно предусматривать возможность быстрого и простого внесения необходимых изменений без привлечения высококвалифицированных технических кадров, а также обучающий курс для персонала центров, осуществляющих оценку компетентности работников.
Перевод стандартов профессиональной деятельности в формат количественной оценки уровня подготовленности специалиста к этой деятельности (дигитализация) позволит не только обеспечить реализацию объективного структурированного клинического экзамена, но и выявлять явных лидеров в своей профессии, оценивать эффективность учебного процесса, накапливать данные о применимости навыков в практике.
Для процедуры допуска к самостоятельной работе наиболее подходящей является бинарная оценка (сдано/не сдано). Тем не менее, для того чтобы процедура была достаточно справедливой и разумной, целесообразно перед этим получить более дифференцированную оценку и установить пороговые значения успешности экзамена.
Для реализации детализированной и обобщенной оценки можно использовать как соответствие требованиям процесса практической деятельности, так и качественные характеристики. При этом критерии основываются на поэтапном контроле процесса выполнения задания.
Для показателей результативности практической деятельности критериями будут служить соответствие усвоенных алгоритмов деятельности заданному стандарту оказания медицинской помощи, клиническим протоколам, временным параметрам и др. При оценке качественных характеристик будут учитываться точность диагностики (причины, стадии и клинические проявления), а также своевременность оказания неотложной доврачебной помощи при терминальных состояниях (остановка кровообращения, потеря сознания, непроходимость дыхательных путей, травма с потерей сознания, травма с ранением, сочетание травм и т.д.).
При разработке специальных листов оценки учитывается только коллективное мнение экспертов, когда четко и недвусмысленно описывается,
какой уровень выполнения заданий должен демонстрировать кандидат. После создания таких чек-листов допустима регистрация действий кандидата во время проведения процедуры контроля не экспертами, а обученными сотрудниками с навыками хорошего секретаря. Дополнительно, во избежание конфликтных ситуаций, все действия кандидата записываются на видео и хранятся в базе данных. Полученные результаты учитываются в общей системе учета оценок, и кандидат получает заключение о своей технике выполнения и/или о возможности допуска к следующему этапу своей профессиональной жизни.
Использование именно такого способа оценки было подсказано возможностями регистрации параметров выполнения действий компьютерными тренажерами и симуляторами. При этом все параметры выполнения вводятся в базу данных и подвергаются математическому анализу, что позволяет судить о степени объективности такого экзамена.
Эффективность системы учета оценок зависит от целей ее использования, автоматизации учета и объективности самой оценки. Для объективности можно использовать либо специальные листы экспертной оценки, либо нескольких одновременно работающих экспертов, чтобы их измерения подвергнуть математической обработке.
Результаты оценивания по многобалльной саморазвивающейся системе можно конвертировать в оценку по любой шкале, в том числе и по классической для России 5-балльной, используя аналогичный подход и для переводных экзаменов.
Перевод технических баллов в традиционную оценку можно осуществлять с помощью рейтинговой (порядковой) или интегральной (абсолютной) шкалы. Целесообразно при использовании порядковой шкалы учитывать задания преимущественно средней степени трудности, что обеспечивает нужную дисперсию уровня подготовленности испытуемых. А при использовании интервальной шкалы допускается высокая дисперсия заданий, которые должны быть различной степени трудности по каждому разделу подготовки.
Для перевода технических баллов в истинные необходимо получение результатов всей совокупности испытуемых, а также статистическая обработка измерений, для чего требуются определенное время и специальное программное обеспечение.
Результаты
В результате проведенной работы была предложена модель независимой оценки компетентности специалистов с медицинским и фармацевтическим образованием с использованием международного опыта.
В качестве инструмента оценки аккредитаци-онного экзамена была выбрана модель объективного структурированного клинического экзамена (ОСКЭ), основанного на принципах объективности и стандартизации. При подборе адекватных методов ОСКЭ было принято решение выбрать экспертное оценивание и тестирование.
Уточнены показатели оценки результата. Если показателем результата является процесс практической деятельности, то критерием будет служить соответствие усвоенных алгоритмов деятельности. Если показателем результата является продукт практической деятельности, то критерием будет соответствие выбранных методов лечения и предложенная лекарственная терапия. При оценке качественных характеристик учитывалось выполнение профессиональных заданий в симулированных условиях (на симуляторах).
При использовании симуляционных технологий в рамках непрерывного медицинского образования было предложено учитывать следующее:
1. Редко проводимые, но критически важные манипуляции необходимо регулярно тренировать либо с помощью стажировок в местах, где это востребовано, либо с помощью симуляционных технологий [15].
2. Если планируется, что конкретное вмешательство станет новой обязанностью (с перерывом от последнего успешного проведения в 1 год и более) медицинского работника, то необходимы специальный тренинг, стажировки в условиях реального времени и аттестации (в том числе и в условиях симуляции), особенно если в ходе базового обучения использовался только традиционный подход.
Обсуждение
После описания (желательно в виде матрицы) всех необходимых компетенций специалиста для процедуры первичной или специализированной аккредитации целесообразно произвести следующий отбор:
1. Выделить те профессиональные действия, которые возможно технически реализовать в условиях симуляции. Количество станций и повторов одной и той же компетенции должно позволять оценить все необходимые разделы по каждой специальности. Также необходимо учитывать, что в среднем человек (аккредитуемый) может находиться в ситуации строгого и непрерывного контроля его деятельности не более 2-3 ч подряд, поэтому количество станций должно быть, например, от 3 по 1 ч на каждую, до 24 - по 5 мин.
2. Все профессиональные действия, которые не требуют серьезной симуляции, например, принятие профессиональных решений по предоставленным заранее данным целесообразно перенести
на 3-й этап со структурированным собеседованием, обеспечивающий оценку самого высокого уровня компетенции в заданных рамках.
3. Все остальное, что не получилось охватить 2-м и 3-м этапами, а также знания, обеспечивающие действия на 2-м и 3-м этапах, целесообразно проверять с помощью тестирования, которое разумно давать на 1-м этапе оценки уровня квалификации.
Таким образом формируется вся процедура аккредитации через структурированный подход к оценке профессиональной деятельности. Даже при правильной организации ОСКЭ существует недостатки, такие как затраты на подготовку и привлечение большого количества экзаменаторов и высокий уровень стресса для экзаменуемых.
Преимущества ОСКЭ: высокая валидность и надежность метода; контролируемая сложность экзамена; использование данного метода как для текущей, так и для итоговой оценки; возможность аттестации большого количества студентов; воспроизводимость результатов; устранение субъективности экзаменаторов.
Объективность педагогической оценки увеличится при обработке результатов измерений математическими методами и сопровождении характеристиками точности измерений, валидности и надежности. Аналогичное и инновационное решение в области совершенствования оценки практических умений можно построить с привлечением специалистов в сфере информационных технологий.
Заключение
Система оценивания при освоении образовательных программ учащимися - важнейший элемент образования. Необходимость выбора правильных критериев оценки результатов обучения отмечают все участники образовательного процесса: регуляторные органы, преподаватели, обучающиеся, работодатели.
Несмотря на то что в ряде зарубежных стран процедура ОСКЭ используется уже давно [11, 12, 16], зарубежные коллеги утверждают, что еще многое предстоит сделать, чтобы улучшить систему оценки практических навыков в медицинском образовании. Первоначальный опыт проведения ОСКЭ в рамках аккредитации специалистов в Российской Федерации показал свою эффективность, но было отмечено, что необходимо использовать российские стандарты обучения и учитывать опыт стран, прошедших первоначальные шаги в деле объективности педагогической оценки, а также совершенствовать методическое обеспечение по подготовке и аккредитации специалистов здравоохранения.
Работа выполнена при финансовой поддержке Министерства образования и науки Российской Федерации (Соглашение о предоставлении субсидии № 14.607.21.0130, уникальный идентификатор прикладных научных исследований RFMEFI60715X0130).
Литература
1. Концепция модернизации российского образования на период до 2010 г. // Вестн. образования. 2002. № 6. С. 11-40.
2. Концепция развития системы здравоохранения в Российской Федерации до 2020 г. Режим доступа: http://nrma.ru/ Reform/zdr_conception_2020.shtmL
3. Концепция Федеральной целевой программы развития образования на 2006-2010 годы. Утверждена Правительством РФ от 03.09.2005 (1340-р) // Вестн. образования. 2005. № 22. С. 7-40.
4. Амиров Н.Х., Созинов А.С., Мухарямова Л.М., Булатов С.А. Актеры вместо пациентов // Мед. газета. № 3. 14.05.2008. С. 10.
5. Созинов А.С., Булатов С.А. Виртуальный больной - взгляд в будущее или игрушка для интеллектуалов? // Виртуальные технологии в медицине. 2010. № 1 (3). С. 19-24.
6. Симуляционное обучение в медицине, РОСОМЕД Российское общество симуляционного обучения в медицине / под ред. А.А. Свистунова; сост. М.Д. Горшков. М.: Издательство Первого МГМУ им. И.М. Сеченова, 2013.
7. Балкизов З.З. Непрерывное медицинское образование. Применение симуляционных технологий в ЛПУ // Здравоохранение. 2011. № 10. С. 44-49.
8. Симуляционное обучение по анестезиологии и реаниматологии / сост. М.Д. Горшков, ред. В.В. Мороз, Е.А. Евдокимов. М.: ГЭОТАР-Медиа, 2014. 312 с.
9. Симуляционное обучение: акушерство, гинекология, перинатология, педиатрия / сост. М.Д. Горшков; ред. Г.Т. Сухих. М.: РОСОМЕД, 2015. 232 с.
10. Симуляционное обучение в хирургии / под ред. В.А. Ку-бышкина, С.И. Емельянова, М.Д. Горшкова. М.: ГЭОТАР-Медиа, 2014. 264 с.
11. Harden R.M., Gleeson F.A. Assessment of clinical competence using an objective structured clinical examination (OSCE) // Med. Educ. 1979. Vol. 13 (1). Р. 41-54.
12. Holmboe E.S. Faculty and the observation of trainees' clinical skills: problems and opportunities // Simul Healthc. 2014. Vol. 9 (1). Р. 21-32.
13. Issenberg S.B., McGaghie W.C., Petrusa E.R., Lee Gordon D., Scalese R.J. Features and uses of high-fidelity medical simulations that lead to effective learning: a BEME systematic review // Med. Teach. 2005. Vol. 27 (1). Р. 10-28.
14. Кан К., Толхюрст-Кливер С., Уайт С., Симпсон У. Симуляции в системе медицинского образования. Создание программы симуляционного обучения: Руководство AMEE № 50 (пер. с англ. под ред. З.З. Балкизова) // Мед. образование и проф. развитие. 2011. № 3. С. 26-65. Режим доступа: http://
medobr.ru/jarticles/28.html?SSr=05013305c104664800c327c__
66479517.
15. Merkur S., MLadovsky P., MossiaLos E., McKee M. Обеспечивает ли система непрерывного обучения и переаттестации поддержание необходимого профессионального уровня врачей? Краткий аналитический обзор. Европейское региональное бюро ВОЗ. Копенгаген: Европейская обсерватория по системам и по-
литике здравоохранения, 2008. 38 с. Режим доступа: http://www. euro.who.int/__ data/assets/pdf_file/ 0003/78951/ E92150R.pdf.
16. NesteL D. et al. Confederates in health care simulations: not as simple as it seems // Clin. Simul. Nurs. 2014. Vol. 10, Issue 12. Р. 611-616.
References
1. The concept of modernization of Russian education for the period till 2010. Vestnik obrazovaniya [Journal of Education]. 2002; Vol. 6: 11-40. (in Russian)
2. The concept of development of the health system in the Russian Federation until 2020. Mode of access: http://nrma.ru/ Reform/zdr_conception_2020.shtml. (in Russian)
3. The concept of the Federal target program of education development for 2006-2010. Approved by the Government of the Russian Federation dated 03.09.2005 (1340-r).Vestnik obrazovaniya [Journal of Education]. 2005; Vol. 22: 7-40. (in Russian)
4. Amirov N.X., Sozinov A.S., Mukharyamova L.M., Bulatov S. A. Actors instead of patients. Meditsinskaya gazeta [Medical Newspaper]. N 3. 14.05.2008: 10. (in Russian)
5. Sozinov A. S., Bulatov S. A. Virtual patient - a look into the future or a toy for intellectuals? Virtual'nye tekhnologii v meditsine [Virtual Technologies in Medicine]. 2010; Vol. 1 (3): 19-24. (in Russian)
6. Simulation training in medicine, ROSOMED (the Russian-society of simulation training in medicine) / under the editorship of A.A. Svistunov; comp. M.D. Gorshkov. Moscow: Publishing house of the I.M. Sechenov First Moscow State Medical University, 2013. (in Russian)
7. Balkizov Z. Z. Continuous medical education. The use of simulation technologies in hospitals. Zdravookhranenie [Healthcare]. 2011; Vol. 10: 44-9. (in Russian)
8. Simulation training in anesthesiology and reanimatology / comp. M.D. Gorshkov, ed. by V.V. Moroz, E.A. Evdokimov. Moscow: GEOTAR-Media, 2014. 312 p. (in Russian)
9. Simulation training: obstetrics, gynecology, perinatology, pediatrics / comp. M.D. Gorshkov, ed. by G.T. Sukhikh. Moscow: ROSOMED, 2015: 232 p. (in Russian)
10. Simulation training in surgery / ed. by V.A. Kubyshkin, S.I. Yemelyanov, M.D. Gorshkov. Moscow: GEOTAR-Media, 2014: 264 p. (in Russian)
11. Harden R.M., Gleeson F.A. Assessment of clinical competence using an objective structured clinical examination (OSCE). Med Educ. 1979; Vol. 13 (1): 41-54.
12. Holmboe E.S. Faculty and the observation of trainees' clinical skills: problems and opportunities. Simul Healthc. 2014; Vol. 9 (1): 21-32.
13. Issenberg S.B., McGaghie W.C., Petrusa E.R., Lee Gordon D., Scalese R.J. Features and uses of high-fidelity medical simulations that lead to effective learning: a BEME systematic review. Med Teach. 2005; Vol. 27 (1): 10-28.
14. Kang K., Tolhurst-Cleaver S., White S., Simpson W. Simulation in healthcare education. The establishment of a program of simulation education: AMEE Guide N 50 (transl. from English, ed. by Z.Z. Balkizov). Meditsinskoe obrazovanie i professional'noe razvitie [Medical Education and Professional Development] 2011; Vol. 3: 26-65. Mode of access: http://medobr.ru/jarticles/28.html?S Sr=05013305c104664800c327c_66479517. (in Russian)
15. Merkur S., Mladovsky P., Mossialos E., McKee M. Is the continuous learning and recertification to maintain the necessary professional level of doctors? A brief analytical review. The WHO Regional Office for Europe. Copenhagen: European Observatory on Health Systems and Policies, 2008. 38 p. Mode of access: <url> http://www.euro.who.int/__ data/assets/pdf_file/ 0003/78951/ E92150R.pdf. (in Russian)
16. Nestel D., et al. Confederates in Health Care Simulations: Not as Simple as It Seems. Clin Simul Nurs. 2014; Vol. 10 (Issue 12): 611-6.
