CC BY
16
Информация об авторах:
Анкудинов Андрей Сергеевич - доцент кафедры медицинской симуляции, к.м.н., 664003, Иркутск, ул. Красного Восстания, 1, e-mail: andruhin.box@ya.ru, SPIN-код: 2235-1846; Калягин Алексей Николаевич - заведующий кафедрой пропедевтики внутренних болезней, профессор, д.м.н., SPIN-код: 6737-0285, ORCID: 0000-0002-2708-3972, e-mail: akalagin@mail.ru
Information About the Authors:
Ankudinov Andrey Sergeevich - Associate professor of the Department of Medical Simulation, MD, PhD (Medicine), e-mail: andruhin.box@ya.ru, SPIN: 2235-1846; Kalyagin Aleksey Nikolaevich - Head of the Department of Propedeutics of Internal Medicine, Professor, MD, PhD, DSc (Medicine), 664003, Russia, Irkutsk, Krasnogo Vosstania str., 1, SPIN: 6737-0285, ORCID: 00000002-2708-3972, e-mail: akalagin@mail.ru
педагогика
© АЛИМА Г., ДОНДОГМА Д., ОЮУНГО Б., СУМБЕРЗУЛ Н. - 2019
УДК: 378.147.31:378.661(571.53) 001: 10.34673/вти.2019.68.35.014
анализ результатов экзаменов на лицензирование профессиональной врачебной деятельности выпускников медицинских институтов монголии
Алима Г.1, Дондогма Д.2, Оюунго Б.1, Сумберзул Н.1 ('Монгольский Национальный Университет Медицинских Наук, Улан-Батор, Монголия; 2Центр развития здоровья, Министерство здравохранения Монголии, Улан-Батор, Монголия)
Резюме. Цель исследования: проанализировать показатели профессиональных лицензионных экзаменов для выпускников медицинских вузов Монголии.
Материалы и методы. 4344 выпускников, окончивших медицинские институты Монголии "Монгольский Национальный Университет Медицинских Наук", "Лч" Медицинские Университет и «Этугэн» Университет с 2011 по 2017 годы, которые предоставили данные сертификатов профессиональной лицензии. Этот опрос был проведен с использованием результатов оценок выпускных экзаменов и результатов оценок для профессиональной лицензии. Исследование проводилось по дескриптивной и аналитической методике.
Результаты. Успеваемость выпускников экзамена профессионального лицензирования в 2011-2016 годах составила 5,6% в 2014 году и 38,8% в 2015 году, что являются самыми низкими показателями по сравнению с другими годами. А успеваемость экзамена профессионального лицензирования в 2017 году улучшилась до 71,1%. 60% выпускников, окончившие по врачебным делам, получили лицензию на разрешение проводить профессиональную врачебную деятельность сразу при первом экзамене. Средний показатель достоверности экзаменационных тестов профессиональной аттестации на лицензирование - «хороший» (0,86), отрицательный и нулевой - 10%, слишком сложный - 11% и сверхлегкий - 16%.По данным исследования, результаты выпускных экзаменов и результаты экзаменов профессионального лицензирования выпускников 2011-2016 годов имели прямую корреляцию (р<0,001), сила корреляции: r = 0,3405 (2011), r = 0,3238 (2012), r = 0,4096 (2013), r = 0,4531 (2014), r = 0,4843 (2015), r = 0,5154 (2016), от слабойдо средней.
Заключение. Отмечаются колебания значений результатов профессиональных лицензионных экзаменов. Установлена прямая корреляция между выпускными теоретическими и профессиональными лицензионными экзаменами (r = 0,27-0,69, р<0,001).
Ключевые слова: профессиональный лицензионный экзамен; надежность теста; валидность теста; индекс сложности; индекс дискриминации; анализ заданий.
ANALYsis oF MEDicAL LicENsiNG ExAMINATioNs REsuLTs FRoM medical university's graduates of Mongolia
Alimaa G.1, Dondogmaa D.2, Oyungoo B.1, Sumberzul N.1 ('Mongolian National University of Medical Sciences, Ulaanbaatar, Mongolia;
2Center for Health development, Ministry of Health of Mongolia, Ulaanbaatar, Mongolia)
Summary. Aim. This study aims to identify pass and succes rates of Medical Licensing Examination for graduates in 2011-2017 and to determine correlation between test scores of Medical Licensing and Graduate knowledge examinations.
Methods. It analyses test result sheets of 4344 graduates who passed the Graduate knowledge examinations and the Medical Licensing examination in these years. The sample was collected from the Mongolian National University of Medical sciences, "Ach" Medical Universityand "Etugen" University. The study was conducted in descriptive and analytical form and method of idem analysis.
Result. The success rate of the Medical Licensing examination was only 5,6% in 2014 and 38,8% in 2015, which were the worst in comparision with the success rate for the remaining years. But success rate in 2017 was increased and was 71%. Out of the total graduates who sat in the Medical Licensing Examination, about 60% have passed the test and got the License by their first attempt. The average reliability coefficient for Medical Licensing Examination was "good" (KR0.86).The result of our study has showed that 11% of the used MCQs was too difficult, 16% too easy. Discrimination index (average percentage) of MCQ was determined 10 percent negative and equal to zero. The study showed a linear correlation between Graduate knowledge examination and medical licensing examination from all graduates (p <0,001) for 2011-2016 r = 0,3405 (2011), r = 0,3238 (2012), r = 0,4096 (2013), r = 0,4531 (2014), r = 0,4843 (2015), r = 0,5154 (2016), from weak to moderate.
Conclusion. There are fluctuations in the values of the results of professional licensing exams. A direct correlation was established between the final theoretical and professional licensing exams (r = 0,27-0,69, p <0,001).
Key words: professional licensing examination; reliability coefficient; Discrimination index; Difficulty index; Item analysis.
С целью улучшения медицинского обслуживания начали процесс лицензирования профессиональной деятельности медицинских специалистов с 1999 года, но до сих пор никаких исследований не было проведено в отношении системы самого процесса лицензирования.
Целью профессиональных лицензионных экзаменов является сертификация практикующего врача для предоставления врачом безопасной и эффективной медицинской помощи [1].
В 2003 году, в Хельсинки президент Всемирной ассоциации медицинского образования доктор Ханс Карл подчеркнул в своём докладе, что: «С 1995 года количество школ медицинского образования увеличилось на 54%. Важно отметить, что количество медицинских школ возрастает без контроля, именно таких, которые делают только бизнес, основаны на потребности студентов на самом деле с недостаточным потенциалом учиться в медицинских вузах; качество обучения в некоторых медицинских вузах неудовлетворительно, тем самым снижает качество медицинского образования» [2].
Исследователи отмечают, что в странах Южной Азии также быстро развиваются частные медицинские учебные заведения. Например, в Индии очень быстро были созданы частные медицинские школы, основанные на экономическом развитии в период между 1970 и 2005 годами. За последние 10 лет в Бангладеше были созданы 32 частных медицинских школы, а в Пакистане в период между 1997-2005 годами их количество удвоилось [3].
В Монголии также число частных медицинских школ за последнее десятилетие увеличилось, школы предоставляют медицинское образование по своим составленным программам, поэтому, необходимо усовершенствовать оценку знаний и навыков врачей и медицинских специалистов в секторе здравоохранения и правильно выбрать средства их оценки.
Прежде чем выбрать метод оценки, вам необходимо рассмотреть несколько важных вопросов: Что оценивать? Зачем оценивать? Чтобы выбрать средство оценки, задаются следующие вопросы: Это действительно так? Это достоверно? Возможно ли это? Какое средство оценки были выбрано, как они будут влиять на содержание тренинга и уровень знаний экзаменуемых [4].
Анализ выполненных заданий экзаменуемыми после экзамена помогает устанавливать: каких задач можно использовать в дальнейшем, каких задач необходимо улучшить и каких следует удалить. Анализ заданий сделается в двух типах: и количественном и качественном [5].
Исследователи медицинского образования отмечают, что необходимо для повышения качества структуры профессионального лицензионного экзамена, достоверности-правильности и уровня программы: 1) Иметь различные уровни тестовой базы; 2) Контролировать структуру и правильность тестов; 3) Верифицировать и повысить надежность техники из-за избежания возможных технических ошибок при чтении ответов тестирования [6].
Качество и результаты профессиональных лицензионных экзаменов не только оценивают знания, навыки и отношение выпускников того года как посторонний аудит, а также влияют на прием медицинских вузов; и предоставляют возможности обратной связи медицинским вузам для различных видов их деятельности, таких как повышение качества обучения и повышение квалификации преподавателей на основе этой оценки.
Повышение достоверности профессиональных лицензионных экзаменов и объективизация оценки - привлекают большого внимания. Это имеет большое значение на оценку и улучшение знаний и навыков врачей и
иных медицинских работников, это последовательно и напрямую связано со здоровьем людей [7].
Всемирная ассоциация медицинского образования определяет в своих рекомендациях и руководствах, что универсальной целью высших учебных заведений медицинского образования любой страны должно являться, что независимо от какого медицинского института выпускники, они должны овладеть навыками оказать доступную, качественную, квалифицированную медицинскую помощь для клиентов на одинаковом уровне; даёт вызов учёбным заведениям медицинского образования объединить стратегии, перспективы, сотрудничать, снижать конкуренции и недоразумение для достижения успехов в региональных странах [8].
В настоящее время уровень знаний выпускников устанавливается институтскими (местными) выпускными теоретическими и профессиональными аттестационными (посторонними) экзаменами. Методы тестирования одинаковы, они организованы в письменной форме, несколько вариантов тестирования и каждый тест выбирается из их соответствующих пулов тестов. В случае университетов, профессиональные кафедры разрабатывают тесты, получают мнение специалистов для оценки и далее формируют датабазу. Тестовая датабаза для профессионального лицензирования медицинских работников разрабатывается внештатными сотрудниками внештатных советов (учебные заведения медицинского образования, профессиональные ассоциации, представители организаций здравоохранения, врачи, преподаватели) при Министерстве здравоохранения и используется для экзаменов.
Это показывает, что необходимо уделять внимание на качество тестов, чем на их количество. Сделать анализ заданий, используемых в профессиональном лицензионном экзамене, и постоянное усовершенствование тестовой датабазы имеет немалое значение для объективной оценки и улучшения знаний врачей, и стало целью нашего исследования.
Цель исследования: проанализировать показатели профессиональных лицензионных экзаменов для выпускников медицинских вузов.
Материалы и методы
Исследование проводилось в дескриптивной и аналитической методике по анализам заданий.
Исследование основано на данных выпускников врачебных специальностей 3-х из 12 медицинских вузов Монголии: Монгольский Национальный Университет Медицинских Наук, "Ач" Медицинский университет и «Этугэн» университет. Мы изучали результаты оценок, экзаменационные листы профессиональных лицензионных экзаменов и экзаменационные материалы из 25 вариантов с 2700 тестами с несколькими версиями ответов, 4344 выпускников, которые успешно прошли выпускные теоретические экзамены и допущены к лицензионным экзаменам.
Результаты исследования были сопоставлены с результатами экзаменов профессионального лицензирования выпускников в 2011-2017 годах, из Монгольского Национального Университета Медицинских Наук, "Ач" Медицинского университета и «Этугэн» университета.
Были проанализированы задания тестов с помощью экзаменационных листов 4344 врачей, которые были допущены к лицензионным экзаменам из Монгольского Национального Университета Медицинских Наук, "Ач" Медицинского университета, «Этугэн» университетав 2011-2017 годах.
Надежность или валидность теста. Теоретический
экзамен со многими тестами показал более высокую надежность. Существует много статистических методов обнаружения внутренней стабильности экзамена, чаще всего используются методы как КБ20, КБ.21 (К^ег-ШсЬа^оп 20, 21) и СгопЬасЬа1рЬа [9]. Для определения достоверности тестов мы используем формулу: «Кудера-Ричардсона -20».
Формула Кудера-Ричардсона 20:
К Г x(k-S)l
где КБ20 - коэффициент надежности, к - общее количество тестовых сканов, 8 - стандартное отклонение полученных баллов, «х» - средний балл оценок всех экзаменуемых. Величина более 0,90 - действительно хорошо, 0,80-0,90 - очень хорошо, 0,70-0,80 - хорошо, 0,600,70 - средне, 0,50-0,60 - неудовлетворительно [10].
Очень важно, чтобы средства, используемые при любой оценке, были достоверными. Надежность является нормой для оценки того, что следует оценивать. Если тест является достоверным, результат оценки повторного экзамена должен быть одинаковым [11-13]. Например, можно считать задания тестов достоверными, когда результаты оценкитого экзамена одинаковы с результатами оценки предыдущего экзамена для экза-менуемыхв случаях повторного экзамена, одинакового содержания экзамена в письменной или устной форме, одного и того же экзамена двумя разными экзаменаторами в отдельности.
Определить степень сложности теста. Степень сложности экзаменационных вопросов определяется тем, на сколько процентов все экзаменуемые ответили правильно [15]. При оценке трудности теста, в среднем 60-65% считается оптимальным, >90% - сверхлегким, <30% считается слишком сложным [14]. Расчёт производился по следующей формуле:
Степень трудности теста оценивается следующим образом на 5 уровней: очень лёгкий - 0,9-1,0, лёгкий -0,7-0,9, средний - 0,5-0,7, сложный - 0,3-0,5, очень сложный - 0-0,3.Очень лёгкий уровень указывает на то, что содержание и задание экзамена слишком лёгкий для уровня навыков экзаменуемых данного экзамена, в то время как крайняя сложность - из-за превосхождения содержания программы, или не было преподано, или из-за технических ошибок при проверке.
Индекс трудности =
количество правильно выполнивших Х 100 общее количество экзаменуемых
Индекс дискриминации оценивает то, что тесты могут ли различать экзаменуемых по уровню знаний и навыков. Он должен быть между -1 и +1, и задания тестов должны иметь (+) индекс дискриминации. Чтобы определить индекс дискриминации необходимо расположить экзаменуемых выпускников по порядку баллов с высоких до низких;верхние 25% и нижние 25% (в случае небольшого количества студентов - 50%) указывают, что тест может ли различать экзаменуемых по уровню знаний и навыков.
Индекс дискриминации:
дал более правильный ответ. чем экзаменуемый с высоким баллом; нулевой - когда экзаменуемые с высоки-мии низкими баллами дали одинаковый ответ, т.е уровень знаний одинаков. Поскольку степень трудности и индекс дискриминации зависят от экзаменуемых, они могут быть разными на каждом экзамене. Аналогичным образом, индекс дискриминации может быть низким, когда знания испытуемых находятся на одинаковом уровне.
Рассчитана корреляция между результатами выпускных экзаменов 3951 выпускников успешно сдавших теоретическую часть выпускных экзаменов и результатами экзаменов на лицензирование профессиональной деятельности 3550 врачей-выпускников из медицинских институтов Монголии: Монгольского Национального Университета Медицинских Наук, "Ач" Мед. Университета и «Этугэн»Университета с 2011 по 2016 годов по методу простой корреляции.
Статистический анализ результатов. Для обработки таблиц, графиков и количественных данных были использованы «Microsoft 0ffice-2013», «Microsoft Excel 2010», для статистической обработки - SPSS-21, STATA, для определения качества, вычисления коэффициента надежности, индекса дискриминации и степени трудности было использовано программное обеспечение QuickSCORE II.
Результаты и обсуждение
Мы исследовали результаты экзаменов на лицензирование профессиональной деятельности 3550 выпускников 2011-2016 годов и 794 выпускников 2017 года из Монгольского национального университета медицинских наук, "Ач" Медицинского университета, «Этугэн» университета.
Согласно предыдущему исследованию, результаты экзаменов 2014 года являются самыми низкими по сравнению с результатами остальных годов. В 2017 году профессиональный лицензионный экзамен был проведен с исключением очень сложных тестов из экзаменационного материала 2014-2016 годов. Поэтому, в 2017 году, 794 выпускника - врачи Монгольского национального университета медицинских наук, "Ач" Медицинского университета, «Этугэн» университета сдали лицензионный экзамен с успеваемостью 71,1%.
По данным нашего исследования, тестовая датабаза профессиональных лицензионных экзаменов 2011-2013 гг. была неодинаковой с датабазой экзаменов 20142016 гг., поэтому результаты оценивались отдельно.
Надежность профессионального лицензионного экзамена составляет 0,96 «действительно хорошо» в 2011 году, 0,85 «хорошо» в 2012 году, 0,82 «хорошо» в
Таблица 1
Успеваемость профессиональных лицензионных экзаменов (в процентах)
Год Все экзаменуемые /число/ Успешно сдавшие /число/ Успешно сдавшие (%)
2011 402 313 77.9
2012 477 424 88.9
2013 594 436 73.4
Всего 1473 1173 80
2014 532 30 5.6
2015 689 267 38.8
2016 856 538 62.9
Всего 2077 835 36
2017 794 565 71.1
Всего 4344 2573 60
где Р„ - % правильно ответивших в верхней группе, РЕ - % правильно ответивших в нижней группе, Р - среднее арифметическое между на Р - 1.
Индекс дискриминации: положительный - когда экзаменуемый с самым высоким баллом дал более правильный ответ. чем экзаменуемый с низким баллом; отрицательный - когда экзаменуемый с низким баллом
2013 году, 0,84 в 2013 году и 0,84 в 2014 году и «хорошо» в 0,92 или «действительно хорошо» в 2016 году.
2% тестов профессиональных лицензионных экзаменов имели отрицательный индекс, 8% - индекс равный "0", и 90% - положительный индекс дискриминации. Около 10% экзаменационных тестов не могут различать уровень знаний экзаменуемых.
Таблица 2 Из тестов профес-Средний показатель надежности сиональных лицен-профессиональных лицензионных зионных экзаменов экзаменов 2011-2013 годов, 7%
были слишком сложными, 8% - сложными, 15% - средними, 46% - легкими и 25% - сверхлегкими. А насчёт экзаменов 20142016 гг., 16% тестов были очень сложными, 18% - сложными, 22% - средними, 36% - легкими и 7% - очень легкими. На тестовых экзаменах 2011-2016 гг. 11% были очень сложными, 13% - сложными, 18% -средними, 41% - легкими и 16% - слишком легкими. Приблизительно 27% тестов экзаменов на профессиональное лицензирование были разработаны недостаточно для оценки знаний экзаменуемых.
Таблица 3
Средний показатель индекса дискриминации тестов профессионального лицензионного экзамена (в процентах)
Год Отрицательный Равный"0" Положительный
2011 1 9 90
2012 6 8 86
2013 0 5 95
среднее 2 7 91
2014 5 8 87
2015 3 8 89
2016 1 9 90
среднее 3 8 89
всего 2 8 90
Надежность экзамена на профессиональное лицензирование 2017 года составляла 0,92 для Монгольского национального университета медицинских наук; 0,91 для "Ач" Медицинского университета и 0,92 для «Этугэн» Университета, т.е. для 3 школ была «действительно хорошей». В среднем 3% экзаменационных тестов являлись отрицательными, 2% - нулевыми, 95% имели положительный индекс дискриминации. Примерно 5% экзаменационных тестов не могут различать уровень знаний экзаменуемых. Слишком сложные тесты - 7%, сложные - 8%, средние - 20%, легкие - 43%, сверхлегкие - 22%.
результат анализа корреляции между результатами профессиональных лицензионных экзаменов и выпускных теоретических экзаменов
Была рассчитана корреляция между результатами выпускных теоретических экзаменов 3951 выпускников Монгольского Национального Университета Медицинских Наук, "Ач" Мед. Университета и «Этугэн» Университета с 2011 по 2016 годов и результатами экзаменов организованных Центром развития здоровья на лицензирование профессиональной деятельности 3550 врачей-выпускников по каждым годам.
Результаты экзаменов профессионального лицензирования и выпускных экзаменов имели прямую корреляцию по методу простой корреляции (р<0,001), сила корреляции была разной по годам, т.е. от слабой до средней: г = 0,3238 (2012), г = 0,4096 (2013), г = 0,4531 (2014), г = 0,4843 (2015), г = 0,5154 (2016).
Результаты оценок профессиональных лицензион-
ных экзаменов были проанализированы для всех выпускников из Монгольского национального университета медицинских наук, "Ач" Медицинского университета, «Этугэн» университета 2011-2016 годов. Тестовая датабаза для экзаменов на профессиональное лицензирование была обогащена заново в 2010 и 2014 годах, поэтому результаты экзаменов 2011-2013 гг. и 2014-2016 гг. были сравнены между собой.
Из данных нашего исследования, врачи-выпускники, успешно сдавшие выпускные теоретические экзамены, не могли показать стабильную успеваемость на профессиональных лицензионных экзаменах в 2011-2016 годах и успеваемость экзаменов была нестабильно со снижением.
Таблица 4
Степень сложности профессионального лицензионного экзамена (в процентах)
Очень Очень
год сложный сложный средний легкий легкий
30> 30-50 50-70 70-90 90<
2011 7 12 24 58 0
2012 7 6 13 39 36
2013 8 6 7 41 40
среднее 7 8 15 46 25
2014 20 24 24 23 10
2015 20 23 23 29 5
2016 8 8 20 57 7
среднее 16 18 22 36 7
всего 11 13 18 41 16
В Монголии, пороговыми баллами к лицензированию профессиональной медицинской деятельности считают 70 и более 70 баллов. В 2011-2013 годах, 80 процентов выпускников-врачей получили свои лицензии на профессиональную деятельность при первой сдаче экзаменов, однако, только 38 процентов выпускников 2014-2016 годов смогли получать лицензии при первой их сдаче экзамена, что успеваемость экзаменов значительно снизилась. В общем, в 2011-2016 годах количество выпускников, успешно сдавших экзамен при первой сдаче, составило 57 процентов.
В США и Республике Корея, в среднем 90 процентов выпускников получают лицензии на экзаменах профессиональной деятельности, что является высоким по сравнению с нашим успехом.
Успешность выпускников медицинского колледжа Швейцарского федерального государства составляет 96,8-100%, и 67,4% успеваемости у выпускников за рубежом, что оказывается тоже высоким по сравнению с нашими показателями [16].
Порог профессионального лицензионного экзамена - 70 баллов в Монголии, а в Австралии - 60 процентов [17], в Республике Корея по рекомендации Национального совета по лицензированию медицин-
Таблица 5
ских работников 60-40% (60% всех вопросов, 40%каж-дой темы), в Швеции - 65%, в США для I уровня выше 192 баллов, что является высоким по сравнению с другими странами, но принцип оценки по баллам, основанный на критериях одинаковый [18].
Экзамены для оценки должны иметь чёткие задачи и содержание. По данным 5 медицинских институтов Федеративной Республики Швейцарии, надежность тестового экзамена со многими версиями для лицензион-
Год Надежность
2011 0.96
2012 0.85
2013 0.82
Среднее 0.88
2014 0.79
2015 0.84
2016 0.92
Среднее 0.85
Всего 0.86
Результаты экзаменов лицензирования на профессиональную деятельность в 2017 году (в процентах)
Название университета Надежность экзамена Индекс дискриминации Индекс трудности
отрицательный Равный "0" положительный Оч. слож. 30> сложный 30-50 Средний 50-70 легкий 70-90 Очень легкий 90<
МНУМН 0.92 1 2 97 7 5 18 47 23
"Ач" МУ 0.91 5 4 92 9 12 23 36 20
"Этугэн" Унив 0.92 2 2 96 5 7 18 46 24
Среднее 0.92 3 2 95 7 8 20 43 22
Рис. 1. Корреляция между результатами лицензирования и выпускных экзаменов (по каждому году).
действи-
ного экзамена составляет 0,91, что является тельно хорошим" показателем [16].
По индексу дискриминации тесты экзамена с отрицательными и нулевыми индексами составляют приблизительно 10%. Отсюда, необходимо проверить, что содержание тестов выходит ли из рамки учебной программы или есть ли тут неверные ключи для проверки тестов.
В 2017 году, когда тесты экзамена, которые имели отрицательные и нулевые индексы дискриминации или считались сверхсложными, инактивировались в программе тестовой датабазы, тогда надежность тестов лицензионных экзаменов выпускников Монгольского национального университета медицинских наук, "Ач" Медицинского университета, «Этугэн» университета достигла более 0,90, т.е. была "действительно хорошей".
Знания врачей-выпускников оцениваются тестами на выпускном теоретическом и профессиональном лицензионном экзаменах, и результаты экзаменов профессионального лицензирования и выпускных экзаменов выпускников из Монгольского национального университета медицинских наук, "Ач" Медицинского университета, «Этугэн» университета имели прямую корреляцию (p<0,001), однако корреляционные силы значительно меняются каждый год.
По данным исследования Национального совета медицинских экспертов (National Board of Medical Examiners) США среди 507 медицинских студентов -
интернов (семейной медицины, внутренней медицины, хирургии, психиатрии, педиатрии, акушерства и гинекологии) 6-го (выпускного) курса, корреляция результатов между экзаменами интернатуры и 2-мя этапами экзаменов: ШМЪЕ1 - тесты на проверку знаний по фундаментальным науками ШМЪЕ 2 - тесты на проверку знаний по клиническим предметам имели прямую сильную корреляцию: между результатами экзаменов интернатуры и ШМЪЕ1 (0,69 [р<0,001]) и также сильную корреляцию между результатами экзаменов интернатуры и ШМЪЕ2 (0,77 [р<0,001]) [19]. По сравнению с нашим исследованием указанное имело сильную корреляцию, что говорит о сходстве
содержания тестов вышеупомянутых экзаменов.
Таким образом, успешность результатов экзаменов на профессиональную лицензию 2011-2016 годов врачей-выпускников Монгольского национального университета медицинских наук, "Ач" Медицинского университета, «Этугэн» университета была с сильни-ми колебаниями (5,6-88,9%). Успеваемость экзамена на профессиональную лицензию в 2017 году улучшилась до 71,1%. Средний показатель достоверности экзаменационных тестов на лицензирование профессиональной деятельности - «хороший» (0,86), отрицательный и нулевой - 10%, слишком сложный - 11% и сверхлегкий - 16%. Установлена прямая корреляция между выпускными теоретическими и профессиональными лицензионными экзаменами (г = 0,27-0,69, р<0,001).
Конфликт интересов. Авторы заявляют об отсутствии конфликта интересов.
Прозрачность исследования. Исследование не имело спонсорской поддержки. Исследователи несут полную ответственность за предоставление окончательной версии рукописи в печать.
Декларация о финансовых и иных взаимодействиях. Все авторы принимали участие в разработке концепции и дизайна исследования и в написании рукописи. Окончательная версия рукописи была одобрена всеми авторами. Авторы не получали гонорар за исследование.
Работа поступила в редакцию: 05.01.2019 г.
ЛИТЕРАТУРА
1. Swanson D.B., Roberts T.E. Trends in national licensing 2. Sullivan P. As number of medical schools surges, so does
examinations in medicine // Medical education. 2016. Vol. 50. №1. concern about quality. Can MedAssoc, 2003. P.101-114. 3. Amin Z., Burdick W.P., Supe A., Singh T. Relevance of the
Flexner Report to contemporarymedical education in South Asia // Academic Medicine. 2010. Vol. 85. №2. P.333-339.
4. Tabish S.A. Assessment methods in medical education // International journal of health sciences. 2010. Vol. 2. №2.
5. Shete A., Kausar A., Lakhkar K., Khan S. Item analysis: An evaluation of multiple choicequestions in Physiology examination // Journal of Contemporary Medical Education.2015. Vol. 3. №3. P.106.
6. Haist S.A., Butler A.P., Paniagua M.A. Testing and evaluation: the present and future of theassessment of medical professionals // Advances in physiology education. 2017. Vol. 41. №1. P.149-153.
7. Ahn D.S., Ahn S. Reconsidering the Cut Score of Korean National Medical LicensingExamination // Journal of educational evaluation for health professions. 2007. Vol. 4.
8. Лхагвасурен Ц., Сумберзул Н., Церендагва Д., Оюунго Б., Отгонбаяр Д. Медицинское образование. Уланбатор 2018. p.90. ( Монголия)
9. Cronbach L.J. Coefficient alpha and the internal structure of tests // Psychometrika.1951. Vol. 16. №3. P.297-334.
10. Оюунго Б. Методы оценки и форм медицинского образования. Уланбатор; 2017.p.22. (Монголия)
11. Оюунго Б. Некоторые аспекты развития оценки клинической компетентности студентов-медиков. Диссертация на соискание ученой степени кандидата медицинских наук.
Уланбатор 2010. P.48-51. (Монголия)
12. Сумберзул Н., Оюунбилег Ш. Медицинское образование. Уланбатор; 2001. p100-104. (Монголия)
13. DiBattista D., Kurzawa L. Examination of the Quality of Multiple-Choice Items onClassroom Tests // Canadian Journal for the Scholarship of Teaching and Learning. 2011. Vol. 2. №2. P.4.
14. Сумберзул Н. Разработка оценки знания студентов-медиков. Диссертация на соискание ученой степени кандидата медицинских наук. Уланбатор 2002. С.31-34 (Монголия)
15. Guttormsen S., Beyeler C., Bonvin R., et al. The new licencing examination for humanmedicine: from concept to implementation // Swiss medical weekly. Dec3 2013; 143: w13897. www.amc.org.au.
16. Archer J., Lynn N., Roberts M., Coombes L., Gale T., de Regand Bere S. A Systematic Review on the impact of licensing examinations for doctors in countries comparable to the UK. Final report to the GMC. Collaboration for the Advancement of Medical Education Research.Plymouth, England: Plymouth University Peninsula. 2015.
17. Zahn C.M., Saguil A., Artino A.R., Jr., et al. Correlation of National Board of MedicalExaminers scores with United States Medical Licensing Examination Step 1 And Step 2 scores // Academic medicine: journal of the Association of American Medical Colleges. 2012. Vol. 87. №10. P.1348-1354.
REFERENCES
1. Swanson D.B., Roberts T.E. Trends in national licensing examinations in medicine // Medical education. 2016. Vol. 50. №1. P.101-114.
2. Sullivan P. As number of medical schools surges, so does concern about quality. Can MedAssoc, 2003.
3. Amin Z., Burdick W.P., Supe A., Singh T. Relevance of the Flexner Report to contemporarymedical education in South Asia // Academic Medicine. 2010. Vol. 85. №2. P.333-339.
4. Tabish S.A. Assessment methods in medical education // International journal of health sciences. 2010. Vol. 2. №2.
5. Shete A., Kausar A., Lakhkar K., Khan S. Item analysis: An evaluation of multiple choicequestions in Physiology examination // Journal of Contemporary Medical Education.2015. Vol. 3. №3. P.106.
6. Haist S.A., Butler A.P., Paniagua M.A. Testing and evaluation: the present and future of theassessment of medical professionals // Advances in physiology education. 2017. Vol. 41. №1. P.149-153.
7. Ahn D.S., Ahn S. Reconsidering the Cut Score of Korean National Medical LicensingExamination // Journal of educational evaluation for health professions. 2007. Vol. 4.
8. Lkhagvasuren Ts., Sumberzul N., Tserendagva D., Oyungoo B., Otgonbayar D. Medical education. Ulaanbaatar 2018. p.90. (in Mongolian)
9. Cronbach L.J. Coefficient alpha and the internal structure of tests // Psychometrika.1951. Vol. 16. №3. P.297-334.
10. Oyungoo B. Assessment medods in medical education.
Ulaanbaatar; 2017. p22 (in Mongolian)
11. Oyungoo B. Some aspects of clinical competence evaluation development of medical students. Dissertation of PhD in medicine. Ulaanbaatar: MNUMS.2010. p48-51. (in Mongolian)
12. Sumberzul N. Oyunbileg Sh. Medical education. Ulaanbaatar: Admon; 2001. p.100-104. (in Mongolian)
13. DiBattista D., Kurzawa L. Examination of the Quality of Multiple-Choice Items onClassroom Tests // Canadian Journal for the Scholarship of Teaching and Learning. 2011. Vol. 2. №2. P.4.
14. Sumberzul N. Development of khowledge evaluation of medical students. Dissertation of Ph.D in medicine. Ulaanbaatar: MNUMS. 2003. p31-34 (in Mongolian)
15. Guttormsen S., Beyeler C., Bonvin R., et al. The new licencing examination for humanmedicine: from concept to implementation // Swiss medical weekly. Dec3 2013; 143: w13897. www.amc.org.au.
16. Archer J., Lynn N., Roberts M., Coombes L., Gale T., de Regand Bere S. A Systematic Review on the impact of licensing examinations for doctors in countries comparable to the UK. Final report to the GMC. Collaboration for the Advancement of Medical Education Research.Plymouth, England: Plymouth University Peninsula. 2015.
17. Zahn C.M., Saguil A., Artino A.R., Jr., et al. Correlation of National Board of MedicalExaminers scores with United States Medical Licensing Examination Step 1 And Step 2 scores // Academic medicine: journal of the Association of American Medical Colleges. 2012. Vol. 87. №10. P.1348-1354.
Информация об авторах:
Алима Гомбо - к.м.н., специалист Центра последипломного образования, Монгольский национальный университет медицинских наук (тел. +976(11)32-11-94; e-mail: alimaa@mnums.edu. мн), Дондогма Демчиг - к.м.н., специалист, Центр развития здоровъя, Министерство здравохранения Монголии (тел. +976 (11) 70-11-08-93; e-mail: dondogoo_suld@yahoo.com), Оюунго Бадамдорж - д.м.н., профессор, директор отдела образовательной политики и управления. Монгольский национальный университет медицинских наук. Монголии, Сумберзул Нямжав - д.м.н., профессор, проекторпо вопросам учебного заведения. Монгольский национальный университет медицинских наук. Монголии.
Information About the Authors:
Alimaa Gomboo - Ph.D, Officer, Center for Postgraduate education, Mongolian National University of Medical Sciences (tel. +976 (11) 32-11-94; cellphone. 91990155; e-mail: alimaa@mnums.edu.mn), Dondogmaa Demchig - Officer, Center for Health
development, Ministry of Health. Mongolia (tel. +976 (11) 70-11-94; cellphone; 91924554; e-mail: dondogoo_suld@yahoo.com(, Oyungoо Badamdorj - Ph.D, Professor, Director of Division for Educational policy and management. National University of Medical Sciences.Mongolia, Sumberzul Nyamjav. Ph.D, Professor, vice president of National University of Medical Sciences. Mongolia.
