CC BY
42
вательными технологиями в системе менеджмента качества вуза // Университетское управление: практика и анализ. — 2009. — № 2. — С. 23-28.
3. Национальный стандарт Российской Федерации. ГОСТ Р ИСО 9001-2008. Системы менеджмента каче-
ства. Требования. — М.: Стандартинформ, 2008. — 65 с.
4. Сёмкин Б.В., Свит Т.Ф., Щербаков Н.П. Система менеджмента качества образования и управление подготовкой специалистов // Высш. образование в России. — 2009. — № 4. — С. 58-64.
Информация об авторах: 660022, Красноярск, ул. Партизана Железняка, 1, тел. (3912) 2201395, е-тай: геЙ:огКСМи@гатЫег.ги_профессор, тел. (3912) 2200914, е-тай: [email protected],
тел. (3912) 2280867, е-тай: [email protected] Артюхов Иван Павлович — ректор, д.м.н., профессор;
Никулина Светлана Юрьевна — проректор по учебной работе, д.м.н.;
Тимошенко Виктор Николаевич — к.м.н., доцент, начальник отдела управления качеством подготовки специалистов.
© ОЮУНГОО Б., ЦЭРЭНДАГВА Д., СОЛОНГО Б., СУМБЭРЗУЛ Н., ЛХАГВАСУРЭН Ц. — 2010
ФОРМАТИВНАЯ ОЦЕНКА КЛИНИЧЕСКИХ НАВЫКОВ СТУДЕНТОВ В OSCE
Б. Оюунгоо, Д. Цэрэндагва, Б. Солонго, Н. Сумбэрзул, Ц. Лхагвасурэн (Монгольский государственный медицинский университет)
Резюме. Целью исследования является изучение некоторых факторов, которые способствуют результатам экзаменов по проверке клинических навыков. В данном исследовании был использован мгновенный дискриптивный метод. Надежность экзаменов OSCE составляет (КР 20=0,45) степень трудности выше D=87,4, что дает возможность оценить уровень знаний и умений студентов. Оценки по клиническим навыкам студентов V курса медицинского факультета (надежность, дифференциальный индекс и степень трудности) были (p<0,05) по нашему мнению, удовлетворены требованиям, предъявляемым к студентам.
Ключевые слова: формативные оценки, Кудер Ричардсон-20, дифференциальный индекс, степень трудности, метод Хофстеена.
FORMATIVE ASSESSMENT OF OSCE
B. Oyungoo, D. Tserendagva, B. Solongo, N. Sumberzul, Ts. Lkhagvasuren (Health Sciences University of Mongolia)
Summary. Purpose of the study: To study some factors which influence to the OSCE quality and design of the study: Cross — sectional descriptive study. Some clinical cases of OSCE are could not assess virtually (Dl=0), difficulty factor was easy (D=91.67-100), 80% of clinical cases which was given at the examination meets the requirement and reliability of OSCE is KR=0,45-0,48, tasks of the stations are discriminate student’s clinical competence well (DI=0,37). Reliability of OSCE examination is KR20=0,45, difficulty factor is D=87.4 and level of clinical competence of all the students of the 5th course of the medical students are sufficient.
Key words: Formative assessment, Kuder-Richardson-20, Discrimination index, Difficulty factor, Hoffsten method.
Одним из больших успехов в области медицинского образования является внедрение клинических экзаменов, проверяюших навыки студентов. Эта форма проверки была внедрена в учебную практику Харденом, Глейсоном (Harden, Gleeson1975), что имеет преимущество перед другими формами оценок[4]. Монгольский государственный медицинский университет проводит проверку навыков студентов клиническим экзаменом с запланированной целью (OSCE) [1]. Данный экзамен (OSCE) осуществляется путем проверки клинических навыков студентов. До настоящего времени не было формативных оценок в экзаменах OSCE, которые дает возможность многосторонне оценить педагогическую деятельность преподавателей, учебную деятельность студентов, и возможность использования обратной связи[6]. Исходя из этого мы пришли к выводу, что необходимо перепроверять результаты экзаменов OSCE. Целью нашего исследования является изучение некоторых факторов, которые влияют на результаты экзаменов по проверке клинических навыков.
Задачи исследовательской работы:
1.Определение надежности экзаменов OSCE 2. Определение степени трудности и дифференциальных индексов экзаменов OSCE
З.Определение надежности клинических случаев которые даются на экзаменах OSCE, степень их трудности.
Материалы и методы
В данном исследовании использовался мгновенный дискриптивный метод. При обработке данных при-
менены метод Кудера-Ричардсона 20 для определения надежности экзаменов OSCE, определены дифференциальные индексы и степени трудности, пороговые баллы установлены методом Хофстеена[2]. Данные исследования мы обработали с помощью программного комплекса Microsoft 0ffice-2007 и статистической программы SPSS-11,0, Значимы различия при р<0,05.
Таблица 1
Надежность экзаменов OSCE и каждого этапа экзамена
Пороговые Баллы (PO) Надежности экзамена Этап сбора анамнеза Этап объективного обследования Этап рекомендации и к и т с о н лз и д п а т Э Этап оказания акушерской и гинекологической помощи Этап хирургического вмешательства и неотложной помощи
60 0,45 0,4 0,35*+ 0,43 0,41 0,4 0,32*+
65 0,53 0,39* 0,35** * 0 0,44* 0,35** 0,33**
70 0,48 0,44 0,39* 0,42 0,49 0,41 0,35*
Примечание: *(р<0,05), **-р<0,01) -надежность экзамена сравнена с надежностью каждого этапа экзамена, + (р<0,05) — надежность из каждого этапа экзамена при Р0=60 была сравнена с Р0=65 и 70
Результаты и обсуждение
Определение надежности экзамена OSCE и каждого этапа экзамена, степени трудности, дифференциального индекса.
Надежность экзаменов OSCE были определены при помощи формулы Кудера— Ричардсона (КР-20), при пороговых баллах P0=60; 65; 70 (табл. 1).
Из результатов исследования видно, что при пороговых баллах Р0=65 коэффициент надежности экзамена был высоким КР20=0,53, а при Р0=60 он составил КР20=0,45, низкий коэффициент (КР20=0,48) может быть связан с малым количеством этапов экзамена. При пороговых баллах (Р0=60; 65; 70) влияние на коэффициент надёжности экзамена не было подтверждено путем проверки достоверными критериями.
При учете влияния каждого этапа на надежность экзамена, наблюдалось снижение коэффициента надежности всех этапов при пороговых баллов студентов P0=60, Из них объективное обследование составило (р<0,05), хирургия, травматология и неотложная помощь (p=0,05), в результате чего коэффициент надежности экзамена статистически достоверно снижается.
Однако сокращение количества этапов при пороговых баллах РО=65 способствует достоверному снижению коэффициента надежности (p<0,05, р<0,001), что свидетельствует о влияниях всех этапов экзамена на коэффициент надежности.
При пороговых баллах РО=70 только этапы объективного обследования (p<0,05), хирургии, травматологии, и неотложной помощи достоверно снижают коэффициент надежности экзамена и имеют влияние на качество экзамена.
Отсюда видно, что только при пороговых баллах PO=65 влияние каждого этапа экзамена на оценки студентов имеет реальное значение.
Степень трудности (D) каждого этапа экзамена определена при пороговых баллах PO=60 и PO=65, однако только степень трудности объективного осмотра соответствует знаниям студентов этого курса, а степень сбора анамнеза (D=87,0; 76,0), рекомендации (D=82,0;74,0), и степень оказания акушерско-гинекологической помощи (85,0;74,0) не вызвала затруднений (табл. 2).
Таблица 2
Степень трудности каждого этапа экзамена OSCE
Пороговые Баллы (PO) Этап сбора анамнеза ог § § ¡S б ел о 5 п б ао т Э Этап рекомендации и к и т с о нг лз и д п а т Э о к и ро ек с ÜgEÍ ссоо ноо акп зе ан S E пи а т Э Этап хирургического вмешательства и неотложной помощи
60 87,0* 66,0 82,0* 73,0 85,0* 75,0
65 76,0* 63,0 74,0* 66,0 74,0*+ 66,0
70 71,0* 54,0 66,0+ 55,0+ 60,0+ 61,0
Примечания: * — (р< 0,05) сравнительный показатель этапа объективного обследования с другими этапами , +— (р < 0,05) — РО = 60 сравнивается со степенью трудности каждого этапа при РО = 65 и 70 .
Исследование показывает, что при пороговых баллах Р0=70 степени трудности всех этапов являются соответсвующими ^=54,0-66,0), кроме этапа сбора информации ^=71,0).
Дифференциальный индекс ф1) каждого этапа экзамена при пороговых баллах РО = 65, 65 и 70 показан на таблице 3.
По мере повышения пороговых баллов студентов увеличивается дифференциальный индекс этапов экза-
Таблица 3
Дифференциальный индекс каждого этапа экзамена OSCE
Пороговые Баллы (PO) Этап сбора анамнеза Этап объективного обследования Этап рекомендации и к и т с о н лз и д п а т Э Этап оказания акушерской и гинекологической помощи Этап хирургического вмешательства и неотложной помощи
60 0,39 0,53 0,87 0,61 0,42 0,58
65 0,57 0,77 0,59 0,72 0,6 0,72
70 0,63 0,92 0,71 0,91 0,81 0,79
мена. Видно, что дифференциальный индекс этапа сбора анамнеза (DI = 0,39), и оказания акушерской помощи (DI = 0,42) сравнительно ниже чем у других этапов при условии PO = 60, Дифференциальный индекс этапа объективного обследования и этапа диагностики при пороговых баллах (PO = 70) может увеличится до D1 = 0,92 и D1 = 0,91.
Анализ надёжности клинических случаев, степени трудности и дифференциального индекса
В исследовании этапов экзаменов (OSCE) имели место 60 клинических случаев, поэтому был определён коэффициент надежности каждого случая по вышеи-спользованному методу, по результатам которого 12 случаев не удовлетворяли предъявляемым требованиям и не влияют на показатели надежности этапов экзамена. Если рассмотреть клинические случаи по этапам экзаменов, то на этапах сбора анамнеза и рекомендации 4 клинических случая не соответствуют требованиям, по другим этапам не соответствует по одному случаю. Результаты исследования по степени трудности каждого клинического случая которые были даны в качестве задания на экзамене показывает, что степень трудности 31.6% случаях была не сложной (D=0,91-1,0), в 3,3% была сложной (D=0,30-0,35). Если рассмотреть клинические случаи по каждому этапу экзамена, то на этапе диагностики 5 (50%) задания были не сложными, 2 задания — сложными, на этапе сбора анамнеза и рекомендации по 4 (40) задания, на этапе оказания акушерстко-гинекологической помощи — 3(30%) задания, на этапе хирургии и оказания неотложной помощи-2(20%) задания, на этапе объективного осмотра — 1(10%) задания были не сложными.
Таким образом, надёжность экзамена OSCE на среднем (КР20=0,45) уровне, степень трудности высокой (0=87,4), что соответствует объективным оценкам клинических навыков студентов. 20% клинических случаев использованных в качестве задания на экзаменах не удовлетворяли требованиям, 31,6% были легкими (D=0,91-1,0), 3,3% — тяжелыми. Проведение формативных оценок после экзамена OSCE является одной из неотложных задач учебной части Монгольского государственного медицинского университета.
ЛИТЕРАТУРА
1. Амарсайхан Д., Алтанцэцэг Т. Клинический экзамен с запланированной целью. — Улаанбаатар, 2002. — C. 48-56.
2. Сумбэрзул Н., Оюунбилэг Ш. Медицинское образование. — Улаанбаатар, 2001. — C. 72-73.
3. ЦэрэндагваД., Нарантуяа Д., Найдансурэн Ц. Руководство по клиническому обучению. — Улаанбаатар, 2003. — 128 с.
4. Dent J.G., Harden R.M. A practical guide for Medical teachers. — Second edition. — Elsevier, 2005. — P. 325-334
5. Dornan T., O’Neill P. Core clinical skills for OSCEs in Medicine. — Churchill Livingstone, 2006. — 238 p.
6. Zubair Amin, Chon Yap Seng, Khoo Hoon Eng, Practical guide to Medical Student assessment. — World Scientific, 2006. — P. 58-64.
Информация об авторах:
