CC BY
50
УКРДШСЬКИК СТОМЛТОЛОПЧНИЙ ГЛЬМАШ 2008, №3
УДК: 378.147-263:61
МЕТОДОЛОГИЯ ОЦЕНКИ КАЧЕСТВА ДИСТРАКТОРОВ
ТЕСТОВЫХ ЗАДАНИЙ
Сообщение 2
Донецкий национальный
медицинский университет
им М. Г?рького
Славянский-на-Кубани
государственный
педагогический
институт
В.Н. Казаков, А.Н. Талалаенко, Т.С. Анисимова, А.А. Маслак, А.А. Удод, М.Б. Первак, Л.И. Косарева
В рамках договора о сотрудничестве специалисты отраслевой научно-методической лаборатории по вопросам додипломной подготовки врачей МЗО Украины на базе Донецкого национального медицинского университета им. М. Горького и лаборатории объективных измерений Славянского-на-Кубани государственного педагогического института изучили качество тестовых заданий одного из буклетов для лицензионного экзамена. Результаты психометрического анализа набора тестовых заданий по 6 аспектам приведены нами в предыдущих публикациях [1,2]. В данном исследовании изучено качество диет ракторов тестовых заданий. Сообщение 1 было посвящено математическому анализу ряда тестовых заданий с корректно работающими дистракторами. В настоящем сообщении приведен математический и дидактический анализ тестовых заданий с некорректно работающими дистракторами.
Материал и методы исследования
Материалом исследования служили бланки ответов на 200 тестовых заданий «Сборника тестовых заданий лицензионного экзамена «Крок 2. Стоматогопя» 2005 года 106 студентов 5 курса стоматологического факультета ДонНМУ.
Тестирование проводилось в весеннем семестре 2005-200Н учебного года с целью рубежного контроля знаний выпускников, выявления «слабых мест» в обучении и внесения соответствующих корректив в педагогический процесс в оставшееся до лицензионного экзамена время.
Анализ качества тестовых заданий мы проводили в рамках парадигмы измерения уровня знаний студентов и уровня сложности заданий на од» >й и той же линейной интервальной шкале. В качестве программного средства использовалась диалоговая система измерений латентных переменных RUMM (Rasch Uriidemensional Measurement Models-модель Раша), разработанная под руководством проф
Д.Эндрича [3]. Всех студентов по полученным оценкам уровней знаний (на основе модели Раша) делили на три группы: с низким, средним и высоким уровнями знаний. Далее для каждой группы вычисляли среднее значение и на основе критерия Хи-квадрат определяли степень близости трех этих экспериментальных точек характеристической кривой.
Рисунки с характеристическими кривыми (ICC) имеют следующую структуру По оси абсцисс отложены значения уровня знаний по учетному предмету в логитах - Person Location (logits). По оси ординат откладывается вероятность ожидаемого ответа (Probabiliti), которая варьирует от 0 до 1.
В верхней части рисунков расположена следующая информация*
- код тестового задания (I000);
- название тестового задания (здесь названия заданий выбраны по умолчанию, в данных случаях -это Discriptorfor Item);
- мера сложности задания (Loen);
- суммарное отклонение ответов индивидов на данное задание от ожидаемых на основе модели Раша (FitRes),
- степень соответствия данных модели Раша (ChiSa [Рг]);
- объем выборки испытуемых (Sample N).
Результаты исследования и их обсуждение
Задания с некорректно работающими дистракторами.
Тестовое задание № 24.
Условие задания. Мужчина 20 лет получил удар в область подбородка. Сознания не терял. Общее состояние удовлетворительное. При осмотре: отек и гематома в области нижней челюсти с обеих сторон.
Челюсть при пальпации резко болезненная. Открывание рта ограничено. Разрыв слизистой оболочки полости рта в области 44,43 и 34,35 зубов. Прикус нарушен.
Вопрос: какой тип асфиксии может развиться у данного больного?
Варианты ответа:
A. Обтурационная
B.Дислокационная
C.Аспирационная
Д. Стенотическая
Е.Клапанная
ШШЬШ СГОМДШИПЧНМЙ ШМАШ i СОВ, №3
10024 De„cri.jtof fa Item J4 Locn ' 0,478
1.0-r
F*Rm - 0.248 CI<S(JPr] - 0.824 SampleN - 10Б
P i
0 b а b
1 I i t У
ICC
0 1 Person Location (logtt)
A . С. E
~ - Coiled arvswei
Рис. 1. Поведение дистракторов тестового задания № 24
Из рисунка 1 видно, что вероятность выбора правильного варианта ответа (В) возрастает с повышением уровня знаний студентов, причем возрастает в соответстьии с моделью измерения -вероятность выбора правильного ответа близка к характеристической кривой (ICC). Вероятность выбора неправильных вариантов ответов А и Е очень высока у студентов с низким уровнем знаний и стремится (А) или равна (Е) нулю у студентов с высоким уровнем знаний. Вероятность выбора неправильного варианта ответа С очень высока у студентов со средним уровнем знаний и стремится к нулю у студентов с высоким уровнем знаний. Вероятность выбора неправильного варианта ответа Д увеличивается для студентов с высоким уровнем знаний.
Тестовое задание нуждалось в пересмотре и выяснении причины, почему вероятность выбора неправильного варианта ответа Д увеличивается для студентов с высоким уровнем знаний. При анализе набора дистракторов в этом тестовом задании было
установлено, что все они с профессиональной точки зрения соответствуют условию задания, поставленному вопросу, являются гомогенными и достаточно корректными. Причину такой ситуации, очевидно, следует отнести к дефекту обучения. Сильные студенты слабо дифференцируют дислокационную и стенотическую асфиксии, плохо представляют механизм их возникновения, а слабые студенты, скорее всего, вообще не знают, что такое «стенотическая асфиксия», поэтому этот вариант ответа и не выбирают. Необходимо внести коррективы в обучение при разборе данной темы с акцентом на механизмы возникновения различных видов асфиксии.
Тестовое задание №15''
Условие задания. Больной 35 лет обратился с жалобами на наличие припухлости в области нижней челюсти, подвижности зубов, боль, которая беспокоит преимущественно по ночам. Припухлость заметил 2 месяца назад, неделю назад появилось онемение нижней губы. Объективно: опухоль
10151 Descriptor fwHem 151 Locn- 1 *Q2 FitRer --0.389 ChiSq[Pr] - 0.954 SampleN-106
Рис. 2. Поведение дистракторов тестового задания № 151
VKYlHCt Ш СТОМДТОЛШЧНИЙ АЛЬМАНАХ 2008, N&3
неподвижная, плотной консистенции, слизистая оболочка над ней бледная. На рентгенограмме: видны участки уплотнения кости с нечеткими границами и наличие костных игл, расположенных перпендикулярно к поверхности челюсти.
Вопрос: о каком заболевании можно думать?
Варианты ответа:
A. Обо зтрение хронического остеомиелита
B. Рак нижней челюсти
C. Саркома нижней челюсти
Д. Ост(юбластокластома
Е. Амелобластома
Из рисунка 2 видно, что вероятность выбора правильного варианта ответа С возрастает с повышением уровня знаний студентов, причем возрастает в соответствии с моделью измерений. Вероятность выбора правильного ответа близка к характеристической кривой (ICC). Вероятность выбора неправильных вариантов ответов А и В очень высока у студентов с низким уровнем знаний и стремится к нулю у студентов с высоким уровнем знаний.
Вероятность выбора неправильного варианта ответа Д очень высока у студентов с низким уровнем знаний (намного больше, чем предполагается по модели измерения) и уменьшается у студентов с высоким уровнем знаний. Вероятность выбора неправильного варианта ответа Е плавно возрастает с повышением уровня знаний студентов.
Особенность поведения дистракторов данного тестового задания состоит в гом, что вероятность выбора неправильного варианта ответа Е возрастает с повышением уровня знаний студентов. Такое тестовое задание также нуждалось в пересмотре и выяснении причины неадекватного уровню знаний выбора дистрактора Е. При анализе набора дистракторов данного тестового задания было установлено, что все они с профессиональной точки зрения соответствуют условию задания, поставленному вогоосу, являются гомогенными и достаточно
корректными. Однако в варианте Е использовано старое редко употребляемое в настоящее время название этого заболевания - амелобластома вместо общепринятого сегодня - адамантинома, что, по-видимому, и послужило причиной того, что сильные студенты могли выбирать такой вариант ответа. Скорее всего, слабые студенты вообще не слышали такое название и поэтому его не выбирали. Вполне очевидно, что в данном тестовом задании следует заменить старое название на новое. Что касается дистрактора Д (остеобластокластома нижней челюсти), то следует отметить, что ее клинико-рентгенологическая картина очень близка к картине саркомы нижней челюсти (правильный ваоиант ответа С), и для того, чтобы отдифференцировать эти два заболевания, студент должен иметь достаточно глубокие знания по хирургической стоматологии. Это и послужило причиной того, что вероятность выбора дистрактора Д оказалась намного выше у студентов с низким уровнем знаний, чем предполагалось по модели.
Тестовое задание № 200.
Условие задания. К ортодонту обратился юноша 17 лет с жалобами на неправильное расположение клыка на верхней челюсти. Объективно: прикус постоянных зубов, соотношение первых постоянных моляров по Энглю - I класс, 13 расположен вестибулярно выше окклюзионной линии, промежуток между 14 и 12 - 6,5 мм.
Вопрос: какой период ортодонтического лечения позволит сократить использование ультраионо-фореза с лидазой?
Варианты ответа:
A. Подготовительный период
B. -
C. Пассивный период
Д. Ретенционный период
Е. Активный период
Из рисунка 3 видно, что вероятность выбора правильного варианта ответа (Е) возрастает с
I0200 Descriptor fot Kern 200 Locn- 0.821 FitRes - 0.Б63 ChiSqfPr] - 0.215 SampteN-106
Рис. 3. Поведч 1ие дистракторов тестового задания № 200
УКРДПГСЫШК СШШ ОПРИЧНИК MlbMMIAK 2008, ы
повышением уровня знаний студентов, причем возрастает в соответствии с моделью измерения -вероятность выбора правильного ответа близка к характеристической кривой (ICC). Вероятность выбора неправильных вариантов ответов В. С, Д высока у студентов с низким уровнем знаний и стремится к нулю у студентов с высоким уровнем знаний. Вероятность выбора неправильного варианта ответа А одинакова для студентов с низким и средним уровнями знаний и возрастает с повышением уровня знаний студентов. Такое задание также нуждается в пересмотре и корректировке набора дистракторов.
При анализе набора дистракторов данного тестового задания было установлено, что все они с профессиональной точки зрения соответствуют удачно составленному условию задания, являются гомогенными и достаточно корректными. Однако вопрос в задании сформулирован некорректно, нечетко, запутанно. Непонятно, что хотел узнать автор тестового задания. Если, в какой период ортодонтического лечения назначается ультраионо-форез с лидазой, то тогда правильным будет ответ А (подготовительный период). И, кстати, такой вопрос был бы более интересен и корректен. Но если автор хотел выяснить, какой период лечения при этом сокращается, то тогда правильным будет ответ Е. Таким образом, неправильно сформулированный вопрос в тестовом задании привел к тому, что часть студентов с высоким уровнем знаний, пытаясь разобраться и не поняв cyTD вопроса, выбрали неправильный ответ А. Перед студентами с низким уровнем знаний, скорее всего, такой проблемы не было, и они пропорционально выбирали все возможные варианты ответов.
Заключение
Анализ дистракторов тестовых заданий в парадигме измерения латентных переменных позволил дать глубокую оценку их качества и получить важную информацию для их коррекции. Наличие в Национальном банке тестовых заданий с неэффективными дистракторами позволяет предположить целесообразность проведения, согласно указанной модели, психометрического анализа лаждого экзаменационного буклета после получения результатов тестирования.
Литература
1. Казаков В.Н., Талалаенко А.Н., Анисимова Т.С. и др. Новые подходы к оценке тестовых заданий как инструмента измерения качества подготовки врачей // Украшський стоматолопчний альманах,-Полтава, 2006. -№6. - С. 65-71.
2. Казаков В.Н., Талалаенко А.Н., Первак М.Б. и др. Анализ качества тестовых заданий по стоматологии // Вестник СГПИ, 2007. - №1. - С. 119148.
3. Getting Started RUMM 2010. Rasch Unidimensional Measurement Models-- Pert RUMM Laboratory Ltd, 2001.- 87 p.
Резюме
У статп наведен! результати аналюу якосл дистракторщ окремих тестових завдань одного з буклелв лщензмного ¡спиту "Крок 2. Стоматолопя", який був проведений фахтцями Донецького нацюнального медичного ужверситету (УкраТна) та Слов'янського-на-Кубаы державного педагопчного ¡нституту (Рост) Отримана ¡нформац1я може бути використана для корекцн тестових завдань лщензмного буклету та оптимюацм процесу навчання майбутн1х лкар1в-стоматолопв. Доведена доцть-HicTb проведения психометричного анал1зу екзамена-щйного буклету теля отримання результата тестування.
Ключов1 слова ямсть пщготовки niKapie, оцЫка якосл дистрактор1в тестових завдань.
Summary
The results of mathematical analysis of the quality of the destructors of seoarate test tasks of one of the booklets of the licensed examination "Krok 2. Stomatology", which was done by the specialists of Donetsk national medical university named after M. Gorky (Ukraine) and Slavjanskiy-na-Kubani state pedagogical university (Russia) are given in the article. Received information may be used for the optimization of the training of future dentists and test tasks correction. Sense of implementing of psychometric analysis of the examination booklet after getting results is proved as well.
Key wcrds: quality of doctors' training, evaluation of test destructors quality.
Стаття над1йшла 7.04.2008 p.
