CC BY
99
С.А. КРАСНОВА
С.ЖАсфендияров атындагы цазацулттыцмедицинауниверситетi №1 шк аурулар кафедрасы
СТУДЕНТЩ ДЕРБЕС Ж¥МЫСЫ ПРИ НЕСИЕ ТЭЛ1М-ТЭРБИЕДЕ 4 КУРСТЬЩ, БАКАЛАВРИАТЕ СТУДЕНТТЕР1НЕ ША МАМАНДЫККА "ОРТАК МЕДИЦИНА" ША ТЭРТ1ПКЕ "1ШК1 КЫВДЫЛ-СЫНКЫЛДАР" №1 1ШК1 АУРУЛАР
КАФЕДРАСЫНДА
ТYЙiн: Краснованын, С.А айтылмыш макаласында.несие тэлiм-тэрбиенiн, (СРСП жэне СРС) крлданысынын, тэжiрибесi №1 шю аурулар кафедрасында при кэсштщ жасаша тэртiпке "шю кын,кыл-сын,к;ылдар"(кредиттер "кардиология", "гастроэнтерология", "гематология") 4 курстын, студенттерiмен ша мамандыкка "ортак медицина" суретте-. Тэжiрибе кeргiздi, не кауын кию оку YДерiсте студенттщ дербестiгiн тэлiм-тэрбиеде жогарылатады, курулы сурактын, дурыс тынымынын, iзденiсiнде eздiгiнен-eзi немесе педагогтын, кадагалауынын, астында. ТYЙiндi сездер: несие тэлiм-тэрбие, оку YДерiс, практикалык кэсiптер, СРСП, СРС, бшмнщ тексерюшщ.
S.A. KRASNOVA
Kazakh National medical University. S.D..Ac$eHdunpoea, Department of internal diseases №1
INDEPENDENT WORK OF STUDENTS UNDER A CREDIT TRAINING FOR THE "INTERNAL DISEASES" DISCIPLINE Resume: This article describes the experience of using credit courses (SRSP and CDS) in the department of internal diseases №1 in conducting studies on the subject "Internal Medicine" (loans "Cardiology", "Gastroenterology", "Hematology") with students of the 4th year in "total medicine. "Experience has shown that the method of melon in the learning process increases the autonomy of students in learning, to find the right solutions to the questions on their own or under the supervision of a teacher.
Keywords: credit training, the learning process, practical training, SRSP, CDS, knowledge control.
УДК 614.2
Г.М. КУРМАНОВА, Ш.С. САДЫКОВА Казахский Национальный медицинский университет им. С.Д. Асфендиярова. Кафедра интерантуры и резидентуры по терапии №1
ОСНОВНЫЕ ОШИБКИ ПРИ СОСТАВЛЕНИИ ТЕСТОВЫХ ЗАДАНИЙ ДЛЯ ИНТЕРНОВ
Новый формат учебного процесса по ГОСО-2006 требует полного обновления базы контрольно-измерительных средств, а именно разработки большой базы тестов в формате MSQ А-типа для проведения разных уровней контроля - текущего, рубежного, итогового. На основании анализа нескольких баз тестовых заданий общим объемом 3376 тестов выявлены основные ошибки при их составлении. Освящены ошибки по содержанию тестовых заданий, ошибки по структуре и форме, а также ошибки формулирования тестовых заданий.
Ключевые слова: обучение в интернатуре, тестовые задания MSQ, ошибки при составлении тестовых заданий.
В текущем учебном году кафедры интернатуры КазНМУ готовят первый выпуск интернов, занимающихся по ГОСО-2006. Новый формат учебного процесса и новые Типовые учебные программы (ТУП) требует полного обновления базы контрольно-измерительных средств, а именно тестовых заданий для рубежного контроля и для Итоговой аттестации.
Следует отметить, что для проведения независимой оценки знаний интернов в форме тестирования Республиканский центр оценки знаний и навыков (РЦОЗН) рекомендует и использует тесты в формате MSQ А-типа. База тестовых заданий формируется из тестов, подготовленных кафедрами всех 7 медицинских вузов РК, занимающихся подготовкой интернов.
Тест MSQ А-типа для клинических дисциплин - это тест, основанный на клинической ситуации, требующей принятия решения с одним наилучшим правильным ответом (выбор 1 ответа из 5 предложенных).
Первый опыт совместной работы кафедр, обучающих интернов 6-7 курса, при создании базы тестовых
заданий для рубежных контролей и для итоговой аттестации выявил многочисленные ошибки при составлении тестовых заданий MSQ А-типа. Был проведен анализ ошибок при составлении тестовых заданий по нескольким базам тестов по направлению подготовки «Внутренние болезни» (тесты кафедр КазНМУ по дисциплинам - терапия, клиническая лабораторная диагностика, клиническая фармакология, реанимация и анестезиология, неврология, психиатрия и наркология, фтизиатрия, инфекционные болезни), а также базы тестов по дисциплинам терапия и клиническая лабораторная диагностика, подготовленными соотвествующими кафедрами вузов РК (6 вузов).
Общий объем проанализированных тестов составил (по КазНМУ): терапия (включая нефрологию и ревматологию) - 1074, клиническая лабораторная диагностика - 180, клиническая фармакология - 180, реанимация и анестезиология - 60, неврология - 180, психиатрия и наркология -130, фтизиатрия - 180, инфекционные болезни - 180. Итого 2164. Общий объем пронализированных тестов по 6 вузам РК -
1212 тестов. Весь объем тестов, включенных в анализ - 3376.
Среди выявленных можно выделить три группы ошибок:
Ошибки содержания условий тестового задания Ошибки в содержании тестового задания по форме и структуре
Ошибки в формулировке вопроса и вариантов ответа
(дистракторы и правильный ответ).
Ошибки по содержанию условий тестовых заданий.
1. Первое требование к тесту для клинических дисциплин, что содержание тестовых заданий должно быть направлено на оценку знаний по содержанию дисциплины: другими словами тематика тестов должна соотвествовать темам и содержанию ТУП. При составлении тестовых заданий часто не соблюдалась процентное соотношение тестов темам ТУП и их содержанию (слишком много тестов по одним темам, слишком мало или вообще нет тестов по другим).
Например: по циклу гастроэнтерология удельный вес тестов по таким темам как вирусные гепатиты (особенно диагностика, противовирусная терапия, системные проявления), цирроз печени и осложнения цирроза печени, неотложные состояния у больных циррозом печени, гестационная патология печени был очень мал. В отдельных базах тестов (не КазНМУ) эти вопросы оказались не освящены вообще. По циклу гематология - следует отметить преобладание тестов по приобретенным анемиям в ущерб вопросам по врожденным анемиям, лейкозам, ДВС-синдрому и другим коагулопатиям. По циклу пульмонологии -недостаточное количество тестов по диссеминированным заболеваниям легких, практически отсутствовали тесты по пневмомикозам. По дисциплине клиническая лабораторная диагностика - ничтожно число тестов по ИФА диагностике терапевтических и инфекционных заболеваний (не только на определение антител к инфекционным агентам, но и аутоантител), практически нет тестов, позволяющих оценить знания экзаменуемого по выбору наиболее достоверного метода лабораторного обследования (сравнения диагностической ценности разных методов), очень мало тестов на ошибки лабораторной диагностики (например, ошибки при заборе материала, правила хранения и транспортировки и т.п.), практически отсутствуют тесты на алгоритм обследования пациента.
2. Несоотвествие уровня сложности теста и уровня компетентности по теме ТУП (простые вопросы первого уровня по часто встречающейся патологии с уровнем компетентности «диагностировать и лечить», сложные вопросы третьего уровня по теме с уровнем компетентности «иметь представление»). Рассмотрим на примере цикла гастроэнтерология: очевидно, что по наиболее распространенной патологии в практике врача-терапевта Н.ру1огу-ассоциированной патологии тесты должны быть преимущественно 3 уровня (применение). Напротив, по такой теме как аутоиммунные заболевания печени достаточно теста первого-второго уровня.
Тем более, что тест 3 по такой теме очень сложно сделать коротким (чтобы экзаменуемый уложился в отведенные 1,5 мин на ответ). Такая патология как аутоиммунный гепатит является диагнозом исключения, для подозрения на АИГ необходимо исключить вирусную, токсическую и наследственную
патологию печени. Для ясной и однозначной формулировки условия необходимо будет отразить не менее 7-8 клинических критериев, чтобы можно было ответить на вводный вопрос «какой наиболее вероятный диагноз?» или «какая лечебная тактика наиболее предпочтительна?». Чтобы соблюсти правило хорошего теста - «тест составлен так, что можно ответить на поставленный вопрос не видя вариантов ответа» - условие теста придется делать слишком длинным.
Соблюдение пропорции тестов по смежным профилирующим дисциплинам, входящим в модуль (превалирование тестов по внутренним болезням в ущерб частным вопросам клинической фармакологии, визуальной диагностики,
клинической лабораторной диагностики в рамках модуля).
На самом деле эта проблема связана с тем, что в проанализированных базах тестов превалировали тесты 1 уровня (от 24% до 58% от всех тестов в базе по отдельной дисциплине или модулю). Действительно, тест, основанных на клинической ситуации (2 и 3 уровня), непременно будет отвечать требованию накопительный (т.е. позволяет оценить применение знаний по нескольким связанным темам) и интегрированный - позволяет оценить применение знаний по нескольким дисциплинам одновременно. Применительно к терапии в таком тесте можно оценить знания экзаменуемого одновременно по терапии, клинической лабораторной и/или визуальной диагностике и/или клинической фармакологии. Если тест основан на клинической ситуации, требующей неотложных мероприятий - то он позволит оценить и знания по неотложной помощи.
Практически, банк тестовых заданий 2-3 уровня можно лишь условно разделить по отдельным дисциплинам, входящим в модуль. В реальности в рамках одного модуля нецелесообразно выделять тесты по одной дисциплине - хорошо составленных тест на понимание и применение непременно будет междисциплинарным.
Междисциплинарная интерграция (смежные непрофилирующие дисциплины) - при составлении тестов мало внимания уделяется проблемам дифференциальной диагностики. Например, суставной синдром у пациента может оказаться проявлением инфекционной, аутоиммунной, гематологической, хирургической патологии, являющейся предметом терапии, инфекцтологии, хирургии. Синдром боли в груди - кардиологичекой, неврологической, гастроэнтерологической,
хирургической проблемой.
Междисциплинарная интеграция при составлении тестов может быть направлена не только на дифференциальную диагностику, но и тактику ведения пациента с сочетанной патологией, на первичную и вторичную профалактику. Например, знания о мероприятиях, направленных на предупреждение туберкулеза у пациента с ревматоидным артритом, получающего
иммуносупрессивную терапию; или особенности введения пациента с туберкулезом и сахарным диабетом или ХОБЛ.
Устаревшее содержание тестов. Число тестов, в содержании которых используются устаревшие классификации, понятия, методы диагностики, методы лечения, устаревшая тактика ведения
пациента, препараты, не имеющие доказательной базы по их эффективности, невелико (около 1-5% в некоторых базах тестов), но само наличие таких тестов способно сильно скомпрометировать отвественных за формирование банков тестовых заданий. Наличие таких тестов говорит о недобросовествном отношении как преподавателя, составившего такой тест, так и заведующего кафедрой, отвечающего за качество контрольно-измерительных средств. Одним из самых вопиющих примеров является использование в условиях тестов классификации хронических гепатитов от 1978 года, в то время как действующая классификация принята в 1994 году - отставание на 20 лет. Или использование критериев диагностики
аутоиммунных заболеваний, потерявших свою актуальность в 1989 и 2010 году (аутоиммунный гепатит, первичный билиартный цирроз, системная красная волчанка).
Ошибки в содержании тестового задания по форме и структуре
Правильность определения тестов по уровню сложности. Несмотря на то, что в инструкциях и методических материалах достаточно четко определено, что такое тест на запоминание, на понимание, на применение, зачастую такого единого толкования сложности теста нет даже в рамках одной кафедры, в рамках одного вуза. Наиболее распространенным является обозначение тестов 1 уровня как соответствующих 2 и даже 3 уровню. В результате тесты 1 уровня достигают в некоторых базах тестов 58%, в то время как для оценки знаний интернов рекомендуется иметь в базе тестов на запоминание не более 10%.
Кроме того тест на запоминание может применяться для оценки знаний только по редкой патологии, включенной в Типовую учебную программу, но по которой интерн должен только иметь представление (то есть уровень компетенции -1). Превалирование тестов 1 уровня делает такую базу тестовых заданий непригодной для оценки уровня знаний интернов. Нереалистичное описание клинической ситуации. Тест содержит условие, в котором описана ситуация, которая не может быть в реальной клинической практике, то есть совершенно умозрительная. Наиболее часто имеется несоответствие между отдельными фактами. Например: в тесте, описывающий ревматоидный артрит,
продолжительность такого симптома как утренняя скованность не соотвествует указанным в условии лабораторным данным, поэтому определение активности становиться невозможным,
следовательно, невозможно ответить на поставленный вопрос о тактике лечения. Неструктуированная информация, неясная формулировка. Условие теста должно включать в себя все существенные факты, поданные структуировано (возраст, пол, место, жалобы, динамика, анамнез, объективные данные, результаты обследования и т.п.). Тесты могут быть перегружены несущественной информацией, существенная информация подана безсистемно. Такой тест сложен для восприятия.
Ошибки в формулировке вопроса и вариантов ответа. Наиболее частая ошибка в формулировке вводного вопроса - это вопросы открытого типа (например: «Мальдигестия может быть обусловлена: ...»). Вводный вопрос должен быть сформулирован ясно и
четко, желательно с использованием слова «наиболее», поскольку экзаменуемому надо выбрать 1 наиболее правильный ответ из 4-5 вариантов правильных ответов.
Короткие вопросы с длинными вариантами ответов. Зачастую варианты ответов представлют собой предложение из 5-8 слов или представляют собой комбинацию из нескольких (повторяющихся в дистракторах) названий. Например: «Четырехкомпонентная терапия гломерулонефрита - это:
A) Цитостатики + антибиотики + нестероидные противоспалительные средства + антиагреганты
B) Цитостатики + нестероидные противоспалительные средства + антиагреганты + антикоагулянты
C) Цитостатики + кортикостероиды + антиагреганты + антикоагулянты
D) Нестероидные противовоспалительные средства + кортикоиды + антиагреганты + антикоагулянты
E) Цитостатики + антикоагулянты + антибиотики + антиагреганты»
Неоднородные дистракторы. В большинстве случаев под неоднородными дистракторами понимается, такая ситуация: например, вопрос стоит о выборе метода диагностики - однородность дистракторов выражается в том что все дистракторы должны быть про лабораторные методы или все - про инструментальные. Это действительно так. Но кроме того следует следить за тем, чтобы дистракторы были однородно сформулированы. Выделяющийся правильный ответ (правильный ответ намного длиннее дистракторов или более полный).
Использование торговых названий препаратов вместо международных непатентованных. Зачастую используются торговые названия препаратов, при этом есть тесты, в которых другое торговое название препарата используется как дистрактор (например, правильный ответ - «вольтарен», дистрактор -ортофен, оба препарата - торговое название диклофенака).
Проанализированные базы тестовых заданий сильно различались по общему числу и пропорции перечисленных выше ошибок, но все перечисленные ошибки были представлены во всех базах тестов. Число некорректных тестов составляет от 5-10% (в базах КазНМУ по терапии, инфекционным болезням, неврологии, клинической лабораторной
диагностике) до 40-50% (в базах других мед. вузов, клинической фармакологии).
Ошибки по структуре, форме тестовых заданий (условия, вводного вопроса и вариантов ответов) объясняются несколькими факторами: составители тестов либо не прошли обучения по тестологии, либо не овладели в полной мере техникой составления тестовых заданий; на кафедрах нет внутреннего контроля качества тестов, взаимопроверки, взаимообучения. Несоответствие тематики тестов и содержания ТУП, наличие устаревших тестов можно объяснить тем, что составители тестов не делают тесты de novo, а используют тесты (заимствованные без ведома настоящих авторов, тесты прошлых лет, скаченные из интернета), часто без какой-либо критического отношения, как к источнику тестов, так и к собственному плагиату, набирая необходимое общее
количество без соблюдения пропорции тестов по тематике ТУП и их качества.
в том числе и для проведения текущего и рубежного контроля - наиболее качественные из имеющихся тестов. Если тесты были отобраны без учета их соответствия действующей ТУП, и при этом тесты не соответствуют требованиям составлению тестов, то какой же уровень тестов для текущего, рубежного контроля, годовой аттестации?
Такое отношение свидетельствует о более глубоких проблемах в организации учебно-методической работы: ведь тесты для проведения итогового контроля и независимой экзаменации должны были бы быть отобраны из баз тестовых заданий, уже подготовленных в рамках УМКД каждой дисциплины
СПИСОК ЛИТЕРАТУРЫ
С.Кейс, Д.Свэнсон. Создание письменных тестовых вопросов по базисными клиническим дисциплинам. /под редакцией Булах И., Сироткина А., Мруги М. - Филадельфия, США, Национальный совет медицинских экзаменаторов, 1996.- 119 с.
Г.М. КУРМАНОВА, Ш.С. САДЫКОВА СЖ.Асфендияров атындагы Дазац ¥лттыцмедицинауниверситетi Терапия бойынша №1 интернатура жзне резидентура кафедрасы ИНТЕРНДЕРГЕ АРНАЛГАН ТЕСТ ТАПСЫРМАЛАРЫН Ц¥РАСТЫРУ КЕЗ1НДЕГ1 НЕГ1ЗГ1 ЦАТЕЛ1КТЕР
Тушн: О;у урдюшщ ГОСО-2006 интерндерге арналган тест тапсырмаларын курастыру кезiндегi негiзгi кателжтер бойынша жаца форматы ба;ылау-багалау куралдары ;орыныц толыгымен жацаруын, на;ты алганда ба;ылаудыц эртурлi децгешн - кунделiктi, аралы;, ;орытынды ба;ылауларды eткiзуге багытталган MSQ А-туршдеп тесттердщ улкен ;орын жасап шыгаруды талап етедi. Жалпы кeлемi 3376 тест курайтын тест тапсырмаларыныц бiрнеше ;орын сараптаудыц негiзiнде оларды курастырудагы негiзгi ;ателжтер аны;талды. Тест тапсырмаларыныц мазмунындагы ;ателжтер, курылымы мен жасалу туршдеп ;ателжтер, сонымен ;атар тест тапсырмаларын ;алыптасыру-курастырудагы ;ателжтер кeрсетiлген.
ТYЙiндi сездер: интернатурадагы о;ыту,MSQ тест тапсырмалары, тест тапсырмаларын курастырудагы ;ателжтер.
Resume: The new format of educational process demands a full recreation of base of control instruments, for the first time -the base of test tasks in MSQ format for carrying out different levels of control - current, boundary, final. 3376 tests from number of bases of test tasks for interns was enrolled in the analysis. The main errors are revealed: errors in test tasks contents, in structure and a form, and also errors of a formulation of test tasks. Keywords: internship, test tasks in MSQ format, errors in creation of test task.
G.M. KURMANOVA, SH.S. SADYKOVA THE TEST TASKS FOR INTERNS CREATION - MAIN ERRORS
