CC BY
5
УДК 311.42
С.А. Мусабекова
Медицинский Университет Караганды Караганда, Казахстан
МНОГОФАКТОРНАЯ ОЦЕНКА ТЕМАТИЧЕСКИХ ЗАДАНИЙ КАК ФАКТОР, ВЛИЯЮЩИЙ НА УСПЕВАЕМОСТЬ СТУДЕНТОВ, ПРИ ИЗУЧЕНИИ ПАТОЛОГИИ
Резюме. Оценка эффективности обучения медицинских учебных программ включает оценку обучающихся с целью поощрения подходов к более глубокому обучению. Общая патология - это программа годичного изучения основ патологии, охватывающая универсальные концепции болезней. Педагогический мониторинг успеваемости и уровня усвояемости учебного материала обучающимися при изучении концептуальных основ патологии способствует не только их академическому, но и личностному развитию, что является неотъемлемой составляющей в практике приобретения общекультурных и профессиональных компетенций будущего врача.
Цель. Сравнить типы оценочных вопросов, качество тестовых заданий и определить, какие характеристики могут предсказывать уровень подготовки, усвояемости и успеваемости обучающихся при изучении дисциплины. Методы. Исследование проводилось среди обучающихся второго курса первого года обучения патологии в 2018-2019, 2019-2020, 2020-2021 учебных годах в медицинском университете Караганды. Было проанализировано 160 тестовых заданий различной категории по нескольким переменным с использованием статистических методов анализа. Результаты. Исследование включало шесть рубежных тестирований и итоговый экзамен (всего 160 вопросов), изученных за 3 года (368 студентов), всего 58880 попыток. В целом 50696 попыток (86,1%) были правильными. В многомерном анализе, тип вопроса оказался наиболее значимым прогностическим фактором успеваемости студентов, степени сложности и степени дискриминативности. Задания с ответами множественного выбора значимо связаны с более низкими средними баллами (р=0,004) и более высокой степенью сложности (р=0,02), но также, как это ни парадоксально, более слабой дискриминацией (р=0,002). Присутствие специфического изображения (макро-или микроскопии) в задании значительно связано с лучшей дискриминацией (р=0,04). Задания, требующие интерпретации данных (по сравнению с простым ответом) значительно связаны с более низкими средними баллами (р=0,003) и более высокой степенью сложности (р=0,046).
Выводы. Оценивающие задания в медицинском образовании должны содержать комбинации вопросов с различными характеристиками, чтобы стимулировать лучшее понимание материала и успеваемость обучающихся, но при этом обеспечивать оптимальную степень сложности и уровень дискриминативности.
Перспективы. По результатам проведенных исследований сделаны выводы о значимости комбинации вопросов с различными характеристиками как эффективной технологии оценивания учебной деятельности обучающихся.Тестовые задания, имеющие среднюю оптимальную сложность и высокую дискриминативность, соответствующего когнитивного уровня должны быть включены в будущем для улучшения качества теста. Ключевые слова: медицинское образование, патология, тесты, оценка качества, критерии эффективности, интерпретация результатов, индекс сложности, индекс дискриминации.
С.А. Мусабекова
Караганды Медицина Университетi Караганды, Казакстан
ПАТОЛОГИЯНЫ ЗЕРТТЕГЕН КЕЗДЕ СТУДЕНТТЕРДЩ YЛГЕРШШЕ ЭСЕР ЕТЕТ1Н ФАКТОР РЕТ1НДЕ ТАЦЫРЫПТЫК; ТАПСЫРМАЛАРДЫ кеп ФАКТОРЛЫ БАFАЛАУ
Туйт. Медициналык оку багдарламаларын окытудыц нэтижелшгт багалауга терещрек окуды ынталандыру мацсатымен бшм алушыларды багалау юредь Жалпы патология - бул аурулардъщ эмбебап тужырымдамаларын камтитын, патология негiздерiн бiр жылдык оку багдарламасы. Патологияныц тужырымдамалык негiздерiн зерттеу кезтде бшм алушылардыц yлгерiмiн жэне оку материалын мецгеру децгешн педагогикалык бакылау олардыц академиялык кана емес, сонымен катар, дара дамуына да жэрдемдесед1 бул болашак дэр^ердщ жалпы мэдени жэне кэаби кузыреттшктерт алу тэжiрибесiнiц ажырамас курамы болып табылады.
Мацсаты. Багалау сурактары, тест тапсырмаларыныц сапасын салыстырып, кандай сипаттамалар пэндi окыган кезде дайындык децгешн, бшм алушылардыц мецгеруiмен yлгерiмmщ децгешн болжай алатынын аныктау. Эдктерь Зерттеу Караганды медицина университетшц 2018-2019, 2019-2020, 2020-2021 оку жылдарындагы патологияны бiрiншi жыл окитын екiншi курс окушыларыныц арасында етШзыдь Талдаудыц статистикалык эдктерт колдана отырып, бiрнеше айнымалы шара бойынша эр тyрлi санаттагы 160 тест тапсырмалары талданган болатын.
Нэтижелерь Зерттеу 3 жыл бойы окыган (368 студент) алты шектi тестыеу мен корытынды емтиханнан (барлыгы 160 сурак) турды, барлыгы 58880 талпыныс. Жалпы 50696 талпыныс (86,1%) дурыс болды. Кеп елшемдi талдауда, сурак тyрi студенттердщ yлгерiмmщ, курделшк дэрежес мен кемстушшк дэрежестц ец мацызды болжамалы факторы болды. Кеп жауап тацдала алатын тапсырмалар орта балдардыц теметрек болуымен (р=0,004) жэне курделшк дэрежеа жогарырак болуымен (р=0,02), алайда, парадоксалды болуына карамастан, кемстушшктщ эл^рек болуымен (р=0,002) мацыздана байланысты. Тапсырмада айрыкша суреттщ (макро-немесе
микроскопия) болуы кемстушшктщ жацсырац болуымен (р=0,004) мацыздана байланысты. Деректердi талдауды талап ететт тапсырмалар (царапайым жауаппен салыстырганда) орта балдардыц теметрек (р=0,003) жэне курделшк дэрежестщ жогарырац (р=0,046) болуымен мацыздана байланысты.
Цорытындылар. Материалды жацсырац тустут жэне бшм алушылардыц yлгерiмiн ынталандыру ушт медициналыц окудагы багалау тапсырмаларыныц цурамында эр тyрлi сипаттамалары бар сурацтар циыстырулары болу керек, алайда, осында курделшктщ мен кемстушшктщ оптималды дэрежест цамтамасыз ету керек. Келешектер. втюзыген зерттеулер нэтижелерi бойынша бшм алушылардыц оку эрекетт багалаудыц нэтижелi технологиясы реттде эр тyрлi сипаттамалары бар сурацтарды циыстырудыц мацыздылыгы туралы цорытынды жасалган. Ibi^i когнитивтк дэрежедегi орта оцтайлы курделшг жэне жогары кемстушшт бар тест тапсырмалары тест сапасын жацсарту ушт болашацта кiргiзiлуi тис
Tyurndi свздер: медициналыц быт, патология, тесттер, сапаны багалау, нэтижелшк елшемшарттары, нэтижелелердi талдау, курделшк индека, кемстушшк индека.
S.A. Mussabekova
Medical University of Karaganda Karaganda, Kazakhstan
MULTIFACTOR ASSESSMENT OF THEMATIC TASKS AS A FACTOR AFFECTING STUDENTS' READINESS WHEN
STUDYING PATHOLOGY
Resume. Evaluation of the effectiveness of teaching medical training programs includes an assessment of students to promote approaches to deeper learning. General pathology is a one-year study program of the pathology, covering universal diseases concepts. Pedagogical monitoring of the progress and level of learning material learning when studying the conceptual foundations of pathology contributes not only to their academic, but also a personal development, which is an integral part in the practice of acquiring the general cultural and professional competences of the future physician.
Aim. Compare the types of evaluation issues, the quality of test tasks and determine which characteristics may predict the level of preparation, digestibility and academic performance of students in the study of discipline.
Methods. The study was conducted among the second year students, studying pathology the first year in 2018-2019, 2019-2020, 2020-2021 academic years at the Karaganda Medical University. 160 test tasks of various categories in several variables using statistical analysis methods were analyzed.
Results. The study included six frontier testing and the final exam (in total 160 questions) studied for 3 years (368 students), in total 58880 attempts. In general, 50696 attempts (86.1 %) were correct. In multidimensional analysis, the question type turned out to be the most significant prognostic factor in student performance, the degree of complexity and degree of discrimination. Tasks with multiple selection responses are significantly linked with lower average points (p = 0.004) and a higher degree of complexity (p = 0.02), but also, how neither paradoxically, weaker discrimination (p = 0.002). The presence of a specific image (macro or microscopy) in a task is significantly linked with the best discrimination (p = 0.04). Tasks requiring interpretation of data (compared to a simple response) are significantly linked with lower average points (p = 0.003) and a higher degree of complexity (p = 0.046).
Conclusions. Evaluation tasks in medical education should contain a combination of questions with various characteristics to stimulate the best understanding of the material and the performance of students, but at the same time ensure the optimal degree of complexity and discrimination level.
Perspectives. According to the results of the studies, the conclusions were made about the significance of a combination of questions with various characteristics as an effective technology for assessing educational activity. Test tasks that have an average optimal complexity and high discriminatory, the corresponding cognitive level should be included in the future to improve the quality of the test.
Key words: Medical education, pathology, tests, quality assessment, efficiency criteria, interpretation of results, complexity index, discrimination index.
Введение: Формирующаяся в последнее годы ситуация по вопросам образования диктует новые требования к преподаванию в медицинских высших учебных заведениях. Пандемия COVID-19 также значительно повлияла на разработку и реализацию процессов в медицинском образовании [1,2]. Сложившаяся ситуация интенсифицировала процесс перехода на учебные программы, основанные на компетенциях [3]. В программы бакалавриата медицинских вузов ускоренно были внедрены альтернативные способы преподавания и обучения [4,5] и внесены очевидные корректировки в оценивании [6,7]. Одним из актуальных шагов в новые подходы стало добавление множества возможностей для формативного оценивания [8,9,10]. Обычно при обучении медицине в мировой практике используют вопросы с несколькими вариантами ответов (MCQ) и оценку практических навыков, однако на сегодняшний день актуальным стал пересмотр старых
модальностей и внедрение новых способов, позволяющих обеспечить дистанционное взаимодействие, например, виртуальные пациенты и электронные портфолио [5,11]. На данном этапе стала важной разработка и внедрение творческих способов оценки, которые продолжали бы поддерживать стандарты медицинского образования, учитывая существующие экологические и социальные ограничения [12]. В настоящее время акцент в оценке сделан на использование мультимодальных инструментов для формативной и суммативной оценок, сосредоточенных на решении клинических ситуаций и эффективности при развитии различных клинических сценариев [13]. В настоящее время сформировалась положительная тенденция использования тестовых заданий, кроме функции контроля обучения, с целью обучения [8,14]. При этом ключевой задачей остается своевременное создание и мониторинг сбалансированной программы очного и
онлайн-оценивания с учетом доступности ресурсов, участия преподавателей и поддержки регулирующих и лицензирующих органов. Однако, по мнению некоторых авторов необходима комплексная политика для оценки не только эффективности этих новых стратегий преподавания и обучения, но и для поддержания стандартов медицинского образования [8,15]. Сейчас стало особенно важным сместить упор на получение компетенций, которые позволят будущим врачам бороться с быстро меняющейся средой здравоохранения [3]. По мнению некоторых авторов, пришло время подумать о более единообразном использовании тестирования на определение характеристик устойчивости, решения проблем и самоэффективности будущих врачей [9,16]. Другие, особо подчеркивают, что в течение всего обучения в медицинском вузе структура оценки требует тщательного планирования, чтобы гарантировать соблюдение основных принципов оценки (достоверность, надежность и выполнимость) [10,13]. С точки зрения патологии, в попытке достичь максимального сохранения обучающимися знаний, необходимых им для дальнейшей клинической практики было протестировано и использовано много разных, в том числе интегрированных учебных программ [17]. Однако, по-прежнему, существуют трудности, с которыми систематически сталкиваются обучающиеся при идентификации морфологических изменений в пораженных тканях, которые необходимо решать, ведь проблемы в достижении компетентности при изучении общей патологии влияют на дальнейшее изучение таких дисциплин как патология органов и систем, клиническая патоморфология, судебная медицина, несмотря на осознанность обучающимися важности этих дисциплин в медицине.
Обучение общей патологии в нашем вузе базируется на «контекстном обучении», предполагающем мотивацию к обучению путём выстраивания отношений между знанием и его применением, и стратегиях активного обучения, которые в совокупности позволяют решать задачи, как по содержанию, так и по процессу, включая развитие различных клинических навыков. Такое видение учебной программы, при условии, что интеграция начинается в первый год обучения патологии, позволяет повысить выживаемость знаний при последующем изучении патологии. Реализация такого подхода требует переосмысления роли дисциплины «общая патология» в высшем медицинском образовании, понимания её не только как части клинического мышления, направленной на формирование общекультурных компетенций, но и как неотъемлемого компонента профессионального цикла, средства формирования профессиональных компетенций.
Традиционно при изучении медицины основное внимание уделяется академическим способностям. Однако, в последние время этот подход стал сомнительным. Исследования показывают, что хотя академическая успеваемость и показывает хорошую эффективность на раннем этапе обучения, она имеет меньшую прогностическую значимость при демонстрации компетентности в последующей практике врача[18]. Следовательно, задача оценки состоит в том, чтобы использовать соответствующие методы с точки зрения воздействия на обучение[1,6]. При решении задачи оценивания необходимо оценить
степень, в которой они воплощают целевую производительность понимания, и насколько хорошо они поддаются оценке индивидуальных достижений обучающихся. Общепризнано, что оценка способствует обучению, однако оценка может иметь как запланированные, так и непредвиденные последствия [7]. Студенты учатся более вдумчиво, когда они ожидают определенных форматов экзаменов, при этом изменения в формате могут сместить их акцент на клинические, а не теоретические вопросы [8]. Следует также особо отметить, что самостоятельное обучение является важным компонентом обучения на протяжении всей жизни и, таким образом, является ключевой компетенцией в учебных программах всех медицинских школ, способствуя процессу, в котором обучающийся проявляет инициативу, диагностирует свои потребности в обучении, ставит цели обучения, определяет ресурсы для обучения, применяет соответствующие стратегии обучения и оценивает результаты своего обучения. С точки зрения содержания программы обучения в медицинском вузе, преподавателям необходимо регулярно включать новые и постоянно приумножающиеся медицинские знания, использовать более современные и продвинутые педагогические методы обучения (например, самостоятельное и командное обучение), учитывать необходимость освоения текущих технологических достижений в здравоохранении (например, цифровую медицину), менять акценты и видеть перспективы, пытаясь лучше интегрировать двойные столпы фундаментальной науки и клинической практики для эффективной адаптации будущих врачей к интенсивно меняющимся социальным контекстам [19]. Обычно на практике обучающиеся используют три основных подхода к обучению: глубокий (стремятся понять и критически оценить), поверхностный (выполнение задания, запоминание информации и концентрация внимания лишь на отдельных моментах, без признания более широкого контекста и, не размышляя о процессах) и стратегический (организация работы, управление временем и стремление получить высокую оценку). В этом контексте оценки обучающихся воспринимаются как познавательная потребность, а не педагогическая оценка и способствуют более глубокому подходу к обучению. При этом оценки, ориентированные на оценивание клинического мышления и непрерывного обучения будут оценивать обучающихся более надежно и всеобъемлюще [9]. Оценки должны обеспечивать не только фактическую успеваемость обучающихся, но и стать инструментом для распознавания области для изменений и улучшений, тем самым помогая студентам идентифицировать собственное обучение и реагировать на него потребности [10]. Таким образом, оценки в медицинском образовании должны быть точными, надежными, эффективными и конструктивными. В частности, формативные оценки, в отличие от суммативных, обеспечивают своевременную обратную связь и предложения по улучшению и, таким образом, обладают уникальной способностью внесения своего вклада в улучшение результатов обучения.
В соответствии с таксономией Блума, позволяющей оценить задействованность всех уровней познания обучающихся, иерархическое упорядочение шести когнитивных областей, используемых с намерением
приобретать, сохранять и управлять знаниями для достижения желаемых уровней обучения более высокого порядка, таких как синтез и оценка, обучающиеся вначале должны применить более нижний базовый уровень области памяти и понимания [14].Это особенно применимо к вопросам с несколькими вариантами ответов (MCQ), наиболее часто используемых в качестве инструмента оценки для письменного экзамена в медицинском образовании. Однако, исследования показали, что качество MCQ тестов на протяжении всего периода получения медицинского образования, и особенно во время внутренних экзаменов, относительно невысоко [20,21]. Исследований, направленных на оценку качества тестов при обучении медицине по различным показателям, особенно по показателям сложности, дискриминативности и когнитивных уровней, в нашей стране недостаточно. В связи с чем, существует объективная необходимость оценки качества применяемых тестов.
Цель исследования - сравнить типы оценочных вопросов, используемых при изучении общей патологии, качество тестовых заданий и определить, какие характеристики могут предсказывать уровень подготовки, усвояемости и успеваемости, обучающихся при изучении дисциплины для последующего принятия решений в продвижении подходов к обучению более высокого уровня. Материалы и методы:
Ретроспективно были изучены
неидентифицированные оценки студентов за три года обучения (2018-2019, 2019-2020 и 2020-2021). Оценки были получены с веб-платформы Moodle МиК. При обработке результатов тестовых заданий (2 курс, общая патология), для автоматизации вычисления статистических показателей, позволяющих осуществлять объективную оценку качества тестовых заданий с точки зрения их способности служить средством измерения уровня подготовки обучающихся, использовали встроенные средства Moodle. Проведен анализ результатов, полученных в результате рубежных (после прохождения каждого блока дисциплины) и итогового (в конце курса) тестирований. Средние ответы (процент правильных) были рассчитаны для каждого вопроса за три исследуемых года. При проверке новых знаний (тестирования проводились во время текущего блока и ответы с подробными объяснениями были предоставлены студентам на постоянной основе в течение всего периода обучения) считали формативные оценки. Финальный экзамен был классифицирован как итоговая оценка (проводился в конце курса). Вопросы классифицировали по нескольким категориям: тип вопроса (множественный выбор или выбор одного правильного ответа), наличие клинической ситуации в вопросе (и, если да, то была ли эта ситуация простой или сложной), наличие специфического изображения (макро- или микроскопического), глубина проверяемой информации (простой ответ или интерпретация), плотность необходимых знаний (первого или второго порядка) и уровень в модифицированной пирамиде таксономии Блума (с 1 по 3 уровни - в порядке возрастания сложности вопроса). Для итогового экзамена, который в значительной степени оценивал повторяющиеся знания, вопросы были дополнительно классифицированы: с точки зрения знакомства с
материалом - новая информация (т. е. никогда раньше не проверялась) или повторяющаяся (т.е. дублирующаяся из предыдущих тестирований). Учитывали также форму изложения текста в задании: дословно или с небольшими модификациями. Клинические ситуации были обозначены: простые -при перечислении конкретных признаков или симптомов и сложные - если для получения заключения о состоянии пациента (диагнозе) был необходим синтез лабораторных данных или данных изображений. Глубина информации определялась как уровень сбора данных, требующийся студентам для ответа на вопрос - достаточно простого воспоминания о фактах или необходима определенная степень интерпретации знаний. Плотность знаний, оценивали, как ответ на вопрос в результате простого понимания (т. е. первого порядка) и второго порядка - когда для достижения первого уровня понимания необходимо дедуктивное рассуждение. Сложность задания (рассчитывалась только при оценке по правильным ответам) оценивалась как отношение попыток, в которых обучающийся дал правильный ответ ко всем попыткам прохождения тестирования. Коэффициент сложности рассчитывался как отношение количества успешных попыток к общему количеству. Тесты включали в себя комплекс заданий различной сложности - от легких до трудных (коэффициент от 0,36 до 0,81). Сложность задания (относилась к доле студентов из всех участников, ответивших на конкретный вопрос правильно) оценивалась следующим образом: сложное <30%, средней сложности (т.е. желаемый диапазон) - от 30% до 80% и легкое> 80%.
Критерий дискриминации, определяемый как корреляция (2-балльный коэффициент корреляции) между оценками студентов по конкретному пункту (например, вопросу) и их оценкой по всему экзамену (например, рубежный контроль или итоговый экзамен), рассчитывался и измерялся на основе точечного бисериального индекса. Его впоследствии оценивали следующим образом: ниже 0,2 - плохо, от 0,2 до 0,29 - удовлетворительно, от 0,3 до 0,39 - хорошо и от 0,4 до 0,7 - очень хорошо. Сравнивались непрерывные переменные (средние баллы студентов) по вопросным переменным с использованием одностороннего дисперсионного анализа. Для переменных с интервальной и номинальной шкалой (категориальные переменные - уровни сложности предметов и дифференцирующая способность) использовали коэффициент корреляции Пирсона. Мультиномиальная логистическая регрессия проводилась с использованием указанных характеристик вопроса как независимые переменные, с рассчитанным отношением шансов (ОШ) и 95% ДИ. Для проведения статистического анализа уровни сложности заданий (сложные и умеренно-сложные <80%, в целом) были объединены для сравнения с заданиями легкой сложности (>80%). Для оценки, разрешающей способности заданий использовали точечно-бисериальный коэффициент корреляции, выражающий связь между результатами ответов обучающегося на данное задание теста с индивидуальными баллами выборки
обучающихся[22]. Для оценки дискриминации: были объединены хорошие и очень хорошие (>0,3 в целом) значения точечно-бисериальный коэффициентпа корреляции, а плохие с удовлетворительными (<0,3 в целом). Уровень таксономии Блума (1-3) был
классифицирован как порядковая переменная. Вопросы в итоговом экзамене, проверяющем повторяющуюся информацию из предыдущих тестов (дословно или с небольшими изменениями) были объединены вместе в отличие от вопросов, проверяющих новую информацию. Вопросы с клиническими ситуациями (простыми или сложными) сравнивали с вопросами без них. Обработку полученных данных проводили при помощи табличного редактора Microsoft Excel XP (Micosoft Corp., США) с использованием пакетов статистических программ Statistica 10.0 (StatSoft Inc., США) и SPSS 20. Вычислены простые пропорции, в долях и частотах, среднее значение, с расчетом 95 % доверительных интервалов. Различия значений считали статистически значимыми при уровне вероятности более 95% (р<0,05) для двух групп сравнения.
В связи с отсутствием вмешательства одобрения этического комитета не требовалось. Результаты и обсуждение: Результаты:
Общая патология - программа для студентов второго года обучения, рассчитанная на формирование у них интегрированных научных представлений, понимания общих принципов взаимодействия организма с внешними и внутренними факторами, приводящих к развитию болезни, механизмов защитного ответа организма, этиологии и патогенеза развития заболеваний, структурных основ болезни, макро- и микроскопической картины, морфогенетических механизмов и исходов общих патологических процессов перед углубленным изучением конкретных патологий органов и систем на 3 курсе. Курс структурирован по 6 тематическим модулям (повреждение, воспаление,
гемодинамические нарушения, регенерация, процессы адаптации и компенсации, опухоли),
состоящих из обзорных лекций и практических занятий, включающих: лабораторные работы с тематической презентацией, описание
макропрепаратов, микроскопию и зарисовку микропрепаратов, активные методы обучения (CBL,TBL,РBL), работу в малых группах с решением ситуационных задач по теме, тестовые задания, составление структурно-логических схем и ментальных карт. Оценки, обучающихся во время курса формируют 6 рубежных тестирований (по 15 вопросов каждое) и итоговый экзамен (70 вопросов) по материалам всего курса, итого 160 вопросов. Следует отметить, что некоторые вопросы из предыдущих текущих или рубежных тестирований повторяются на итоговом экзамене. Все вопросы были дифференцированы по ряду характеристик, представленных на рисунке 1. Так, 132 из них (82,4%) были с выбором нескольких правильных ответов (MCQ), 28 (17,6%) - с выбором одного правильного ответа; 99 вопросов (61,6%) содержали в вопросе клиническую ситуацию, 6 (6,5%) из которых сложную, 93(93,5%) - простую, 61 вопрос (38,4%) - не включал клиническую ситуацию; 40 вопросов (24,8%) содержали изображение (10 - макроскопию, 25 -микроскопию и 5 - оба типа изображения), остальные 120 (75,2%) - без изображений. Что касается глубины проверяемой информации, то 154 вопроса (96,0%) имели простой ответ, 6 (4,0%) вопросов - требовали определенного самостоятельного ответа
(интерпретации). По плотности знаний: 97 вопросов (60,8%) - первого порядка, 63 (39,2%) вопроса -второго порядка. Из 70 вопросов финального экзамена, 40 вопросов (57,1%) проверяли новую информацию, а 30 (42,9%) вопросов оценивали повторяющуюся информацию, при этом 26 (86,7%) из них имели некоторое сходство с вопросами из предыдущих тестирований и 4 (13,3%) вопроса -повторялись дословно.
А
Тип вопроса
□ с выбором нескольких правильных ответов (MCQ), n=132
□ с выбором одного правильного ответа (SAQ), n=28
Глубина информации „%
96%
□ Простой ответ, n=154
□ Интерпретация, n=6
Плотность знаний
61%
□ Первого порядка, n=97
□ Второго порядка, n=63
D
Клиническая ситуация
Простая
5%
Специфическое изображение
Знакомство с предметом изучения
Оба типа 12.5%
ное 13.3%
Рисунок 1 - Качественно-количественная характеристика тестовых заданий в зависимости от категории (по всем параметрам, п=160): (А) тип выбора ответа, (В) глубина информации, (С) плотность знания, ф) присутствие и тип клинической ситуации, (Е) наличие изображения и степень знакомства с вопросом на итоговом экзамене (п=70).
В
С
E
F
Для оценки познавательного уровня каждого вопроса использовали трехуровневую модифицированную таксономию Блума, согласно которой, вопросы были распределены на уровни в иерархическом порядке сложности (рисунок 2). Для ответа на вопрос уровня 1 (знание) требовалось только запоминание фактов и основных понятий. Вопросы этого уровня включали следующие формулировки: дублировать,
перечислить, запомнить, повторить, вспомнить и констатировать. Вопросы уровня 2 (понимание) для правильного ответа требовали определенного уровня понимания со стороны, обучающегося, в них
использовали глаголы: классифицировать, описать, обсудить, объяснить и идентифицировать. Вопросы 3 уровня (применение) требовали от обучающихся использования полученной информации и концепций в новых ситуациях и включали вопросы с такими формулировками, как подключить, выполнить, реализовать, решить, использовать и продемонстрировать. В соответствии с этим на различные оценочные вопросы использовали алгоритм для назначения уровней Блума согласно определенным параметрам, представленный на рисунке 2.
ПРИ-
2
ПОНИМАНИЕ
1
ЗНАНИЕ
1 ■ 2 ПОРЯДКА
НЕТ
ДА
*
/ ч
1
ДА
Рисунок 2 - Схема модифицированной таксономии Блума
тестовым
Вопросы уровня 1 требовали простого ответа, основанного на запоминании, и плотность знаний первого порядка. Вопросы 2 уровня, включали задание с простым вопросом, при этом для ответа требовалось понимание понятий определенного уровня. Вопросы уровня 3 требовали более глубокого уровня понимание информации (интерпретаций, а не простого ответа) и имели второй порядок плотности знаний. Исходя из этой таксономии, 97 из 160 вопросов (60,6%) были отнесены к уровню 1, 56 (35,0%) - к уровню 2 и 7 (4,4%) - имели 3 уровень. Вопросов первого порядка, требующих
и алгоритм, используемый для присвоения уровней Блума заданиям
интерпретации, не было. Были проанализированы оценки, полученные за три учебных года, по всем 160 вопросам, общее количество обучающихся составило 368 (120, 125 и 123 студентов соответственно), итого 58880 результативных попыток. Каждая из этих попыток была отмечена как правильная или неправильная. Всего было 50696 правильных ответов, что привело к исчерпывающему правильному результату 86,1%. Результаты процента правильных оценок по характеристикам вопроса представлены в таблице 1.
Таблица 1 - Средние оценки обучающихся по вопросам с различными характеристиками
Характеристика вопроса Средняя оценка+ m, % P-уровень значимости
Одномерный Многомерный
Тип вопроса с выбором нескольких правильных ответов (MCQ) с выбором одного правильного ответа (SAQ) 84,85±0,14 92,06±0,06 0,02* 0,004*
Клиническая ситуация в вопросе Отсутствует Присутствует Простая Сложная 87,05±0,12 85,54±0,14 86,22±0,13 75,73±0,30 0,54 0,48 н/п н/п
Присутствие специфического изображения в вопросе Отсутствует Присутствует 86,76±0,12 84,20±0,16 0,36 н/п
Глубина информации Простой ответ Интерпретация 86,83±0,12 69,25±0,28 0,003* 0,003*
Плотность знаний Первого порядка Второго порядка 86,63±0,13 86,33±0,15 0,59 н/п
Таксономия Блума
Уровень 1 86,63±0,13 0,01* 0,79
Уровень 2 87,15±0,11
Уровень 3 69,25±0,28
Знакомство с предметом изучения
Новая информация 84,20±0,12 0,001* н/п
Повторяющаяся информация 92,46±0,08
Дословная 92,93±0,07 0,40 н/п
Модифицированная 82,42±0,12
Примечание: н/п - не применялось, *- статистически значимые значения p (р<0,05).
При однофакторном дисперсионном анализе установлено, что обучающиеся имели значительно более низкие баллы: в MCQ вопросах, по сравнению с вопросами с выбором одного правильного ответа (р=0,02), в вопросах, требующих интерпретации в отличие от вопросов, требующих простого запоминания информации (р=0,003) и в вопросах уровня 3 по Блуму (р=0,01). При этом обучающиеся имели значительно более высокие баллы по результатам итогового экзамена, в вопросах, которые содержали повторяющуюся информацию (р=0,001). Однако, следует особо подчеркнуть, что обучающиеся в этой группе лучше справились с вопросами, имеющими определенное сходство в отличие от вопросов, содержащих модифицированную информацию (разница между двумя последними переменными не была значительной). Анализ результатов показал, более низкие средние баллы имели вопросы, содержащие клинические ситуации и специфические изображения патологий (макро- или микроскопические), а также вопросы по плотности
знаний второго порядка, однако, эти различия, не достигли статистической значимости. В многомерном анализе с использованием только переменных, которые достигли значимости (тип вопроса, глубина информации и уровень таксономии Блума, р<0,05), исключая знакомство с предметом изучения (только в отношении вопросов итогового экзамена), они сохранили статистическую значимость. Так, обучающиеся значительно чаще набирали более высокие баллы в вопросах с выбором одного правильного ответа по сравнению с MCQ (р=0,004) и в вопросах проверки простого запоминания в отличие от тех, которые требовали определенной интерпретации для правильного ответа (р=0,003). Степень сложности (легкая, умеренно-сложная и сложная) определялась для каждого оценочного вопроса, как описано в материалах и методах, вопросы были сопоставлены по их различным характеристикам с точки зрения простоты или сложности (таблица 2).
Таблица 2 - Распределение степени сложности в зависимости от характеристики вопроса
Характеристика вопроса Степень сложности, n, % P-уровень значимости
Легкая n=121 Умеренно-сложная n=39 Одномерный Многомерный
Тесты с выбором нескольких правильных ответов (MCQ) с выбором одного правильного ответа (SAQ) 84(69,9) 37(95,5) 37(30,1) 2(4,5) 0,01* 0,02*
Клиническая ситуация в вопросе Отсутствует Присутствует Простая Сложная 50(81,3) 69(70,1) 66(70,8) 4(60,0) 11(18,8) 30(29,9) 27(29,2) 2(40,0) 0,17 0,61 н/п н/п
Присутствие специфического изображения в вопросе Отсутствует Присутствует 91(75,5) 28(71,0) 29(24,5) 12(29,0) 0,61 н/п
Глубина информации Простой ответ Интерпретация 117(75,8) 2(40,0) 37(24,2) 4(60,0) 0,07 0,046*
Плотность знаний Первого порядка Второго порядка 74(76,3) 45(71,4) 23(23,8) 18(28,5) 0,54 н/п
Таксономия Блума Уровень 1 Уровень 2 Уровень 3 74(76,3) 42(75,0) 3(40,0) 23(23,7) 14(25,0) 4(60,0) 0,20 н/п
Знакомство с предметом изучения Новая информация Повторяющаяся информация Дословная Модифицированная 28(70,0) 26(86,7) 23(88,5) 3 (75,0) 12(30,0) 4 (13,3) 3 (11,5) 1 (25,0) 0,10 0,46 н/п н/п
Примечание: н/п - не применялось, *- статистически значимые значения p (р<0,05).
При однофакторном дисперсионном анализе установлено, что тестовые задания с выбором нескольких правильных ответов (MCQ) были значительно сложнее, чем задания с выбором одного правильного ответа (SAQ) (р=0,01). При этом вопросы, оценивающие интерпретацию данных, были наиболее вероятно, умеренно-сложными или сложными по сравнению с вопросами, требующими простого ответа, хотя при этом и не достигли статистической значимости (р=0,07). Задания, содержащие клинические ситуации (особенно сложные) и образцы специфических изображений, вопросы второго порядка и вопросы высшего уровня таксономии Блума были немного сложнее, однако эти различия не были статистически значимыми. Неудивительно, что вопросы со знакомой информацией (повторяющейся из предыдущих тестирований) были проще (при этом в рамках этой группы: вопросы, дословно повторяющиеся из предыдущих тестирований, были сложнее), но не достигли статистической значимости. При сравнении в многофакторном дисперсионном анализе переменных, достигших статистической
значимости или приблизившихся к статистической значимости в одномерном анализе (р<0,10), таких как тип вопроса и глубина информации, они также сохранили статистическую значимость. Вопросы с выбором нескольких правильных ответов (MCQ) были значительно сложнее, чем вопросы с выбором одного правильного ответа (р=0,02) и, если они присутствуют в тестировании, то увеличивают вероятность степени сложности до умеренно-сложной и сложной -отношение шансов 15,4 (ДИ 1,4-166,7). Аналогично -вопросы, требующие интерпретации данных, были со значительной степенью вероятности более сложными и обозначены как умеренно-сложные и сложные (р=0,046) по сравнению с простыми ответами -отношение шансов 12,7 (ДИ 1,1-153,9). Дискриминативность (очень хорошая, хорошая, удовлетворительная и плохая) определялась для каждого вопроса, как описано в разделе «Материалы и методы», сравнительные оценочные характеристики представлены в таблице 3.
Таблица 3 - Степень дискриминативности по заданным параметрам для вопросов с различными характеристиками
Характеристика вопроса Индекс дискриминативности, n, % P-уровень значимости
Хорошо-очень хорошо n=51 Удовлетвор ительно-Плохо n=109 Одномерный Многомерный
Тесты с выбором нескольких правильных ответов (MCQ) с выбором одного правильного ответа (SAQ) 35(26,2) 16(59,1) 97(73,8) 12(40,9) 0,003* 0,002*
Клиническая ситуация в вопросе Отсутствует Присутствует Простая Сложная 20(33,3) 31(31,2) 28(30,5) 2(40,0) 41(66,7) 68(68,9) 65(69,5) 4(60,0) 0,80 0,66 н/п н/п
Присутствие специфического изображения в вопросе Отсутствует Присутствует 33(27,6) 18(45,2) 87(72,3) 22(54,8) 0,7 0,04*
Глубина информации Простой ответ Интерпретация 47(30,8) 4(60,0) 107(69,2) 2(40,0) 0,17 н/п
Плотность знаний Первого порядка Второго порядка 27(27,7) 24(38,7) 70(72,4) 39(61,2) 0,19 н/п
Таксономия Блума Уровень 1 Уровень 2 Уровень 3 27(27,7) 20(36,4) 4(60,0) 70(72,3) 36(63,6) 3(40,0) 0,24 н/п
Знакомство с предметом изучения Новая информация Повторяющаяся информация Дословная Модифицированная 10(25,0) 6(20,0) 5(19,2) 1(25,0) 30(75,0) 24(80,0) 21(80,8) 3(75,0) 0,62 0,79 н/п н/п
Примечание: н/п - не применялось, *- статистически значимые значения p (р<0,05).
При одномерном анализе тестовые задания с выбором одного правильного ответа имели высокую дискриминативность по сравнению с заданиями с выбором нескольких правильных ответов (MCQ) (р=0,003), как и задания, содержащие специфическое изображение, которые приблизились, но не совсем достигли статистической значимости (р=0,07). Присутствие клинической ситуации, информационная
глубина, степень плотности знаний, уровень таксономии Блума и степень знакомства с предметом не существенно коррелируют с различительной способностью оценки вопросов. В многомерном анализе - тип вопроса и присутствие специфического изображения, в качестве переменных (р<0,10), оба оставались статистически значимыми. Вопросы, требующие выбор одного правильного ответа
показали лучшую способность к дискриминации среди студентов (р=0,002), их присутствие увеличивает вероятность того, что вопрос может иметь хорошую или очень хорошую дискриминацию -отношение шансов 4,6 (ДИ 1,7-12.4). Аналогично, присутствие в задании специфического изображения увеличивало способность к дискриминации среди обучающихся (р=0,004), его присутствие увеличивает вероятность хорошей или очень хорошей дискриминации - отношение шансов 2,6 (ДИ 1.1-6.2). Обсуждение:
В этом исследовании были определены характеристики оценочных вопросов, которые связаны с оценками обучающихся, степенью сложности и дискриминативности в течение первого года обучения общей патологии. Проблема оценки качества обучения с помощью тестовых заданий всегда рассматривалась как важная и сложная [9,11]. В связи с чем, медицинские вузы постоянно стремятся улучшить мониторинг уровня освоения учебного материала, но зачастую, по мнению Albarqouni L. и соавторов им не хватает соответствующего видения, опыта и навыков для проведения качественного анализа элементов на основе общей успеваемости, качества тестов и отдельных вопросов [8]. Установлено, что успеваемость студентов на итоговом экзамене, с учетом внедрения дистанционного обучения, была немного лучше по сравнению с предыдущими годами, т.е. регресса оценок по сравнению с предыдущими годами не произошло. Анализ результатов свидетельствует, что обучающиеся, которым было разрешено сдавать рубежные тестирования с самокоррекцией, показали более высокие результаты на итоговом экзамене, чем обучающиеся, которым не была предоставлена такая возможность. Ведь обучение с помощью решения заданий теста, согласно Humphrey-Murto S. и соавторов [10], - это процесс, в начале которого студент знает и умеет меньше, чем в конце. Предварительные исследования в области построения системы контроля знаний показали необходимость разделения заданий на уровни сложности [13]. Отсутствие разделения заданий на уровни сложности приводит к недостаточной объективности оценивания знаний и часто не коррелируется с истинным уровнем знаний обучаемых [16,18]. Так, проведенный статистический многомерный анализ 58880 попыток на уровне элементов показал, что задания с выбором нескольких правильных ответов (MCQ) по сравнению заданиями с выбором одного правильного ответа и задания, требующие интерпретации данных, в отличие заданий, требующих от простого ответа, привели к более низким оценкам и с большей вероятностью были сложными или умеренно-сложными. Кроме того, вопросы с выбором одного правильного ответа и содержащие специфические патологические изображения, скорее всего, были связаны с хорошей или очень хорошей дискриминацией среди студентов. В работе [20] автор указывает на «multiple choice» как на универсальный инструмент для формирования пары «вопрос-ответ» даже на высоких когнитивных уровнях. Данная точка зрения в последующем получила подтверждение в работах [7, 14,16], однако, требует проведения дополнительного анализа случайности выбора правильных ответов с учетом психологических факторов [18,21]. В частности, предполагается, что задания MCQ могут обеспечить
адекватную дискриминацию среди обучающихся и проверить широкий спектр навыков мышления высшего порядка, но зачастую они оценивают лишь навыки более низкого порядка (запоминание)[23]. Несмотря на то, что анализ результатов на уровне элементов дает точное представление об уровне сложности и дискриминативной способности оценочных вопросов, в литературе предложен ряд руководящих принципов, позволяющих
преподавателям интерпретировать и анализировать полученные результаты. Так, в медицинской школой Мичиганского университета были предложены рекомендации по интерпретации статистических отчетов об анализе для повышения эффективности тестовых заданий и достоверности результатов тестов. Данные рекомендации предоставляют не только основные определения этих показателей, но и рекомендации для использования содержащихся в статистическом отчете данных для принятия решения об оценке и пересмотре вопросов для последующего использования [8,24]. Согласно которым: оптимальным считается вариант с индексом сложности примерно 0,5(т.е. 50% обучающихся ответили правильно) и плохим - <0,20, с последующей отбраковкой заданий, имеющих отрицательный индекс дискриминации. На основании предложенных рекомендаций 4 из 160 вопросов (2,4%) в нашем курсе требуют пересмотра или исправления, а 8 (4,8%) -полного исключения из программы курса общей патологии. Учитывая полученные результаты, текущая корректировка базы заданий по данному курсу необходима не только для повышения удовлетворенности студентов и преподавателей, но и с точки зрения оценок, точно отражающих и оценивающих знания.
Несоблюдение стандартных правил написания тестов может сделать экзаменационные вопросы легче или сложнее, чем предполагалось, о чем свидетельствуют результаты исследований оценивающих качество тестов [8,13]. В целом рассчитанные индексы сложности в проведенном исследовании имели тенденцию соотношения с оценками студентов по типам вопросов. Несмотря на то, что вопросы MCQ, требующие интерпретации, вопросы уровня 3 по таксономии Блума и вопросы, связанные с тестированием новой информации, были связаны с более низкими оценками обучающихся, только вопросы MCQ и вопросы, требующие интерпретации, оставались в значительной степени связанными с низкой производительностью и с более высокой степенью сложности при многомерном анализе. Возможно, наиболее важной постоянной проблемой тестов с множественным выбором является их склонность к измерению поверхностных знаний, тех фактов и деталей, которые можно запомнить без особого (или какого-либо) понимания их значения. Существуют исследования, показывающие, что предпочтение студентов к экзаменам с множественным выбором зависит от их представления о том, что эти экзамены легче [12]. Более того, такое восприятие приводит к тому, что обучающиеся используют стратегии обучения, связанные с поверхностным обучением. Студенты также предпочитают вопросы с несколькими вариантами ответов, потому что они позволяют угадывать. Если существует четыре варианта ответа и два из них можно исключить, вероятность того, что ученик ответит правильно, составляет 50 процентов
[18]. Это ведет к определенным проблемам особенно при измерении клинических навыков, связанных с реальной диагностикой и клиническими рассуждениями. Полученные результаты
прогнозируемы и объяснимы. Понятно, что задания, сформулированные в закрытой форме, уже содержат определенную подсказку, содержащуюся в одном из предложенных ответов, и предполагают проверку знаний только на первом уровне усвоения. Этот фактор позволяет объяснить повышенный средний балл закрытой формы тестовых заданий по сравнению с открытой формой[20]. В качестве альтернативы рассматривается способ заставить обучающихся глубже задуматься над вопросом - и это не просто ответ на вопрос как таковой, а несколько предложений, представленных в виде короткого эссе. При этом часть информации, в данном эссе - верна, а часть - нет, при этом студенты должны выявить существующие ошибки [1,16]. Такой вид задания, по мнению авторов, позволит не просто угадать ответ на вопрос, а заставит задуматься о процессе и механизмах. Поскольку, по мнению других авторов, самой распространенной проблемой при анализе вопросов с множественным выбором являются «неоптимальные неправильные ответы» [7,13]. В проведенном недавно исследовании было рассмотрено количество правильных ответов (три, четыре или пять вариантов) с точки зрения надежности теста, сложности заданий и статистики соответствия заданий, в котором не было обнаружено никаких доказательств существенных различий между количеством вариантов ответов [20]. Рядом авторов в качестве альтернативы вопросам МСО, предлагается использовать задания с выбором одного правильного ответа, которые минимизируют угадывание (потому что обычно предусмотрены все возможные варианты) [21,23]. Проведенные исследования подтверждают, что стандартные задания с одним лучшим ответом также достигают лучшей дискриминации, чем МСО, несмотря на то, что связаны с более высокими баллами студентов и более низкой степенью трудности. Однако, возможно, что именно с целью обучения такой вид вопроса является наиболее подходящим вариантом, поскольку обеспечивает высокую производительность, дискриминацию среди студентов без излишних трудностей, увеличивает участие и вовлеченность студентов, в отличие от более сложных вопросов, способных отпугнуть обучающихся. Анализ результатов проведённого исследования также показал, что на первом году обучения патологии, вопросы на запоминание менее сложны для студентов, чем вопросы с клиническими ситуациями, при этом следует особо отметить, что данные различия стираются с каждым последующим годом обучения. Итоговые экзамены, включающие оценку теоретических знаний и клинических навыков, требуют от обучающихся демонстрации умения классифицировать информацию о пациенте, извлекать важные результаты обследований, обобщать их и делать заключение [25]. Однако, несоблюдение стандартных правил написания тестов может сделать экзаменационные вопросы легче или сложнее, чем предполагалось, о чем свидетельствуют результаты исследований оценивающих качество тестов [12,21]. В связи с чем, в последнее время в мировой практике при обучении медицине все чаще используют задания, основанные на клинических
ситуациях [26]. Вопросы с кратким описанием клинической ситуации в условии имеют несколько преимуществ. Во-первых, использование вопросов, требующих от обучающегося решения клинической ситуации, делает обучение гораздо реалистичнее. Во-вторых, такие вопросы будут сосредоточены с большей вероятностью на важной информации, а не на мелочах. В-третьих, эти вопросы помогают выявить тех обучающихся, которые заучили большое количество фактической информации, но не способны эффективно использовать ее в клинической ситуации [24]. Отражая это изменение, большинство вопросов (62%) в нашем исследовании содержали клиническую ситуацию, которая, однако, не ведет к большим сложностям или лучшей дискриминации среди студентов. Интересно, что другие исследования показали, что присутствие клинической ситуации в вопросе связано с лучшей дискриминацией, но только среди обучающихся на втором году обучения патологии, поскольку обучающиеся с каждым годом прогрессируют через учебную программу медицинского образования в направлении клинической практики.
Интересно, что вопросы, включающие изображения, независимо макро- или микроскопические, коррелируют с лучшей дискриминацией студентов, хотя они не были существенно связаны с более низкими баллами обучающихся или более высокой степенью сложности. Можно предположить, что идентификация специфических изображений требует определенного набора навыков, которые, хоть и не связаны напрямую с более низкими результатами, но позволяют выявить студентов, которые могут лучше анализировать визуальную информацию. Это особенно специфично для таких медицинских специальностей, как патология и лучевая диагностика, основанных визуальном распознавании патологических процессов. Отсутствие изображений при тестированиях в процессе обучения в медицинском вузе, учитывая, что даже при изучении патологии только 25% всех тестовых вопросов содержали изображение, и присутствие дискомфорта у обучающихся при интерпретации специфических изображений могут усугублять некоторые недостатки выпускников медицинских вузов, особенно работающих впоследствии по данным специальностям. Особо следует отметить, что и вопрос с изображением может проверить только навыки запоминания (т. е. простое запоминание изображения, которое было ранее показано, например, на практическом занятии или лекции), а не клиническое мышление. Немаловажно, что из 40 вопросов с изображением в проведенном исследовании, 5 (12,9%) требовали интерпретации (по сравнению с простым ответом), что значительно больше, чем в 2 из 120 вопросов (1,67%) без изображения, требующего интерпретации (р=0,02), что возможно и объясняет предполагаемую причину лучшей дискриминации, наблюдаемую между этими типами вопросов в проведенном исследовании. Подчеркивая гипотезу о том, что специфические изображения могут быть особенно важны для коэффициента дискриминации, но только в медицинских дисциплинах, связанных с диагностикой заболеваний, таких как патология, подобное исследование же при изучении нормальной гистологии не обнаружило различия в сложности или дискриминационной способности заданий с иллюстрацией и без нее [25].
Таксономия Блума часто используется для оценки навыков критического мышления обучающихся и определения вопросов MCQ более высокого порядка, способствующих более глубокому концептуальному пониманию медицинских и научных концепций. Некоторые авторы обнаружили, что элементы таксономии Блума более высокого уровня коррелируют с более высокими показателями дискриминации и сложности, особенно в более ранних, формативных оценках[1,7]. Они иерархически ранжированы на различные уровни по таксономии Блума, но не предназначены для прямой аналогии по степеням сложности. Таким образом, только потому, что вопрос заключается в проверке основных навыков запоминания, не обязательно означает, что это он должен быть проще, чем вопрос более высокого порядка, особенно если его содержание для оценивания является неясным, подробным или эзотерическим. Дискриминация не должна улучшаться автоматически с вопросами более высокого уровня таксономии Блума. Ведь таксономия Блума предназначена, в первую очередь, для измерения когнитивного уровня и только потом для выявления вопроса о наличии у студентов трудностей с вопросами более высокого порядка. Таксономия Блума [14] оказывается весьма продуктивным инструментом при анализе наборов компетенций. Так, оказывается, что требования к знаниям относятся к нижним ступеням пирамиды Блума (знание-понимание-применение), а требования к компетенциям - к верхним ступеням (анализ-синтез-критическая оценка). Подчеркивая этот факт, проведенные исследования в соответствии с таксономией Блума показали, что, хотя студенты и выполнили в среднем хуже вопросы более высокого уровня, у них не было особых проблем с трудностью и плохой дискриминационной эффективностью в них. Критерии, определяющие качество медицинского образования, постоянно обновляются, при этом качество образовательного процесса продолжает, определяется совокупностью показателей и критериев оценивания. В современных системах менеджмента высшего медицинского образования все больший вес приобретают требования разных заинтересованных сторон, что в свою очередь влечет за собой необходимость разработки и применения новых инструментов оценки результативности обучения. Контроль должен рассматриваться не только как процесс оценивания с выставлением соответствующего балла, но и как процесс обучения студентов: концентрация внимания на важных вопросах, структуризация базисных знаний, мотивация к самостоятельному обучению и вовлеченность в учебный процесс. Правильнее говорить об обучающем тестировании, которое предполагает тесную интеграцию процесса обучения и контроля обучения [1,6]. Таким образом, хотя определенные характеристики, такие как продолжительность итогового экзамена или размер выборки испытуемых может повлиять на результаты мониторинга учебного процесса, сложность задания и дискриминация повсеместно признаны критериями качества в медицинской литературе. Тем не менее, альтернативные подходы, такие как, использование тестовых заданий открытой формы или использование разных форматов вопросов рекомендованы к использованию, особенно для проверки навыков при решении проблем более
высокого уровня. Однако, до сих пор не совсем ясно, как эти типы вопросов предложат лучшую оценку когнитивного функционирования высшего порядка или внесут вклад в более высокую достоверность оценок. К сожалению, нет какого-то одного универсального метода оценивания. Все методы оценки имеют ограничения, и ни один метод не может полностью оценить знания и навыки, вот почему рекомендуется использование нескольких методов оценки для большей достоверности оценки знаний и навыков студентов [5,9]. Целью должна быть оценка с комбинацией вопросов различной сложности и дискриминативной способностью, которая позволит идентифицировать разные типы студентов и имеющихся у них знаний. В этом отношении оценки должны быть конкретно связаны с четко сформулированной целью программы медицинского образования и с усилиями по увеличению индивидуального обучения, обучающегося («оценка для обучения»).
Следует особо отметить, что у проведенного исследования есть несколько ограничений. Учитывая его дизайн (сбор ретроспективных данных одного учреждения), выводы исследования, нелегко обобщить. Существующие различия в программах бакалавриата могут исключить использование наших выводов к другим медицинским образовательным учреждениям. Особенно учитывая тот факт, что в некоторых из них, отдельный курс по общей патологии не предусмотрен. Кроме того, следует отметить и неравноценность шкал оценки между медицинскими вузами, выводы о степени сложности не могут быть перенесены на другие курсы. Однако, в проведенном исследовании характеристики вопросов оценивались при изучении патологии (например, с точки зрения включения специфических патологических изображений) конкретно в бакалавриате, и наши выводы могут быть информативны и полезны. Мы постарались свести к минимуму выборку и сообщить о предвзятости, включив все вопросы оценки в наш анализ и используя стандартизированные определения трудностей, индексы дискриминации, при этом включение большого количества пройденных попыток и использование статистического анализа позволили нам интерпретировать наши результаты с некоторой уверенностью.
Результаты показали, что определенные типы вопросов, особенно MCQ и тесты с более глубокими уровнями информации (например, интерпретация) связаны с более низкими оценками студентов и более высокой степенью трудности, тогда как другие, такие как выбор одного правильного ответа и содержащие специфическое изображение, лучше воспринимаются среди студентов при изучении патологии. Вот почему оценивание в медицинском образовании для достижения оптимального уровня успеваемости студентов с точки зрения трудности и дискриминации, должно, по мере необходимости, включать различные комбинации типов вопросов. Проведенное исследование позволяет заключить, что количественная оценка сложности учебных заданий, необходима для прогнозирования трудности решения задач обучающимися. Пандемия COVID-19 потребовала разработки и внедрения новых методов контроля и оценки. Это также дало возможность улучшить разработку, планирование и реализацию программы оценки, которая соответствует
представлению медицинского образования на основе профессиональных качеств. При этом мониторинг эффективности обучения позволяет получать объективную и достоверную информацию о ходе и результатах обучения, о степени его эффективности, своевременно выявлять проблемы и принимать управленческие решения по его совершенствованию.
Вклад авторов. Все авторы принимали равносильное участие при написании данной статьи. Конфликт интересов - не заявлен. Данный материал не был заявлен ранее, для публикации в других изданиях и не находится на рассмотрении другими издательствами. При проведении данной работы не было финансирования сторонними организациями и медицинскими представительствами. Финансирование - не проводилось.
Авторлардьщ улесь Барлык авторлар осы макаланы
жазуга тен, дэрежеде катысты.
Мудделер цацтьгеысы - мэлiмделген жо;.
Бул материал баска басылымдарда жариялау Yшiн
бурын мэлiмделмеген жэне баска басылымдардын,
карауына усынылмаган.
Осы жумысты ЖYргiзу кезiнде сырт;ы уйымдар мен медициналы; екшджтердщ каржыландыруы жасалган жок.
Царжыландыру жYргiзiлмедi.
Authors' Contributions. All authors participated equally
in the writing of this article.
No conflicts of interest have been declared.
This material has not been previously submitted for
publication in other publications and is not under
consideration by other publishers.
There was no third-party funding or medical
representation in the conduct of this work.
Funding - no funding was provided.
СПИСОК
1 Sabzwari S. Rethinking Assessment in Medical Education in the time of COVID-19.MedEdPublish.2020;9(1):80. D01:https://doi.org/10.15694/mep.2020.000080.1
2 Мусабекова СА. Дистанционное обучение в медицине: реалии 2020 года. Вестник Казахского национального медицинского университета. 2020;(3):356-360.
3 Sohrmann M, Berendonk C, Nendaz M, Bonvin R, Swiss Working Group For Profiles Implementation. Nationwide introduction of a new competency framework for undergraduate medical curricula: a collaborative approach. Swiss Med Wkly. 2020 Apr 15;150:w20201. DOI: 10.4414/smw.2020.20201. PMID: 32294223.
4 Burgess A, Matar E, Roberts C, et al. Scaffolding medical student knowledge and skills: team-based learning (TBL) and case-based learning (CBL). BMC Medical Education. 2021 Apr;21(1):238. DOI: 10.1186/s12909-021-02638-3.
5 Поначугин АВ. Педагогический мониторинг деятельности студентов на электронный портфолио. Образовательные ресурсы и технологии. 2021;34 (1):7-12. DOI: 10.21777 / 2500-2112-2021-1-7-12
6 Al-Balas M, Al-Balas HI, Jaber HM, Obeidat K, Al-Balas H, Aborajooh EA, Al-Taher R, Al-Balas B. Distance learning in clinical medical education amid COVID-19 pandemic in Jordan: current situation, challenges, and perspectives. BMC Med Educ. 2020 Oct 2;20(1):341. DOI: 10.1186/s12909-020-02257-4.
7 Kaushik A, Jaiswal A, Singh A K, Rizvi G. Challenges to new undergraduate medical curriculum due to COVID-19 pandemic and possible solution in India. Med J DY Patil Vidyapeeth [Epub ahead of print] [cited 2021 Jul 7]. Available from: https://www.mjdrdypv.org/preprintarticle.asp?id=3164 10
8 Albarqouni L, Hoffmann T, Glasziou P. Evidence-based practice educational intervention studies: a systematic review of what is taught and how it is measured. BMC Med Educ. 2018;18(1):177.
9 Vipin V. Assessment and Evaluation- In Perspective of Medical Education. Nursing & Healthcare International Journal. 2018;(2). DOI: 10.23880/NHIJ-16000154.
10 Humphrey-Murto S, Wood TJ, Ross S, Tavares W, et al. Assessment pearls for competency-based medical education. Journal of Graduate Medical Education. 2017;9(6):688-691. DOI: https://doi.org/10.4300/JGME-D-17-00365.1
11 Hill M, Peters M, Salvaggio M, Vinnedge J & Darden A. Implementation and evaluation of a self-directed learning activity for first-year medical students. Medical Education Online. 2020;25(1). DOI: 10.1080/10872981.2020.1717780
12 Han ER, Yeo S, Kim MJ, Lee YH, Park KH, Roh H. Medical education trends for future physicians in the era of advanced technology and artificial intelligence: an integrative review. BMC Med Educ. 2019;19(1):460.
13 Preston R, Gratani M, Owens K, Roche P, Zimanyi M & Malau-Aduli B. Exploring the Impact of Assessment on Medical Students' Learning. Assessment &Evaluation in Higher Education. 2020;45(1):109-124, DOI: 10.1080/02602938.2019.1614145
14 Zaidi NLB, Grob KL, Monrad SM, et al. Pushing critical thinking skills with multiple-choice questions: does Bloom's taxonomy work? Acad Med. 2018;93(6):856-859.
15 Claramita M, Setiawati EP, Kristina TN, Emilia O, van der Vleuten C. Community-based educational design for undergraduate medical education: a grounded theory study. BMC Med Educ. 2019;19(1):258.
16 Самосадная ИЛ. Современные тенденции развития высшего образования в медицинских вузах России. Вестник научных конференций. 2019; 48 (8-1): 99-103.
17 Al-Khader Ali, Obeidat Fatima N, Abu-Shahin Nisreen, Khouri Nabil A, Kaddumi Ezidin G, Al-Qa'qa' Shifaa' et al . Medical Students' Perceptions of Pathology and a Proposed Curricular Integration with Histology: A Future Vision of Curricular Change. Int. J. Morphol. [Internet]. 2020 Feb [citado 2021 Jul 07] 38(1):38-42.Disponible en: http://www.scielo.cl/scielo.php?script=sci_arttext&pid=S 0717-95022020000100038&lng=es. DOI:http://dx.doi.org/10.4067/S0717-95022020000100038.
18 Шмарихина ЕС. Исследование факторов успеваемости обучающихся. Вестник НГУЭУ. 2018;(3). URL: https://cyberleninka.ru/article/n/issledovanie-faktorov-uspevaemosti-obuchayuschihsya (дата обращения: 08.06.2021).
19 Мусабекова СА, Ныгызбаева РЖ, Дусмаилов РМ, Нармагамбетов МГ. Повышение эффективности планирования образовательного процесса в Медицинском университете. Вестник КазНМУ. 2020;(1):192-194.
20 Zaidi NL, Grob KL, Monrad SU, Holman ES, Gruppen LD, Santen SA. Item quality improvement: what determines a
good question?: guidelines for interpreting item analysis reports. MedSciEduc. 2018;28(1):13-17.
21 Mahfuzar R. Challenges in Medical Education: A Long Way up to Meet. Anwer Khan Modern Medical College Journal. 2017;(6). DOI: 10.3329 / akmmcj.v6i2.31571
22 Гржибовский А.М., Горбатова М.А., Наркевич А.Н., Виноградов К.А. Объем выборки для корреляционного анализа. Морская медицина. 2020;6(1):101-106. DOI: https://doi.org/10.22328/2413-5747-2020-6-1-101-106
23 Mortaz Hejri S, Jalili M, Masoomi R, Shirazi M et al. The utility of mini-Clinical Evaluation Exercise in undergraduate and postgraduate medical education: A BEME review: BEME Guide No. 59. Medical Teacher.
2020;42(2):125-142. DOI:
https://doi.org/10.1080/0142159X.2019.1652732
24 Ikah DS, Finn GM, Swamy M, White PM, McLachlan JC. Clinical vignettes improve performance in anatomy practical assessment. Anat Sci Educ. 2015;8(3):221-229.
25 King TS, Sharma R, Jackson J, Fiebelkorn KR. Clinical case-based image portfolios in medical histopathology. Anat Sci Educ. 2019;12(2):200-209.
26 Patterson F, Zibarras L, Ashworth V. Situational judgement tests in medical education and training: Research, theory and practice: AMEE Guide No. 100. Med Teach. 2016;38(1):3-17. DOI: 10.3109/0142159X.2015.1072619.
REFERENCES
1 Sabzwari S. Rethinking Assessment in Medical Education in the time of C0VID-19.MedEdPublish.2020;9(1):80. DOI:https://doi.org/10.15694/mep.2020.000080.1
2 Musabekova SA. Distancionnoe obuchenie v medicine: realii 2020 goda. Vestnik Kazahskogo nacional'nogo medicinskogo universiteta. 2020;(3):356-360.
3 Sohrmann M, Berendonk C, Nendaz M, Bonvin R, Swiss Working Group For Profiles Implementation. Nationwide introduction of a new competency framework for undergraduate medical curricula: a collaborative approach. Swiss Med Wkly. 2020 Apr 15;150:w20201. DOI: 10.4414/smw.2020.20201. PMID: 32294223.
4 Burgess A, Matar E, Roberts C, et al. Scaffolding medical student knowledge and skills: team-based learning (TBL) and case-based learning (CBL). BMC Medical Education. 2021 Apr;21(1):238. DOI: 10.1186/s12909-021-02638-3.
5 Ponachugin AV. Pedagogicheskij monitoring dejatel'nosti studentov na jelektronnyj portfolio. Obrazovatel'nye resursy i tehnologii. 2021;34 (1):7-12. DOI: 10.21777 / 2500-2112-2021-1-7-12
6 Al-Balas M, Al-Balas HI, Jaber HM, Obeidat K, Al-Balas H, Aborajooh EA, Al-Taher R, Al-Balas B. Distance learning in clinical medical education amid COVID-19 pandemic in Jordan: current situation, challenges, and perspectives. BMC Med Educ. 2020 Oct 2;20(1):341. DOI: 10.1186/s12909-020-02257-4.
7 Kaushik A, Jaiswal A, Singh A K, Rizvi G. Challenges to new undergraduate medical curriculum due to COVID-19 pandemic and possible solution in India. Med J DY Patil Vidyapeeth [Epub ahead of print] [cited 2021 Jul 7]. Available from: https://www.mjdrdypv.org/preprintarticle.asp?id=3164 10
8 Albarqouni L, Hoffmann T, Glasziou P. Evidence-based practice educational intervention studies: a systematic review of what is taught and how it is measured. BMC Med Educ. 2018;18(1):177.
9 Vipin V. Assessment and Evaluation- In Perspective of Medical Education. Nursing & Healthcare International Journal. 2018;(2). DOI: 10.23880/NHIJ-16000154.
10 Humphrey-Murto S, Wood TJ, Ross S, Tavares W, et al. Assessment pearls for competency-based medical education. Journal of Graduate Medical Education. 2017;9(6):688-691. DOI: https://doi.org/10.4300/JGME-D-17-00365.1
11 Hill M, Peters M, Salvaggio M, Vinnedge J & Darden A. Implementation and evaluation of a self-directed learning activity for first-year medical students. Medical Education Online. 2020;25(1). DOI: 10.1080/10872981.2020.1717780
12 Han ER, Yeo S, Kim MJ, Lee YH, Park KH, Roh H. Medical education trends for future physicians in the era of
advanced technology and artificial intelligence: an integrative review. BMC Med Educ. 2019;19(1):460.
13 Preston R, Gratani M, Owens K, Roche P, Zimanyi M & Malau-Aduli B. Exploring the Impact of Assessment on Medical Students' Learning. Assessment &Evaluation in Higher Education. 2020;45(1):109-124, DOI: 10.1080/02602938.2019.1614145
14 Zaidi NLB, Grob KL, Monrad SM, et al. Pushing critical thinking skills with multiple-choice questions: does Bloom's taxonomy work? Acad Med. 2018;93(6):856-859.
15 Claramita M, Setiawati EP, Kristina TN, Emilia O, van der Vleuten C. Community-based educational design for undergraduate medical education: a grounded theory study. BMC Med Educ. 2019;19(1):258.
16 Samosadnaja IL. Sovremennye tendencii razvitija vysshego obrazovanija v medicinskih vuzah Rossii. Vestnik nauchnyh konferencij. 2019; 48 (8-1): 99-103.
17 Al-Khader Ali, Obeidat Fatima N, Abu-Shahin Nisreen, Khouri Nabil A, Kaddumi Ezidin G, Al-Qa'qa' Shifaa' et al . Medical Students' Perceptions of Pathology and a Proposed Curricular Integration with Histology: A Future Vision of Curricular Change. Int. J. Morphol. [Internet]. 2020 Feb [citado 2021 Jul 07] 38(1):38-42.Disponible en: http://www.scielo.cl/scielo.php?script=sci_arttext&pid=S 0717-95022020000100038&lng=es. DOI:http://dx.doi.org/10.4067/S0717-95022020000100038.
18 Shmarihina ES. Issledovanie faktorov uspevaemosti obuchajushhihsja. Vestnik NGUJeU. 2018;(3). URL: https://cyberleninka.ru/article/n/issledovanie-faktorov-uspevaemosti-obuchayuschihsya (data obrashhenija: 08.06.2021).
19 Musabekova SA, Nygyzbaeva RZh, Dusmailov RM, Narmagambetov MG. Povyshenie jeffektivnosti planirovanija obrazovatel'nogo processa v Medicinskom universitete. Vestnik KazNMU. 2020;(1):192-194.
20 Zaidi NL, Grob KL, Monrad SU, Holman ES, Gruppen LD, Santen SA. Item quality improvement: what determines a good question?: guidelines for interpreting item analysis reports. Med Sci Educ. 2018;28(1):13-17.
21 Mahfuzar R. Challenges in Medical Education: A Long Way up to Meet. Anwer Khan Modern Medical College Journal. 2017;(6). DOI: 10.3329 / akmmcj.v6i2.31571
22 Grzhibovskij A.M., Gorbatova M.A., Narkevich A.N., Vinogradov K.A. Ob#em vyborki dlja korreljacionnogo analiza. Morskaja medicina. 2020;6(1):101-106. DOI: https://doi.org/10.22328/2413-5747-2020-6-1-101-106
23 Mortaz Hejri S, Jalili M, Masoomi R, Shirazi M et al. The utility of mini-Clinical Evaluation Exercise in undergraduate and postgraduate medical education: A BEME review: BEME Guide No. 59. Medical Teacher.
2020;42(2):125-142. DOI:
https://doi.org/10.1080/0142159X.2019.1652732
24 Ikah DS, Finn GM, Swamy M, White PM, McLachlan JC. Clinical vignettes improve performance in anatomy practical assessment. Anat Sci Educ. 2015;8(3):221-229.
25 King TS, Sharma R, Jackson J, Fiebelkorn KR. Clinical case-based image portfolios in medical histopathology. Anat Sci Educ. 2019;12(2):200-209.
26 Patterson F, Zibarras L, Ashworth V. Situational judgement tests in medical education and training: Research, theory and practice: AMEE Guide No. 100. Med Teach. 2016;38(1):3-17. DOI:
10.3109/0142159X.2015.1072619.
Контактные данные
Мусабекова Сауле Амангельдиевна кандидат медицинских наук, ассоциированный профессор, ассоциированный профессор кафедры патологии Медицинский Университет Караганды musabekovas@qmu.kz , Караганда, Казахстан, +7(701)6221762 ОЯСШ: 0000-0001-9622-8218 https://orcid.org/0000-0001-9622-8218
