CC BY
26
ДИДАКТИЧЕСКОЕ ТЕСТИРОВАНИЕ В МЕДИЦИНСКОМ ОБРАЗОВАНИИ: АНАЛИЗ РЕЗУЛЬТАТОВ НА КАФЕДРЕ АНАТОМИИ ЧЕЛОВЕКА
Ивачев П.В., Майорова А.С., Митрофанова К.А.
ФГБОУ ВО «Уральский государственный медицинский университет» Минздрава России, Екатеринбург, Россия
Внедрение информационно-коммуникационных технологий - обязательное условие обеспечения образовательного процесса в медицинском университете. С их помощью дидактическое тестирование результатов обучения студентов становится естественным процессом улучшения системы оценки в медицинском образовании. В статье представлен анализ данных дидактического тестирования студентов лечебно-профилактического факультета ФГБОУ ВО «Уральский государственный медицинский университет» Минздрава России по дисциплине «Анатомия», полученных в ходе экзаменационной зимней сессии 2018/2019 учебного года. Методика дидактического тестирования, используемая на кафедре анатомии человека, доказала свою валидность. Результаты анализа применимы к мониторингу оценки качества учебного процесса на кафедре, позволяют предложить критериальное значение для конвертации в традиционную для отечественной образовательной системы оценочную шкалу, а в перспективе - для европейской системы перевода и накопления баллов.
Для цитирования: Ивачев П.В., Майорова А.С., Митрофанова К.А. Дидактическое тестирование в медицинском образовании: анализ результатов на кафедре анатомии человека // Медицинское образование и профессиональное развитие. 2019. Т. 10, № 3. С. 72-80. doi:10.2441 1/2220-8453-2019-13008.
Статья поступила в редакцию 08.04.2019. Принята в печать 20.08.2019.
Ключевые слова:
промежуточная аттестация, методика оценки учебных достижений, компетентностный подход, компьютерное тестирование, анатомия, студент-медик
DIDACTIC TESTING IN MEDICAL EDUCATION: THE RESULT ANALYSIS AT THE DEPARTMENT OF HUMAN ANATOMY
Ivachev P.V., Mayorova A.S., Mitrofanova K.A.
Ural State Medical University, Yekaterinburg, Russia
Introduction of information and communication technologies is obligatory to maintain the educational process at medical school. They are used to develop the didactic testing of student academic outcomes according to subjects. Thus, it helps to improve the assessment system in undergraduate medical education. The paper presents the data analysis of didactic testing among students of the General Medicine Faculty of the Ural State Medical University in the subject "Anatomy" obtained during examination session in 2018/2019 academic year. The method of didactic testing used at the department of human anatomy proved to be valid. The results of the analysis can be used to monitor the quality of the educational process at the department; they also allow to offer criterial rates to convert the results into the conventional for Russian educational system assessment scale, and prospectively into the European Credit Transfer and Accumulation System.
For citation: Ivachev P.V., Mayorova A. S., Mitrofanova K.A. Didactic testing in medical education: the result analysis at the department of human anatomy. Meditsinskoe obrazovanie i professional'noe razvitie [Medical Education and Professional Development]. 2019; 10 (3): 72-80. doi: 10.2441 1/2220-8453-2019-13008. (in Russian] Received 08.04.2019. Accepted for publication 20.08.2019.
Keywords:
midterm assessment, methods of academic performance evaluation, competency approach, computer testing, anatomy, medical student
Дидактическое тестирование в медицинском образовании: анализ результатов на кафедре анатомии человека
В последние десятилетия информационные технологии получили активное развитие, они все больше проникают в различные сферы профессиональной деятельности. И образование не стало исключением. В последнее время в образовательном процессе ФГБОУ ВО «Уральский государственный медицинский университет» Минздрава России системно используются информационные технологии [1]. В стратегии инновационного развития нашего вуза цифровизация обучения представляет приоритетную задачу - ее решение позволяет вывести образовательный процесс на качественно новый конкурентный уровень. Благодаря широкому распространению информатизации в вузе и изменению педагогических парадигм преподаватели понимают необходимость применения компьютерных технологий и электронного обучения в образовательной деятельности [2]: виртуализация образовательных ресурсов, дистанционное взаимодействие субъектов образовательной деятельности, смена старых методик подачи материала в соответствии с новым технологическим уровнем, систематика и обновление тестирующих компьютерных программ для текущего, рубежного, промежуточного контроля и оценки результатов обучения, а также для итоговой государственной аттестации [3].
Кафедра анатомии человека ФГБОУ ВО «Уральский государственный медицинский университет» Минздрава России в своем развитии целенаправленно следует траектории, ориентированной на цифровизацию обучения. Области исследований, проводимых преподавателями в этом направлении: современные технологии профессионального образования; образовательная среда профессиональ-
ного учебного заведения; диагностика качества профессионального образования; инновационные технологии в области профессионального образования; компетентностный подход в профессиональной подготовке специалиста. Обобщенная научная тема проводимых на кафедре исследований - «Современная информационно-коммуникационная предметная среда, направленная на повышение качества медицинского образования». Основные достижения педагогического состава в данной области исследований изложены в многочисленных журнальных публикациях и в 2 коллективных монографиях, опубликованных в 2014 и 2017 гг. [4, 5].
На кафедре анатомии человека тоже растет интерес к текущему тестированию обучающихся. В связи с ориентацией на образовательные программы вуза, разнообразием форматов и уровней сложности проведения тестового контроля актуальны исследования, связанные с оценкой качества учебной деятельности [6]. В настоящее время усилия педагогического коллектива сконцентрированы на изучении возможностей применения электронных аттестационных педагогических измерительных материалов (АПИМ), построенных на принципах дидактической диагностики [7]. Одним из путей решения данного вопроса могут стать проведение экзаменационного компьютерного дидактического тестирования и системный анализ полученных данных. Такое тестирование с 2017 г. предусмотрено для проведения промежуточной аттестации студентов лечебно-профилактического факультета ФГБОУ ВО «Уральский государственный медицинский университет» Минздрава России.
МАТЕРИАЛ И МЕТОДЫ
Сотрудники кафедры анатомии человека за 4 года создали обширную электронную базу иллюстрированных контрольных тестовых заданий по данной дисциплине. Часть тестов внедрена в учебный процесс и активно используется для текущего и рубежного контроля, для оценки уровня освоения контролируемых учебных элементов: знаний, умений и навыков. Полная база превышает 1500 контрольных заданий закрытого типа и используется при проведении экзамена в формате дидактического тестирования. Число контрольных заданий в каждой дидактической единице пропорционально трудоемкости, отводимой на ее изучение рабочей программой. Фонд тестовых заданий на 40% представлен вопросами с возможностью выбора единственно правильного ответа. 50% вопросов предусматривает выбор нескольких правильных ответов. Тестовые задания на сопоставление, когда нужно найти правильные логические пары, составляют 10%. Набор тестовых заданий для каждого студента подбирает компьютер случайным способом.
Мы рассматриваем дидактический тест как метод системной оценки результатов тестирования по всем темам и разделам дисциплины (дидактическим единицам) [3, 8]. Такой подход полностью соответствует современным принципам управления качеством образования и выполняет требования, определенные федеральным государственным образовательным стандартом.
Объект измерения качества обучения при экзаменационном интернет-тестировании представляют контролируемые учебные элементы: знания, умения
и навыки, которые студент усвоил по каждой из 12 дидактических единиц (ДЕ) учебной дисциплины «Анатомия». Термин «дидактическая единица» общепринят и включает в себя предметную тему учебной дисциплины, подлежащую обязательному изучению в процессе подготовки специалистов.
Инструментом оценки качества освоения контролируемых учебных элементов служат дидактические тестовые задания, которые охватывают все разделы и темы лекций и практических занятий. Тестовые материалы на кафедре анатомии человека разделены по 12 основным темам: остеология, краниология, артрология, миология, пищеварительная система, дыхательная система, мочеполовая система, кровеносная система, центральная нервная система, вегетативная нервная система, органы чувств и соматическая нервная система.
Студентам в ходе экзаменационного дидактического тестирования предлагали в течение 30 мин выполнить 36 контрольных заданий. На каждую ДЕ отводили по 3 контрольных задания. Критерием успешного освоения каждой ДЕ считали нахождение правильных ответов минимум на 2 контрольных задания из 3 предложенных (г66%). Критерием положительной оценки персональных данных дидактического тестирования считали достижение студентом минимального 66% уровня правильных ответов на 36 контрольных заданий, подобранных случайным способом из дидактической базы данных, а также определенное количество освоенных ДЕ не ниже 8 из 12 предложенных, что составляет г66%.
Показатель достигнутого критериального уровня положительного результата
Дидактическое тестирование в медицинском образовании: анализ результатов на кафедре анатомии человека
в исследуемой группе студентов, проходивших дидактическое тестирование, -это доля студентов, преодолевших минимальный критериальный уровень правильных ответов и освоивших не менее 8 из 12 ДЕ по дисциплине по отношению к общему контингенту выборки в процентном соотношении.
В ходе процедуры дидактического тестирования компьютер фиксировал следующие параметры: начальное время, время тестирования, число допущенных ошибок, процент правильных ответов на все ДЕ, процент правильных ответов по каждой ДЕ, число освоенных контрольных заданий в каждой ДЕ.
РЕЗУЛЬТАТЫ
К процедуре дидактического тестирования в 2018/2019 учебном году были допущены 254 человека, выполнивших требования по освоению контролируемых учебных элементов рабочей программы дисциплины «Анатомия» в течение всего периода обучения на кафедре: в 1-м, 2-м и 3-м семестрах.
Анализ данных дидактического тестирования показал следующее.
100 человек освоили 12 из 12 ДЕ, или 39,4% общего числа студентов, проходивших тестирование. Гистограмма распределения правильных ответов на все ДЕ в данной группе находится в диапазоне от 78 до 100%, что можно считать неоднородным признаком (М=94,12; о=4,86). С учетом сигмального отклонения большая часть полученных данных (91%) укладывается в диапазон от 87 до 100%, что применительно к 4-балльной шкале можно считать отличным результатом
уровня освоения ДЕ и процентной доли правильных ответов на них.
56 человек освоили 11 из 12 ДЕ, или 22% общего числа студентов, проходивших тестирование. На гистограмме распределение процентной доли правильных ответов в этой группе находится в диапазоне от 70 до 96%, что также можно считать неоднородным (М=86,32; о=4,81). С учетом сигмального отклонения большая часть полученных данных (86%) в данной группе укладывается в диапазон от 8796%, что применительно к 4-балльной шкале можно считать хорошим уровнем освоения ДЕ.
31 человек освоил 10 из 12 ДЕ, или 12,2% общего числа студентов, проходивших тестирование. На гистограмме распределение правильных ответов в этой группе находится в диапазоне от 74 до 92% (М=81,23 о=3,99). С учетом сигмального отклонения большая часть полученных данных (91%) в этой группе укладывается в диапазон от 78-92%, что можно считать удовлетворительным уровнем освоения ДЕ.
20 человек освоили 9 из 12 ДЕ, или 7,9% общего числа студентов, проходивших тестирование. При этом распределение правильных ответов в этой группе находится в диапазоне от 63 до 84%. 2 студента не прошли минимальное критериальное значение 66% правильных ответов. С учетом сигмального отклонения большая часть полученных данных (90%) в этой группе (п=18) укладывается в диапазон от 66-84%, что можно считать удовлетворительным.
20 студентов освоили 8 из 12 ДЕ, или 8,6% общего числа студентов, проходивших тестирование. При этом распределение правильных ответов в этой группе находится в диапазоне от 62 до 72%. Об-
ращает на себя внимание, что 6 студентов не прошли минимальное критериальное значение 66% правильных ответов, и их результат расценивался как неудовлетворительный. Таким образом, минимальное критериальное значение 66% правильных ответов прошли 16 человек, освоивших 8 из 12 ДЕ, что мы оценивали как удовлетворительный результат.
33 студента не прошли минимальное критериальное значение 66% правильных ответов и/или освоили менее 8 ДЕ. Результаты дидактического тестирования в этой группе расценивали как неудовлетворительные.
Сведения об освоении ДЕ в сравнении с процентной долей правильных ответов представлены в табл. 1, что позволяет их проанализировать и предложить ориентировочную шкалу оценки полученных результатов.
Неоднородное распределение процентной доли правильных ответов по уровню освоенных ДЕ побудило нас к поиску возможных причин такой закономерности. Для поиска ответа проанализированы уровни освоения определенных ДЕ в исследуемой группе студентов. Сведения представлены в табл. 2.
Анализ сведений, представленных в табл. 2, показывает, что наибольшие затруднения у студентов вызвали темы «Кровеносная система» (20,0%), «Вегетативная нервная система» (23,2%), -значения неосвоенных ДЕ значительно превышают отклонения от средней статистической величины. Многолетний опыт преподавания подтверждает, что учебный материал по данным темам наиболее сложен для усвоения, а студенты часто переоценивают свои способности. Обращает на себя внимание то, что существенная доля студентов не достигла критериального значения освоения определенных дидактических единиц. Выявленный факт нуждается в коррекционных педагогических мероприятиях, например в увеличении аудиторного времени для занятий по данным темам, внимательном и акцентном подходе к студентам со стороны преподавателей, увеличении в тестовой базе доли педагогических измерительных материалов с одиночным выбором вариантов ответа.
Анализ полученных результатов продвигает к пониманию дальнейших действий, формирует обзор существующих проблем и предлагает пути их решения.
Таблица 1. Сведения об освоении дидактических единиц с учетом доли правильных ответов
Освоено ДЕ Доля правильных ответов, % Число студентов Доля студентов, % Шкала оценки
12 из 12 87-100 91 35,8 Отлично
12 из 12 78-86 9 3,5 Хорошо
11 из 12 70-96 56 22
10 из 12 74-92 31 12
9 из 12 66-84 18 7 Удовлетворительно
8 из 12 66-72 16 6,3
Менее 8 Менее 66 33 13 Неудовлетворительно
Примечание. Здесь и в табл. 2: ДЕ - дидактическая единица.
Дидактическое тестирование в медицинском образовании: анализ результатов на кафедре анатомии человека
Таблица 2. Доля студентов, не прошедших критериальное значение освоения определенных дидактических единиц
Перечень ДЕ Доля студентов, не освоивших ДЕ, %
Дыхательная система 8,3
Мочеполовой аппарат 8,7
Пищеварительная система 9,4
Артрология 9,4
Центральная нервная система 10,2
Скелет туловища и конечностей 12,6
Череп 12,6
Органы чувств 13,4
Миология 16,1
Соматическая нервная система 16,9
Кровеносная система 20,0
Вегетативная нервная система 23,2
М (среднее значение)/^ (среднее квадратичное отклонение) 13,4/4,77
При проведении экзаменационного контроля в режиме дидактического тестирования необходимо систематически пополнять и обновлять электронную базу тестовых заданий. Дидактические тесты должны иметь разный уровень сложности, детально охватывать каждую тему и представлять равноценные выборки тестовых заданий по каждой ДЕ. Анализ валид-ности количества и качества вопросов в пределах одной ДЕ представляет одну из основных тем для дальнейшего исследования на кафедре.
ОБСУЖДЕНИЕ
В медицинском образовании четко прослеживаются тенденции к унификации образовательных программ и измерительных материалов. В настоящее время электронное обучение закреплено на законодательном уровне, система тестовой диа-
гностики и оценки результатов обучения трансформирована в направлении контроля качества [9]. Механизмы гарантий качества образования определены стандартами и директивами Европейской ассоциации гарантии качества в высшем образовании (ENQA). В Европейских стандартах указано, что «...уровень знаний студентов должен оцениваться на профессиональной основе с учетом современных достижений в области тестовых и экзаменационных процедур. Результаты процедур оценки отражают эффективность организации процесса обучения в вузе» [9, 10].
В соответствии с мировыми стандартами гарантии качества высшего образования одной из методик оценки результатов обучения студента по завершении пройденного курса служит тестирование. Данная модель оценки рассматривается как составная часть текущей, рубежной, промежуточной и итоговой аттестации [11, 12]. Эта модель внедрена в балльно-
рейтинговую систему учета учебных достижений ФГБОУ ВО «Уральский государственный медицинский университет» Минздрава России [7, 13].
Результаты анализа данных промежуточной аттестации студентов лечебно-профилактического факультета в ходе зимней экзаменационной сессии 2018/2019 учебного года позволяют утверждать, что методика дидактического тестирования, применяемая на кафедре анатомии человека, доказала свою валидность и может быть применена для получения объективной характеристики результатов обучения как отдельных персоналий, так и академических групп студентов, а также курса в целом и последующих курсов. Одно из преимуществ методики дидактического тестирования состоит в сокращении издержек в связи с проведением экзамена в традиционном формате устного собеседования. Дидактическое тестирование может быть интегрировано в систему учета учебных достижений как разумная альтернатива субъективным методам оценки контролируемых учебных элементов. Данная методика объективно отражает уровень освоения ДЕ конкретным студентом в сравнении с референтной группой, что дает возможность преподавателю установить ДЕ, наиболее трудные для освоения профильной сту-
денческой аудиторией. Статистический анализ результатов дидактического тестирования позволяет выявить проблемные темы учебной дисциплины, где уровень неосвоенных исследуемой группой студентов отдельных ДЕ выходит за пределы доверительного интервала вариативных границ исследуемого признака, характеризующего генеральную совокупность в целом, и нацелить исследователей на поиск путей решения проблемы.
ЗАКЛЮЧЕНИЕ
Анализ полученных данных применим к мониторингу качества учебного процесса на кафедре. Дидактическая тестовая диагностика дает наиболее полное статистическое представление и понимание качества результата обучения, а следовательно, является индикатором качества процесса обучения. Непротиворечивые данные полученных измерений результатов освоения ДЕ позволяют конвертировать учебные достижения студентов в привычную для отечественной образовательной системы шкалу оценки контролируемых учебных элементов.
Конфликт интересов. Авторы заявляют об отсутствии конфликта интересов.
СВЕДЕНИЯ ОБ АВТОРАХ
Ивачев Петр Вениаминович (Ivachev Petr V.) - кандидат медицинских наук, доцент, заведующий кафедрой анатомии человека ФГБОУ ВО «Уральский государственный медицинский университет» Минздрава России, Екатеринбург, Россия E-mail: socionomusma0gmail.com https://orcid.org/0000-0002-3000-1499
Дидактическое тестирование в медицинском образовании: анализ результатов на кафедре анатомии человека
Майорова Алена Сергеевна (Mayorova Alena S.) - ассистент кафедры анатомии человека ФГБОУ ВО «Уральский государственный медицинский университет» Минздрава России, Екатеринбург, Россия E-mail: anatomiausmu0gmail.com https://orcid.org/0000-0002-3417-6229
Митрофанова Ксения Александровна (Mitrofanova Ksenia A.) - кандидат педагогических наук, доцент кафедры социальной работы и социологии медицины ФГБОУ ВО «Уральский государственный медицинский университет» Минздрава России, Екатеринбург, Россия E-mail: kmits0mail.ru https://orcid.org/0000-0003-0296-4762
ЛИТЕРАТУРА
1. Якимов А.А., Митрофанова К.А. Информационно-коммуникационная предметная среда в медицинском вузе: предпосылки создания и возможности развития // Дистанционное и виртуальное обучение. 2017. № 5 (119). С. 41-50.
2. Цибулько Г.Я., Пшеничный М.В. Смена образовательной парадигмы как ведущая тенденция инновационных изменений в системе современного образования // Молодой ученый. 2016. № 2 (106). С. 862-865.
3. Лаврентьева Н.Б., Лаврентьев Г.В. Инновационные обучающие технологии как интегративно-комплексное средство интенсификации учебно-познавательной деятельности студентов // Образование и общество. 2010. № 2 (61). С. 31-36.
4. Ивачев П.В., Митрофанова К.А., Петрова Л.Е. и др. Инновационные модели и технологии повышения качества медицинского образования. Екатеринбург : УГМУ, 2014. 188 с.
5. Ивачев П.В., Куликов С.Н., Якимов А.А. и др. Инновации в обучении и воспитании: траектория развития педагогических технологий кафедры анатомии человека. Екатеринбург : УГМУ, 2017. 184 с.
6. Авдеюк О.А., Крохалев А.В., Савкин А.Н., Приходьков К.В. и др. Использование компьютерного тестирования для промежуточной аттестации знаний студентов безотрывной формы обучения // Молодой ученый. 2012. № 12. С. 450-452.
7. Куликов С.Н., Митрофанова К.А., Ивачев П.В. Развитие системы дидактического тестирования результатов обучения в медицинском вузе // Инновации в образовании. 2016. № 2. С. 111-123.
8. Нуждин О.Ю., Ивачев П.В., Куликов С.Н., Митрофанова К.А. Педагогическая диагностика результатов обучения на примере учебного курса «Анатомия человека» // Инновации в образовании. 2016. № 11. С. 90-100.
9. Стандарты и рекомендации для гарантии качества высшего образования в европейском пространстве. Йошкар-Ола : Аккредитация в образовании, 2008. 58 с.
10. Галимов А.М. Гарантии качества высшего профессионального образования // Казан. пед. журн. 2009. № 1 1-12 (77-78). С 68-73.
11. Глыбочко П.В. Непрерывное профессиональное образование врачей: опыт внедрения инновационных технологий // Мед. образование и вузовская наука. 2014. № 1 (5). С. 4-7.
12. Пачурин Г.В., Тюмина Н.С., Шевченко С.М. Анализ тестирования как средства контроля знаний обучающихся // Соврем. проблемы науки и образования. 2017. № 4. С. 168.
13. Якимов А.А., Митрофанова К.А. Содержание виртуальной обучающей среды для студентов-медиков // Право и образование. 2018. № 4. С. 70-78.
REFERENCES
1. Yakimov А.А., Mitrofanova К.А. Information and communication subject media in medical school: background and development. Distantsionnoe i virtual'noe obuchenie [Distance and Virtual Learning]. 2017; 5 (119): 41-50. (in Russian)
2. Tsybul'ko G.Y., Pshenichnyi M.V. Change of educational paradigm as a leading tendency of innovation changes in the system of modern education. Molodoy uchoniy [Young Scientist]. 2016; 2 (106): 862-5. (in Russian)
3. Lavrent'eva N.B., Lavrent'ev G.V. Innovative teaching technologies as an integrative complex means to intensify students' studying activities. Obrazovanie i obshchestvo [Education and Society]. 2010; 2 (61): 31-6. (in Russian)
4. Ivachev P.V., Mitrofanova К.А., Petrova L^., et al. Innovative Models and Technologies to Improve Medical Education Quality. Ekaterinburg: UGMU, 2014: 188 p. (in Russian)
5. Ivachev P.V., Kulikov S.N., Yakimov А.А., et al. Innovations in Teaching and Learning: the Trajectory of Pedagogical Technologies Development at the Department of Human Anatomy. Ekaterinburg: UGMU, 2017: 184 p. (in Russian)
12.
13.
Avdeyuk O.A., Krohalev A.V., Savkin A.N., Prihod'kov K.V., et al. Using computer testing for midterm assessment of students' knowledge. Molodoy uchoniy [Young Scientist]. 2012; (12): 450-2. (in Russian) Kulikov S.N., Mitrofanova K.A., Ivachev P.V. Development of the system of didactic testing of education outcomes in medical school. Innovatsii v obrazovanii [Innovations in education]. 2016; (2): 111-123. (in Russian)
Nuzhdin O.Y., Ivachev P.V., Kulikov S.N., Mitrofanova K.A. Pedagogical diagnostics of the training results in the course of human anatomy. Innovatsii v obrazovanii [Innovations in education]. 2016; (1 1): 90-100. (in Russian)
Standards and Guidelines to Guarantee the Quality of the Higher Education in the European Area. Yoshkar-Ola: Akkreditaciya v obrazovanii, 2008: 58 p. (in Russian)
Galimov A.M. Quality guarantees of the higher professional education. Kazanskiy pedagogicheskiy zhurnal [Kazan Pedagogical Journal]. 2009; 11-12 (77-78): 68-73. (in Russian)
Glybochko P.V. Continuing professional education of physicians: introduction of innovative technologies. Meditsinskoe obrazovanie i vuzovskaya nauka [Medical Education and University Science]. 2014; 1 (5): 4-7. (in Russian)
Pachurin G.V., T'umina N.S., Shevchenko S.M. The analysis of testing as a means of knowledge control among students. Sovremennye problemy nauki i obrazovaniya [Modern Problems of Science and Education]. 2017; (4): 168. (in Russian)
Yakimov A.A., Mitrofanova K.A. Virtual educational media content designed for medical students. Pravo i obrazovanie [Law and Education]. 2018; (4): 70-8. (in Russian)
