ОЦЕНКА КАЧЕСТВА ТЕСТОВЫХ ЗАДАНИЙ ДЛЯ МОДУЛЬНОГО КОНТРОЛЯ ЗНАНИЙ ПО ДИСЦИПЛИНЕ «ФИЗИЧЕСКАЯ И КОЛЛОИДНАЯ ХИМИЯ» Текст научной статьи по специальности «Медицинские науки и общественное здравоохранение»

ФАРМАЦЕВТИЧЕСКОЕ ОБРАЗОВАНИЕ

УДК 378.146 DOI: https://doi.Org/10.52540/2074-9457.2024.1.75

А. Е. Бедарик, З. С. Кунцевич

ОЦЕНКА КАЧЕСТВА ТЕСТОВЫХ ЗАДАНИЙ ДЛЯ МОДУЛЬНОГО КОНТРОЛЯ ЗНАНИЙ ПО ДИСЦИПЛИНЕ «ФИЗИЧЕСКАЯ И КОЛЛОИДНАЯ ХИМИЯ»

Витебский государственный ордена Дружбы народов медицинский университет,

г. Витебск, Республика Беларусь

Компьютерное тестирование с использованием системы управления обучением Moodle широко используется при изучении учебной дисциплины «Физическая и коллоидная химия» на втором курсе фармацевтического факультета. В статье приводятся результаты анализа качества электронного теста по данной дисциплине, используемого для оценивания знаний студентов в конце изучения модуля «Химическая кинетика и катализ». Для определения сложности тестовых заданий и их способности дифференцирования студентов по уровням усвоения программного материала авторами была произведена оценка степени выполнения и дискриминативности используемых тестовых заданий. Проверка надежности используемого электронного теста проводилась путем расчета коэффициентов надежности. Для получения более объективных результатов для этого использовались формулы Кьюдера-Ричардсона, Спирмена-Брауна и Рюлона. Полученные результаты хорошо коррелируют друг с другом, и их значения свидетельствуют о достаточной надежности данных электронных тестов. Валидация результатов изучаемого теста проводилась сравнением оценки, полученной студентами за тест, с их рейтинговыми оценками и оценками, полученными при проверке знаний студентов преподавателями-экспертами. В статье приводятся результаты расчетов степени выполнения и коэффициентов дискриминативности тестовых заданий, коэффициентов надежности и валидности изучаемого теста, а также проводится сравнительный анализ полученных результатов.

Ключевые слова: физическая и коллоидная химия, тестовые задания, дискри-минативность тестовых заданий, коэффициент надежности теста, валидность теста.

ВВЕДЕНИЕ

Компьютерное тестирование, в основе которого лежит выполнение электронных тестов, в настоящее время широко используется для оценки качества знаний обучающихся при получении общего среднего, высшего и дополнительного образования взрослых. Одним из преимуществ данного метода диагностики является возможность сравнительно быстрой оценки знаний тестируемых по необходимому объему программного материала [1]. Система управления обучением Moodle, используемая в учреждении образования «Витебский государственный ордена Дружбы народов медицинский университет», предоставляет широкие возможности использования компьютерного тестирования как для оценки

знаний студентов на каждом занятии, так и во время проведения их промежуточной и итоговой аттестации. Для объективной оценки обучающихся используемые на всех этапах электронные тесты должны обладать достаточной степенью надежности, валидности и дискриминативности.

Целью представленной работы является определение дискриминативности, надежности и валидности тестовых заданий, используемых для контроля знаний студентов второго курса фармацевтического факультета при изучении учебной дисциплины «Физическая и коллоидная химия».

МА ТЕРИАЛЫ И МЕТОДЫ

Проведен математический анализ результатов компьютерного тестирования

студентов при проведении промежуточной аттестации по модулю «Химическая кинетика и катализ». Для вычисления дис-криминативности использовался метод крайних групп. При оценке надежности использовался метод расщепления теста [2-4]. Валидность проверялась сравнением результатов тестирования с оценкой, полученной студентами за итоговую проверочную работу по программному материалу указанного модуля, а также с рейтинговой оценкой студентов по дисциплине «Физическая и коллоидная химия» за осенний семестр, предшествующий изучению модуля «Химическая кинетика и катализ».

РЕЗУЛЬТАТЫИ ОБСУЖДЕНИЕ

Взятый для анализа электронный тест включает 50 тестовых заданий, выбираемых случайным образом для каждого тестируемого из имеющейся базы тестовых вопросов, в которой они распределены по тематическим подразделам и по трем

уровням сложности. Большинство тестовых заданий имеют более одного правильного ответа, поэтому для возможности применения дихотомического подхода к анализу вопросы, содержащие более половины правильных ответов, нами рассматривались как правильные, а вопросы, содержащие менее половины правильных ответов - как неправильные. Полученные результаты обрабатывались методами математической статистики с использованием MS Excel, фрагмент таблицы которой представлен на рисунке 1. Для удобства представления результатов строки с шестого по сто четвертого студента и столбцы с шестого по сорок пятое задания скрыты.

Трудность или «легкость» тестовых заданий можно оценить с помощью доли правильных ответов или степени выполнения каждого задания (p), которая рассчитывается как отношение количества правильных ответов на задание (Rj) к общему количеству студентов [2]. Полученные результаты представлены на рисунке 2. Как видно из диаграммы, 9 заданий оказались

Студент Номер вопроса

1 2 3 4 5 46 47 48 49 50 Х х Уj

1 1 1 1 1 1 1 1 1 1 1 46 22 24

2 1 1 1 1 1 1 1 1 1 1 44 23 21

3 0 1 1 0 1 1 1 1 1 1 43 23 20

4 1 1 1 1 1 1 1 1 1 1 41 21 20

5 1 1 1 0 1 1 1 1 1 0 41 22 19

105 0 0 1 0 0 1 1 0 0 0 23 16 7

106 0 1 0 1 0 1 1 0 0 0 23 14 9

107 0 1 1 0 0 0 0 1 1 0 22 11 11

108 0 0 0 1 0 0 0 0 0 0 19 11 8

109 0 1 0 0 1 0 0 1 0 0 19 12 7

110 0 1 0 0 0 1 0 0 1 0 18 8 10

Rj 46 73 82 57 67 100 65 66 65 45

Wj 64 37 28 53 43 10 45 44 45 65

Pj 0,42 0,75 0,61 0,59 0,59

0,66 0,52 0,91 0,6 0,41

qj 0,58 0,25 0,39 0,41 0,41

0,34 0,48 0,09 0,4 0,59

Pj q 0,2 0,2 0,2 0,2 0,2 0,1 0,2 0,2 0,2 0,2

NnP 4 у лучших 8 10 13 10 13 13 13 12 13 9

Nnp худших 2 7 7 2 4 8 6 3 4 2

D 0,46 0,23 0,46 0,62 0,69 0,38 0,54 0,69 0,69 0,54

Рисунок 1. - Фрагмент рабочей таблицы 76

Рисунок 2. - Степень выполнения тестовых заданий

сравнительно трудными для выполнения студентами (р < 0,4), а 10 заданий оказались легкими: с ними справилось более 90% студентов (р

Коэффициент дискриминативности (D), или коэффициент согласованности, позволяет отделять студентов с высокой степенью подготовленности от слабо подготовленных студентов [2, 5]. Для расчета D нами использовался метод крайних групп, суть которого состоит в сравнении результатов наиболее и наименее успешных в выполнении теста студентов.

Выбор количества студентов в крайних группах производился нами по числу правильных ответов, данных студентами при выполнении теста. В нашем случае

крайние группы включали по 13 студентов. Расчет D производился по формуле:

ЛГ Nnp

лучших худших

= 13 ТГ~, ()

пр

где млу4ших - число студентов, давших правильные ответы на данное тестовое задание в группе лучших,

^ХУдШих - число студентов, давших правильные ответы на данное тестовое задание в группе худших.

Полученные значения коэффициента дискриминативности представлены на рисунке 3.

D

Рисунок 3. - Дискриминативность тестовых заданий

Считается, что тестовые задания, для которых D имеют значения выше 0,3, позволяют эффективно дифференцировать студентов с высокой продуктивностью учебной деятельности и студентов, плохо усваивающих программный материал [5]. Согласно полученным результатам, 14 заданий изучаемого теста имеют коэффициент дискриминативности ниже указанного значения, то есть имеют низкую дифференцирующую способность. Данные тестовые задания рекомендуется доработать или заменить на другие. Однако анализ самих заданий в нашем случае показывает, что в данную группу попадают задания первого уровня сложности, в которых требуется воспроизвести информацию, изложенную в учебных пособиях, и не требующие проблемного анализа материала. Примерами таких тестов, имеющих коэффициент дискриминативности 0,15, являются следующие:

Тест 1. Кинетическое уравнение реакции нулевого порядка имеет вид:

Тест 2. Для последовательных реакций общая скорость реакции:

a. равна сумме скоростей протекающих последовательно реакций

b. определяется скоростью самой медленной (лимитирующей) реакции

c. не зависит от скоростей протекающих реакций

d. равна скорости самой быстрой (лимитирующей) реакции

По нашему мнению, такие тестовые задания должны иметь место при проверке уровня усвоения материала, так как инициируют самостоятельную работу с учебным материалом и позволяют слабоуспевающим студентам повысить свою са-

мооценку.

Оценка надежности теста проводилась путем расчета коэффициента надежности (r) с применением формул Кьюдера-Ри-чардсона, Спирмена-Брауна и Рюлона. Формула Кьюдера-Ричардсона имеет вид:

п

г =

п — 1

(2)

где n - число заданий в тесте,

Pj - доля правильных ответов на данное тестовое задание,

qj - доля неправильных ответов на данное тестовое задание,

SX - дисперсия числа правильных ответов студентов, которая рассчитывается по уравнению:

:2 _

VN у 2

Li=iAi

Ми ц )2

N

N

(3)

где N - число студентов,

Xi - число правильных ответов, данное студентом при выполнении теста.

Для применения формулы Спирмена-Брауна необходимо рассчитать коэффициент корреляции Пирсона:

Гр =

2=1 х1У1-

2=1xi2=1yi

N

Yj=

(YN

9 _ (^ i=1

I Л,-

)2

N

Yf=i y2

(Yf=iy;)2'

N

(4)

где xi - число правильных ответов студента на нечетные тестовые задания,

yi - число правильных ответов студента на четные тестовые задания.

Полученное значение коэффициента корреляции в дальнейшем используется для расчета коэффициента надежности в уравнении Спирмена-Брауна:

г , (5)

1 + Гр

Уравнение Рюлона:

г

(6)

где Sd - дисперсия разностей числа

правильных ответов по нечетным и четным тестовым заданиям каждого студента:

2

X*N Li=i

, IliL1(xi-yi)

(Xi - Ji) - 1 71

С 2 _ —

N - 1

(7)

Sb - стандартное отклонение этих оценок,

Bj - экспертные оценки знаний студентов,

B - среднее арифметическое этих оценок,

SB - стандартное отклонение экспертных оценок.

Полученные нами значения коэффициентов надежности представлены в таблице 1.

Полученные значения коэффициента валидности представлены в таблице 2.

Таблица 1. - Коэффициенты надежности Таблица 2. - Коэффициенты валидности теста теста

По Кьюдеру-Ричардсону 0,749

По Спирмену-Брауну 0,757

По Рюлону 0,757

Среднее значение 0,754

По отношению к оценке за итоговую работу 0,905

По отношению к рейтинговой оценке 0,878

Значение коэффициента надежности ниже 0,7 свидетельствует о высокой погрешности результатов тестирования, выше 0,8 - соответствует высокой надежности. Полученное нами значение показывает хорошую надежность тестовых заданий, используемых для аттестации студентов.

Валидность - это параметр, который количественно характеризует правильность оценочных свойств теста. Для этого результаты теста сравниваются с оценками, полученными студентами при проведении их аттестации экспертами. Значения коэффициента валидности выше 0,6 свидетельствуют о высокой валидности теста. Для возможности проведения валидации теста полученный каждым студентом результат был переведен нами в оценку (bj), согласно утвержденной в университете шкале перевода в оценку рейтинговых баллов [6]. В качестве экспертной оценки нами использовалась оценка, полученная студентами за итоговую проверочную работу, частью которой является анализируемый тест, а также рейтинговая оценка студентов по дисциплине «Физическая и коллоидная химия» за осенний семестр. Расчет валидности производили по формуле:

V _

N

SBSb

-Bb N N- 1

(8)

где b - среднее арифметическое оценок студентов за тест,

Таким образом, коэффициент валидности анализируемого нами электронного теста свидетельствует о его высокой оценочной точности. Результаты выполнения данного электронного теста могут использоваться для объективного оценивания степени усвоения студентами программного материала.

ЗАКЛЮЧЕНИЕ

Исследование валидности и надежности тестов, используемых в образовательном процессе по учебной дисциплине «Физическая и коллоидная химия», показывает большую степень пригодности их для диагностики знаний студентов. Методический анализ учебных программ, учебных пособий по дисциплинам, требований стандарта специального высшего образования по специальности «Фармация» позволяет выделить перечень объектов диагностики, разработать структуру теста и содержание тестовых заданий. Разработанные тестовые задания дают возможность преподавателю проверить степень усвоения основных элементов содержания учебной дисциплины, базовых для формирования системы профессиональных знаний.

Полученные при анализе тестовых заданий значения коэффициента дискри-минативности позволяют эффективно дифференцировать студентов с высокой степенью усвоения учебного материала и студентов, плохо усвоивших программный материал по модулю «Химическая кинети-

ка и катализ». Рассчитанные в исследовании значения коэффициентов надежности показывают хорошую надежность тестовых заданий, используемых для диагностики знаний студентов по вышеуказанному модулю.

Таким образом, проведенный анализ тестовых заданий наглядно и объективно иллюстрирует их качество и эффективность использования. Результаты исследования позволяют утверждать, что подобные тесты могут и в дальнейшем использоваться для мониторинга уровня усвоения учебного материала. Благодаря проведенному анализу вскрыты некоторые несущественные недостатки в содержании тестовых заданий, которые желательно будет устранить в дальнейшем путем переработки соответствующих заданий или заменой их на другие.

SUMMARY

A. E. Bedarik, Z. S. Kuntsevich

QUALITY ASSESSMENT OF TEST TASKS FOR MODULAR KNOWLEDGE CONTROL IN THE DISCIPLINE “PHYSICAL AND COLLOIDAL CHEMISTRY”

Computer testing using the Moodle learning management system is widely used in studying the discipline “Physical and colloidal chemistry” in the second year of the Pharmaceutical Faculty. The article presents quality analysis results of an electronic test in this discipline used to assess students’ knowledge at the end of studying the module “Chemical kinetics and catalysis”. To determine the test tasks complexity and their ability to differentiate students by levels of the program material assimilation the authors assessed the degree of completion and discriminatory power of the test tasks used. Reliability of the electronic test used was made by calculating reliability coefficients. To obtain more objective results, the Kuder-Richardson, Spearman-Brown and Rulon formulas were used. The results obtained correlate well with one another and their values indicate sufficient reliability of the electronic test data. Results validation of the test studied was carried out by comparing the mark received by the students for the test with their rating marks and the marks obtained while testing students' knowledge by expert teachers. The article presents the

results of the completion degree calculations and discriminatory power coefficients of the test tasks, reliability and validity coefficients of the test studied, and also a comparative analysis of the results obtained is provided.

Keywords: physical and colloidal

chemistry, test tasks, discriminatory power of test tasks, test reliability coefficient, test validity.

ЛИТЕРАТУРА

1. Бедарик, А. Е. Использование компьютерного тестирования как формы контроля знаний студентов при изучении дисциплины «Физическая и коллоидная химия» [Электронный ресурс] / А. Е. Бедарик, З. С. Кунцевич // Достижения фундаментальной, клинической медицины и фармации: материалы 78-ой науч. сес. ВГМУ, Витебск, 25-26 янв. 2023 г. / ред-кол.: Е. Г. Асирян [и др.]. - Витебск: Витебский гос. мед. ун-т, 2023. - С. 267-269. - 1 электрон. опт. диск (CD-ROM).

2. Тельнов, Г. В. Оценка показателей качества тематических заданий тестового модуля учебной дисциплины и уровня ее усвоения / Г. В. Тельнов // Вестн. Адыгейского гос. ун-та. Серия: Естественно-математические и технические науки. - 2015. - Вып. 2. - С. 151-158.

3. Лиманова, Л. В. Проверка качества педагогического теста по высшей математике по теме «Теория функции комплексной переменной» / Л. В. Лиманова // Вестн. Самарского гос. технич. ун-та. Серия: Психолого-педагогические науки. - 2017. - Т. 14, N° 2. - С. 56-65.

4. Мороз, Л. С. Методы определения надежности и валидности тестов для контроля знаний / Л. С. Мороз // Труды Белорус. гос. техгологич. ун-та. Сер. 6, Физико-математические науки и информатика. - 2010. - № 18. -С. 176-179.

5. Интерактивная образовательная среда quali.me [Электронный ресурс]. - Режим доступа: https://tester.quali.me/help.php. - Дата доступа: 20.03.2024.

6. Об утверждении положения о модульнорейтинговой системе оценки знаний студентов в Учреждении образования «Витебский государственный ордена Дружбы народов медицинский университет: приказ учреждения образования «Витебский государственный ордена Дружбы народов медицинский университет, 22 апр. 2021 г., № 90-уч. - Витебск, 2021.

REFERENCES

1. Bedarik AE, Kuntsevich ZS. The use of computer testing as a form of monitoring students’ knowledge when studying the discipline “Physical and Colloidal Chemistry” [Elektronnyi resurs].

V: Asirian EG, Adaskevich VP, Alekseenko IuV, Bekish Via, Bol'shakov LV, Vykhristenko LR i dr, redkollegiia. Dostizheniia fundamental'noi, klinicheskoi meditsiny i farmatsii [CD-ROM]. Materialy 78-i nauch ses VGMU; 2023 Ianv 2526; Vitebsk. Vitebsk, RB: Vitebskii gos med un-t; 2023. s. 267-9. (In Russ.)

2. Tel'nov GV. Assessment of quality indicators of thematic tasks of the test module of the academic discipline and the level of its mastery. Vestn Adygeiskogo gos un-ta. Seriia: Estest-venno-matematicheskie i tekhnicheskie nauki. 2015;(2):151-8. (In Russ.)

3. Limanova LV. Checking the quality of a

pedagogical test in higher mathematics on the topic “Theory of a function of a complex variable”. Vestn Samarskogo gos tekhnich un-ta. Seriia: Psikhologo-pedagogicheskie nauki.

2017;14(2):56-65. (In Russ.)

4. Moroz LS. Methods for determining the reliability and validity of tests for knowledge control. Trudy Belorus gos tekhgologich un-ta. Ser 6, Fiziko-matematicheskie nauki i informatika.

2010;(18):176-9. (In Russ.)

5. Interactive educational environment quali.me [Elektronnyi resurs]. Rezhim dostupa: https://tester.quali.me/help.php. Data dostupa: 20.03.2024. (In Russ.)

6. On approval of the regulations on the modular rating system for assessing students’ knowledge at the Educational Institution “Vitebsk State Order of Peoples’ Friendship Medical University”: prikaz uchrezhdeniia obrazovaniia «Viteb-skii gosudarstvennyi ordena Druzhby narodov meditsinskii universitet, 22 apr 2021 g, N° 90-uch. Vitebsk; 2021. (In Russ.)

Адрес для корреспонденции:

210023, Республика Беларусь, г. Витебск, пр. Фрунзе, 27,

УО «Витебский государственный ордена Дружбы народов медицинский университет», кафедра общей и органической химии, тел. раб. 8(0212)64-81-61,

Кунцевич З. С.

Поступила 22.03.2024 г.

УДК 378.14:615.32 DOI: https://doi.org/10.52540/2074-9457.2024.L81

А. А. Потоцкая, Н. А. Троцкая, Н. А. Кузьмичёва, А. А. Осипова

ПРЕПОДАВАНИЕ ДИСЦИПЛИНЫ «ФАРМАКОГНОЗИЯ»

ПРИ ПОДГОТОВКЕ ПРОВИЗОРА

Витебский государственный ордена Дружбы народов медицинский университет,

г. Витебск, Республика Беларусь

В статье представлена информация об организации преподавания учебной дисциплины «Фармакогнозия» в учреждении образования «Витебский государственный ордена Дружбы народов медицинский университет» (ВГМУ) при подготовке специалистов с высшим фармацевтическим образованием. Изучение дисциплины «Фармакогнозия» осуществляется на кафедре фармакогнозии и ботаники в течение двух семестров. Кроме того, введена новая дисциплина по выбору «Фармакогнозия. Основы фитотерапии», позволяющая расширить теоретические знания и в полной мере развить навыки фармацевтического консультирования по вопросам применения фито-препаратов. На кафедре используются инновационные технологии с целью подготовки специалистов фармацевтического профиля в соответствии с современными требованиями и запросами рынка труда в сфере здравоохранения. Помимо получения теоретических знаний в процессе изучения дисциплины, важной частью подготовки квалифицированных специалистов является учебная практика по фармакогнозии, которая позволяет закрепить и совершенствовать знания, полученные студентами в лекционно-лабораторном курсе.

Ключевые слова: фармакогнозия, образовательный процесс, инновационные технологии, фармакогностическая практика, обучение.