CC BY
28
' ИНТЕРНАЦИОНАЛИЗАЦИЯ ОБРАЗОВАНИЯ )
DOI: https://doi.org/l0.31992/0869-3617-2020-6-136-143
Валидация тестовых заданий в условиях экспорта
образования
Селиванова Ирина Анатольевна - д-р фарм. наук, проф. E-mail: irinaselivanova@yandex.ru
Марковина Ирина Юрьевна - канд. филол. наук, проф. E-mail: irina_markovina@mail.ru
Ильясов Игорь Равилевич - канд. фарм. наук, доцент. E-mail: igor@ilyasov.net
Жевлакова Анастасия Константиновна - E-mail: azh-68@mail.ru
Терехов Роман Петрович - E-mail: r.p.terekhov@yandex.ru
Первый МГМУ им. И.М. Сеченова Минздрава России, Москва, Россия
Адрес: 119991 Москва, Трубецкая ул., 8, стр. 2
Аннотация. В условиях экспорта российского образования востребованы специализированные оценочные средства для иностранных студентов. Тестовая форма педагогического контроля является важной составной частью оценочных средств и оптимально подходит для этой категории студентов. «Органическая химия » относится к базовым учебным дисциплинам фармацевтического образования и служит фундаментом для изучения многих профильных дисциплин. Цель исследования - разработать нормативно-ориентированную модель тестовой части промежуточной аттестации в письменной форме по дисциплине «Органическая химия» для студентов, обучающихся на английском языке по специальности 33.05.01 «Фармация» в соответствии с рекомендациями Ассоциации по медицинскому образованию в Европе - Association for Medical Education in Europe (AMEE). Базой для создания банка экзаменационных тестов был выбран интерактивный тестовый тренажёр по органической химии на английском языке «Organic Chemistry Test Simulator», разработанный в Сеченовском университете в рамках совместного проекта Института фармации и Института лингвистики и международной коммуникации. Анализ банка тестовых заданий проводили пять независимых экспертов - преподавателей органической химии. Усреднённые тайминг и проходной балл, определённые методом Ангоффа, составили 90 с и 64% соответственно. При формировании банка оценочных средств итогового тестирования 3% тестовых заданий были признаны нерелевантными, 22% - отправлены на доработку и модифицированы. Тестовые задания, характеризующиеся наибольшей содержательной валидностью, послужили основой для создания банка заданий, пригодных для тестирования на экзамене, общим числом 600 единиц. Предложен алгоритм моделирования тестового этапа экзамена. В каждый экзаменационный тест отобрано по 30 заданий, включающих три разных типа. Разработана стандартизованная нормативно-ориентированная модель варианта тестового этапа экзамена, валиди-рованная по показателям релевантности и репрезентативности, оптимизированная по времени и проходному баллу.
Ключевые слова.: экспорт образовательных услуг, доказательное образование, органическая химия, тестовый контроль, валидация заданий, метод Ангоффа, тайминг, полилинг-вальная образовательная среда
(сс)
Для цитирования: Селиванова И.А, Марковина И.Ю, Ильясов И.Р, Жевлакова А.К, Терехов Р.П. Валидация тестовых заданий в условиях экспорта образования // Высшее образование в России. 2020. Т. 29. № 6. С. 136-143.
DOI: https://doi.org/l0.31992/0869-3617-2020-6-136-143
Введение
Одним из ключевых направлений учебной деятельности вузов в условиях интернационализации образования является подготовка конкурентоспособных специалистов [1]. Для эффективной оценки усвоения материала требуется создание фондов современных оценочных средств (ФОС), позволяющих контролировать знания, умения, навыки и компетенции будущего провизора. Важным компонентом ФОС являются контрольно-измерительные материалы (КИМ), необходимые для промежуточной аттестации студента по учебной дисциплине на экзамене.
Сеченовский университет является одним из 39 вузов-участников реализации приоритетного проекта Минобрнауки РФ по экспорту российского образования, поэтому в университете большое внимание уделяется предоставлению образовательных услуг на уровне международных стандартов. Преподавание в Сеченовском Университете проводится на русском и английском языках, в том числе по специальности 33.05.01 «Фармация». При создании ФОС для по-лилингвальной образовательной среды нужно учитывать особенности адаптации иностранных студентов, которые находятся в непривычной социально-культурной и психологической обстановке [2]. Наиболее оптимальным способом педагогического измерения знаний таких студентов является тестирование. Этот вид контроля характеризуется простым языковым оформлением и позволяет избежать субъективной оценки преподавателем уровня усвоения студентом материала.
Сеченовский университет активно сотрудничает с международной Ассоциацией по медицинскому образованию в Европе -Association for Medical Education in Europe (AMEE). Деятельность ассоциации связана
с продвижением передового опыта в области медицинского образования, в частности методов преподавания и оценки в соответствии с принципами «доказательного образования» (evidence based education). Согласно идеологии АМЕЕ, итоговая оценка знаний является ключевым моментом образовательного процесса [3]. Большое внимание АМЕЕ уделяет тестам как базовой форме оценки знаний в международной системе образования. В разработках АМЕЕ подчёркивается, что процесс подготовки тестовых заданий связан с тщательным отбором материала и проведением процедур стандартизации и ва-лидации [4].
Существенный вклад в фундамент естественнонаучного мировоззрения будущего специалиста фармацевтической отрасли вносит дисциплина «Органическая химия», способствующая формированию его универсальных и общепрофессиональных компетенций [5; 6]. В рамках проектов Института лингвистики и межкультурной коммуникации и кафедры органической химии Сеченовского университета для иностранных студентов фармацевтического профиля были разработаны, зарегистрированы и внедрены в учебный процесс инновационные специализированные учебные пособия по органической химии на английском языке на электронных носителях. Учитывая, что тестовые задания являются обязательным элементом учебно-методического комплекса преподаваемой дисциплины, новый совместный проект связан с созданием КИМ на английском языке для экзаменационного тестирования иностранных студентов.
Цель работы: разработать нормативно-ориентированную модель тестовой части промежуточной аттестации в письменной форме по дисциплине «Органическая химия» для студентов, обучающихся на ан-
глийском языке по специальности 33.05.01 «Фармация», в соответствии с рекомендациями AMEE.
Методология исследования
Базой для создания банка экзаменационных тестов служил тестовый тренажёр по органической химии на английском языке «Organic Chemistry Test Simulator». Тестовый тренажёр состоит из 350 тестовых заданий, охватывающих 28 тем курса органической химии [7].
Анализ банка тестовых заданий проводила группа из пяти независимых экспертов -преподавателей органической химии - методом Ангоффа [8]. Каждый эксперт индивидуально оценивал содержательную часть тестовых заданий, точность формулировок, время, затрачиваемое на решение задания (тайминг), и прогнозировал процент студентов, способных его выполнить. Банк стандартизованных и валидированных тестовых заданий, обоснованный проходной балл, оптимальный тайминг и структура экзаменационного тестирования были получены путём сопоставительного анализа результатов экспертной оценки.
Результаты и обсуждение
В связи с внедрением принципов «доказательного образования» в преподавание в Сеченовском университете при формировании банка заданий для экзаменационного тестирования возникла необходимость валидации тестовых заданий и оптимизации проходного балла методом Ангоффа, а также стандартизации тайминга с целью соблюдения процедуры тестирования по продолжительности проведения.
В настоящее время экзаменационный тест принято оценивать по шкале в 100 баллов. Для успешного прохождения экзаменационного тестирования студенту требуется набрать 60 баллов. Данный проходной балл сформировался исторически. Согласно рекомендациям АМЕЕ, требуется обоснование проходного балла. Для этого в нашем иссле-
довании был использован метод Ангоффа1, имеющий значительную доказательную базу [8]. В контексте использования этого метода вводится понятие «достаточно хороший студент», или «пограничный студент» («good enough student», или «borderline student»). На предварительном совещании экспертов был сформирован образ такого студента в соответствии с положениями профессионального стандарта «Провизор».
В ходе анализа тестовых заданий каждый эксперт оценивал все тестовые задания по 28 темам курса органической химии и прогнозировал, с какой вероятностью «достаточно хороший студент» ответит правильно на это тестовое задание. В таблице 1 на примере темы «Моносахариды» представлены результаты индивидуальных экспертных оценок. После краткого обсуждения каждого тестового задания в группе экспертов результаты усреднялись, если диапазон колебаний не превышал 10-15%. По тестовым заданиям, которые не получили единодушную экспертную оценку, проводилось подробное обсуждение причин разброса, выслушивалось мнение каждого эксперта и вносились коррективы. Так, например, в теме «Моносахариды», было выявлено три тестовых задания, которые нуждались в модификации для включения в банк экзаменационных заданий.
Для валидации тайминга все члены экспертной группы начинали выполнять задания одновременно, и каждый эксперт индивидуально фиксировал временные затраты
1 Метод Ангоффа (Angoff Method) основан на оценке экспертами вероятности правильного решения каждого тестового задания достаточно подготовленным, так называемым «пограничным» тестируемым. Если колебания индивидуальных оценок экспертов не превышают 10-15% от среднего результата, то тестовое задание включается в тест, в противоположном случае после обсуждения оно корректируется или исключается. Сумма средних результатов всех экспертных оценок каждого тестового задания, включённого в тест, делится на их число. Полученное значение признаётся в качестве проходного балла.
Таблица 1
Экспертная оценка тестовых заданий по теме «Моносахариды» методом Ангоффа
Table 1
The expert review of "Monosaccharides" test assignment by Angoff method
Тестовое задание Прогноз на проходной балл, % Среднее значение прогноза на проходной балл, % Тайминг, с
Эксперт 1 Эксперт 2 Эксперт 3 Эксперт 4 Эксперт 5
Ф.21.01 65 72 65 65 55 64,4 15
Ф.21.02 70 70 65 65 60 66,0 30
Ф.21.03 60 65 60 60 50 59,0 15
Ф.21.04 на доработку (необходимо исключить «ловушку» из дистракторов)
Ф.21.05 60 58 65 60 60 60,6 50
Ф.21.06 65 60 55 65 50 59,0 35
Ф.21.07 на доработку (необходимо упростить формулировку)
Ф.21.08 60 65 60 55 60 60,0 35
Ф.21.09 60 62 55 60 60 59,4 40
Ф.21.10 65 60 65 55 50 59,0 45
Ф.21.11 Исключен (не соответствует учебному плану)
Ф.21.12 на доработку (необходимо упростить формулировку)
Среднее значение по теме «Моносахариды» 60,925 33,1
Рис. 1. Результаты анализа банка тестовых заданий методом Ангоффа Fig. 1. Analysis results of test assignment bank by Angoffmethod
на решение тестового задания. За тайминг в группе экспертов принимали время, которое понадобилось для ответа последнему из пяти членов группы. Далее в аналогичных условиях была протестирована группа из 12
студентов по трем темам с проверкой тайминга. На основании сравнения результатов экспертной и студенческой групп был получен поправочный коэффициент, величина которого составляет 2,5. Итоговый тайминг
0888787112112
Рис. 2. Алгоритм разработки модели варианта тестового этапа экзамена Fig. 2. Algorithm ofmodel formulation for examination test stage
для каждой темы был рассчитан путём умножения временных затрат, установленных группой экспертов, на поправочный коэффициент.
Усреднённые параметры тестовых заданий по всем 28 темам, полученные путём экспертизы, приведены на рисунке 1. Средний проходной балл составил 64%, а средний тайминг - 90 с. Интересно отметить, что наблюдается обратная зависимость между таймингом и значением проходного балла. Наиболее сложными темами курса «Органическая химия», по оценке экспертов, были признаны «Простые эфиры и сульфиды» (тема 11, проходной балл - 53%, тайминг -105 с) и «Угольная и сульфоновая кислоты и их функциональные производные» (тема 18, проходной балл - 52%, тайминг - 102 с). Прогнозируемый результат проходного балла по теме «Кислотность и основность» оказался самым высоким (71%).
Эксперты не только устанавливали обоснованный проходной балл и тайминг, но и оценивали содержательную валидность тестовых заданий по показателю релевант-
ности, анализировали содержание тестовых заданий с точки зрения соответствия контролируемых знаний и навыков по органической химии потребностям последующих дисциплин учебного плана, а также профессиональной подготовке студентов по специальности 33.05.01 «Фармация». Кроме того, эксперты обращали внимание на корректность и однозначность формулировок заданий, качество дистракторов и их соответствие принципам «доказательного образования». В ходе обсуждения для формирования банка оценочных средств итогового тестирования 3% тестовых заданий признаны нерелевантными, 22% отправлены на доработку. Во вторую группу были включены тестовые задания, содержащие так называемые «ловушки», которые приводили к ошибкам, связанным не с незнанием предмета, а с невнимательностью или с двойственностью толкования. Также были модифицированы вопросы, содержащие отрицательные формулировки типа «все выражения верны, кроме», поскольку они не соответствуют рекомендациям АМЕЕ.
Тестовые задания, характеризующиеся наибольшей содержательной валидностью, послужили основой для создания банка заданий, пригодных для экзаменационного тестирования, объёмом 600 единиц. Учитывая, что на проведение письменного этапа тестового экзамена отводится 45 мин., а средний временной интервал, необходимый студенту на решение одного тестового задания с учётом поправочного коэффициента, составляет 90 с, то 30 заданий в экзаменационном тесте является оптимальным. Для облегчения восприятия вопросов все тестовые задания в модели варианта экзаменационного тестирования были расположены в следующем порядке: с первого по пятнадцатое - с выбором одного правильного ответа, с 16 по 25 - с выбором нескольких правильных ответов, с 26 по 30 - на установление соответствия. Алгоритм моделирования варианта экзаменационного теста представлен на ртсунке 2. Для обеспечения репрезентативности модели тестовые задания были подобраны таким образом, чтобы содержание КИМ было достаточным для проведения контроля, то есть охватывало все темы курса. Кроме того, тестовые задания в варианте были сгруппированы так, чтобы средняя оценка сложности теста, проанализированная методом Ангоффа, стремилась к 64,0% и не выходила за рамки доверительного интервала ± 2,1%.
Заключение
Благодаря наличию программ, реализующихся на английском языке, Россия становится всё более заметной на глобальном рынке образовательных услуг. Особого внимания в связи с этим заслуживают учебные и оценочные материалы, ориентированные на англоязычного потребителя отечественных образовательных услуг.
Разработанная в Сеченовском университете стандартизованная нормативно-ориентированная модель варианта тестового этапа экзамена по дисциплине «Органическая химия» для студентов, обучающихся на англий-
ском языке, валидированная по показателям релевантности и репрезентативности, отвечает запросам «доказательной педагогики». Модель включает три группы тестовых заданий, для неё определены оптимизированный тайминг (90 с на решение одного тестового задания) и проходной балл (64%), обоснованный путём экспертной оценки по методу Ангоффа в соответствии с рекомендациями Ассоциации по медицинскому образованию в Европе.
Литература
1. Де Вит Х. Эволюция мировых концепций, тенденций и вызовов в интернационализации высшего образования // Вопросы образования. 2019. № 2. С. 8-34. DOI: https://doi. org/10.17323/1814-9545-2019-2-8-34
2. Мариненко О.П. Роль преподавателя вуза в оказании помощи иностранным студентам // Высшее образование в России. 2019. № 4. С. 124-133. DOI: https://doi.org/10.31992/0869-3617-2019-28-4-124-133
3. BousicotK, EtheridgeL, SetnaZ, Sturrock A., Ker J., Smee S, Sambandam E. Performance in assessment: consensus statement and recommendations from the Ottawa conference // Medical teacher. 2011. Vol. 33. No. 5. P. 370-383. DOI: https://doi.org/10.3109/0142159X.2011.565831
4. Norcini J., McKinley D.W. Concepts in assessment including standard setting // Dent J.A., Harden R.M., Hunt D. (Eds). A Practical Guide for Medical Teachers, 5th edition, Beijing: Elsevier Health Sciences, 2017. Р. 252-259.
5. Тюкавкина Н.А, Белобородов В.Л, Зурабян С.Э, Селиванова И.А, Лузин А.П, Артемьева Н.Н. Органическая химия: учебник. М.: ГЭОТАР-Медиа, 2015. 640 с.
6. Beletskaya I.P, Lukasev N.V, Vatsadze S.Z, Nenajdenko V.G, Negrebetskii V.V., Bau-kov Yu.I, Belavin I.Yu, Butseeva A.A, Belo-borodov V.L, Selivanova I.A, Il'yasov I.R, NevskayaE.Yu, Sorokina E.A., Syrbu S.A., Usol'tsevaN.V, Danilin A.A, Nechaeva O.N, Purygin P.P., Deryabina G.I., Aksenov A.V, Aksenova I.V, Ovcharov S.N, Gavrilova E.L, Uryadov V.G, Zakharov V.M, Sinyashin O.G., Klochkova I.N, Krylatova Ya.G, Skornya-kov Yu.V, Ovchinnikov K.L, Kolobov A.V, Kustova T.P. Some problems of the teaching of organic chemistry in universities of Russia //
Russian Journal of Organic Chemistry. 2017. Vol. 53. No. 10. Р. 1439-1496. DOI: https://doi. org/10.1134/S1070428017100013
7. Селиванова И.А, Марковина И.Ю, Мак-Фарланд Дж, Белобородов В.Л, Терехов Р.П, Воронин К.С. Тестовый тренажёр как средство формирования полилингвальной образовательной среды // Фармация. 2017. № 8. С 49-52.
8. McKinley D.W, Norcini J.J. How to set standards on performance-based examinations: AMEE Guide No. 85 // Medical Teacher. 2014. Vol. 36.
N0. 2. Р. 97-100. DOI: https://doi.Org/l0.3109/0 142159Х.2013.853119
Благодарности. Поддерживается «Проектом повышения конкурентоспособности ведущих российских университетов среди ведущих мировых научно-образовательных центров».
Статья поступила в редакцию 08.10.19 Принята к публикации 07.05.20
Test Items Validation in the Context ofEducation Export
Irina A. Selivanova - Dr. Sci. (Pharmacy), Prof., e-mail: irinaselivanova@yandex.ru
Irina Yu. Markovina - Cand. Sci. (Phylology), Prof., e-mail: irina_markovina@mail.ru
Igor R. Ilyasov - Cand. Sci. (Pharmacy), Assoc. Prof., e-mail: igor@ilyasov.net
Anastasia K. Zhevlakova - e-mail: azh-68@mail.ru
Roman P. Terekhov - e-mail: r.p.terekhov@yandex.ru
Sechenov First Moscow State Medical University, Moscow, Russia
Address: 8, building 2, Trubetskaya str., Moscow, 119991, Russian Federation
Abstract. It is necessary to develop special assessment tools for international students, which will comply with the principles of evidence-based education. This is especially important in the context of Russian higher education export. Multiple choice questions (MCQs) are an essential part of the assessment and are suited for assessing the knowledge level of international students. The "Organic chemistry" is a basic course for pharmaceutical students, which is necessary for the understanding of principal subjects. The study objective was to develop a normative-oriented model of the "Organic chemistry" MCQs based examination for international students (the specialty 33.05.01 "Pharmacy") in accordance with the recommendations of the Association for Medical Education in Europe (AMEE). The previously developed interactive "Organic Chemistry Test Simulator", created at the Sechenov University, was used as the basis for the examination MSQs bank. It was analyzed by five independent experts, who work as teachers of organic chemistry. The average timing and the cut score were determined by the Angoff method, 90 sec and 64%, respectively. Among analyzed MCQs the 3% were found irrelevant, 22% were recommended for revision and modernization. Valid MSCs (600 items) served as the basis for the creation of extended examination MSQs bank. An algorithm for modeling the "Organic chemistry" MCQs based examination was proposed. The standardized examination test has 30 MSQs of different types. The standardized normative-oriented model of the "Organic chemistry" MCQs based examination for international students (the specialty 33.05.01 "Pharmacy") was validated in terms of relevance and representativeness, optimized in time and cut score.
Keywords: export of higher education, evidence based education, organic chemistry, Angoff method, multiple choice questions, MSQs bank, validation, timing, multilingual educational environment Cite as: Selivanova, I.A., Markovina I.Yu., Ilyasov, I.R., Zhevlakova, A.K., Terekhov, R.P. (2020). Test Items Validation in the Context of Education Export. Vysshee obrazovanie v Rossii = Higher Education in Russia. Vol. 29, no. 6, pp. 136-143. (In Russ., abstract in Eng.) DOI: https://doi.org/10.31992/0869-3617-2020-6-136-143
References
1. De Wit, H. (2019). Evolving Concepts, Trends, and Challenges in the Internationalization of Higher Education in the World. Voprosy obrazovaniya = Educational Studies Moscow. No. 2, pp. 8-34. DOI: https://doi.org/l0.17323/l814-9545-2019-2-8-34
2. Marinenko, O.P. (2019). The Role of University Teachers in the Assistance to International Students. Vysshee obrazovanie v Rossii = Higher Education in Russia. Vol. 28, no. 4, pp. 124-133. DOI: https://doi.org/10.31992/0869-3617-2019-28-4-124-133 (In Russ., abstract in Eng.)
3. Bousicot, K., Etheridge, L., Setna, Z., Sturrock, A., Ker, J., Smee, S., Sambandam, E. (2011). Performance in Assessment: Consensus Statement and Recommendations from the Ottawa Conference. Medical teacher. Vol. 33, no. 5, pp. 370-383. DOI: https://doi.org/10.3109/014215 9X.2011.565831
4. Norcini, J., McKinley, D.W. (2017). Concepts in Assessment Including Standard Setting. In: J.A. Dent, R.M. Harden, D. Hunt (Eds). A Practical Guide for Medical Teachers. 5th edition, Beijing: Elsevier Health Sciences, pp. 252-259.
5. Tyukavkina, N.A., Beloborodov, V.L., Zurabyan, S.E., Selivanova, I.A., Luzin, A.P., Artemyeva, N.N. (2015). Organicheskaya khimiya: uchebnik [Organic Chemistry: A Studentbook]. Moscow: GEOTAR-Media Publ., 640 p. (In Russ.)
6. Beletskaya, I.P., Lukasev, N.V., Vatsadze, S.Z., Nenajdenko, V.G.,Negrebetskii, V.V., Bau-kov, Yu.I., Belavin, I.Yu., Butseeva, A.A., Beloborodov, V.L., Selivanova, I.A., Il'yasov, I.R., Nevskaya, E.Yu., Sorokina, E.A., Syrbu, S.A., Usol'tseva, N.V., Danilin, A.A., Nechaeva, O.N., Purygin, P.P., Deryabina, G.I., Aksenov, A.V., Aksenova, I.V., Ovcharov, S.N., Gavrilova, E.L., Uryadov, V.G., Zakharov, V.M., Sinyashin, O.G., Klochkova, I.N., Krylatova, Ya.G., Skor-nyakov, Yu.V., Ovchinnikov, K.L., Kolobov, A.V., Kustova, T.P. (2017). Some Problems of the Teaching of Organic Chemistry in Universities of Russia. Russian Journal of Organic Chemistry. Vol. 53, no. 10, pp 1439-1496. DOI: https://doi.org/10.1134/S1070428017100013
7. Selivanova, I.A., Markovina, I.Yu., McFarland, J., Beloborodov, V.L., Terekhov, R.P., Voronin, K.S. (2017). A Test Simulator as a Means for Forming the Polylingual Educational Environment. Farmatsiya = Pharmacy. No. 8, pp. 49-52. (In Russ., abstract in Eng.)
8. McKinley, D.W., Norcini, J.J. (2014). How to Set Standards on Performance-Based Examinations: AMEE Guide No. 85. Medical Teacher. Vol. 36, no. 2, pp. 97-100. DOI: https://doi.org/ 10.3109/0142159X.2013.853119
Acknowledgement: The following funding is acknowledged: Russian Academic Excellence
Project 5-100.
The paper was submitted 08.10.19 Accepted for publication 07.05.20
