CC BY
19Танеева Л.А., Изотова Е.Д., Ефлова М.Ю., Сафонов А.С., Маяковская А.В., Ефлова Д.С.
ОНЛАЙН - ТЕСТИРОВАНИЕ КАК МЕХАНИЗМ ОЦЕНКИ ЗНАНИЙ СТУДЕНТОВ
(НА ПРИМЕРЕ ЭКЗАМЕНАЦИОННОГО ТЕСТА ПО БИОХИМИИ СРЕДИ СТУДЕНТОВ ЕСТЕСТВЕННОНАУЧНЫХ НАПРАВЛЕНИЙ)
Аннотация. В статье рассматривается проблема внедрения тестирования как наиболее популярного и распространённого способа контроля знаний студентов в рамках дистанционного образования, на которое вынуждено были переведены студенты и преподаватели российских вузов в период распространения коронавирусной инфекции COVD-19. С точки зрения авторов, переход на дистанционные формы обучения выявил многие существенные проблемы тренда на цифровизацию образовательного процесса. В ходе проведенного исследования установлено, что широко используемые в цифровом обучении методы контроля знания не могут эффективно применяться в процессе обучения и контроля для некоторых специальностей. Авторы выделяют особенности, проблемы и несовершенства системы тестирования, с которыми сталкиваются студенты и преподаватели. Авторы утверждают, что для таких областей в системе образования, как медицина, биология, биохимия, где огромную роль играет практическая составляющая полученных знаний, система тестирования не может служить эффективным инструментом проверки полученных знаний. Ключевые слова: цифровизация, высшее образование онлайн-образование, онлайн-тестирование.
Цифровизация современного общества отражается во всех сферах жизни, в том числе и в реализации образовательных процессов в системе высшего образования. Последние годы все чаще поднимается вопрос увеличения доли цифровых технологий в процессе обучения и внедрения дистанционных форм обучения в системе высшего образования. Процесс цифровизации применительно к высшему образованию разворачивается в двух основных направлениях: это разработка новых образовательных продуктов с применением цифровых технологий и перенос в цифровой мир уже существующих инструментов и механизмов высшего образования (не только обучающие, но и административные) [1]. Пандемия COVID-19 ускорила цифровизацию во втором направлении, сделав переход существующего образовательного процесса в цифровое пространство почти мгновенным. Как отмечает Щелкунов М.Д. «Пандемия невиданно ускорила этот процесс,
не оставив образованию никаких альтернатив, кроме цифровой. В мобилизационном режиме вузам пришлось форсировать дигитализацию своей деятельности» [2]. Конечно, о полной и финальной цифровизации высшего образования в условиях пандемии говорить не приходится, переход к дистанционным формам является вынужденной мерой в этих условиях, поэтому такую форму цифровизации следует рассматривать не как переход к новым цифровым технологиям обучения, а как «цифровую миграцию». Ситуация, в которой оказались не только мировые, но и российские вузы в период пандемии, продемонстрировала как сильные, так и слабые стороны процесса цифровизации в системе образования. Так, например, опрос университетских работников, столкнувшихся с вынужденной цифровой миграцией, показывает их серьезную озабоченность и тревогу относительно собственной профессиональной роли и личной жизни, что резюмируется исследователями в
следующей характеристике: «Мы находим историю профессиональной дисфункции и нарушения, неравенства, эксплуатации и пренебрежения; злоупотребления и утраты уверенности, доверия; бесправия, вытеснения и маргинализации; испытания изодранной в клочья самооценки; уязвимости и беспомощности; и об утрате сильно очерненного прошлого, замененного мнимыми махинациями цифровой антиутопии и угрозой профессионального забвения» [3].
Одной из проблем, которую обострил вынужденный переход к цифровым дистанционным формам обучения, стало применение тестов в качестве основных форм контроля знаний у студентов. Несмотря на то, что противоречивость использования тестовых заданий в процессе обучения исследуется достаточно давно [4], вынужденные дистанционные формы вновь актуализируют проблему применения тестовых заданий в высшей школе. Традиционное тестирование в педагогике по мнению Аванесова В.С. «представляет собой стандартизованный метод диагностики уровня и структуры подготовленности», и «главная цель применения традиционных тестов -установить отношение порядка устанавливаемых между испытуемыми по уровню проявляемых при тестировании знаний» [5,6]. Среди положительных аспектов применения тестирования в образовательной среде Казиев В.М. отмечает их «строгость», «объективность», «технологичность», «применимость к всем группам испытуемых», «интегрируемость», «междисциплинарность» [7]. С одной стороны, тест представляет собой достаточно удобный и простой инструмент измерения компетентности студента, с другой имеет определенный диапазон применения [7], и сам формат тестирования (вне зависимости от вида: с множественным выбором или с конструируемом ответом) вырабатывает определенную стратегию решения проблем, которая может накладывать существенные ограничения на профессиональные навыки студентов: «Степень и тип поведения при разработке стратегии, которыми пользовались студенты, не сильно различались в зависимости от формата. Наиболее распространенной стратегией была алгоритмическая» [8].
Дисциплина «Биохимия» является базовой для большинства естественно-научных, и в особенности медицинских специальностей. Такой переход от традиционных форм проверки знаний к онлайн-тестированию во многом обусловлен, набирающей обороты тенденцией на массовое внедрение технологий дистанционного обучения в образовательный процесс в ВУЗах, а также дистанционным характером проводимых занятий в условиях пандемии, которая затронула весь весенне-летний семестр 2020 года. Пандемия во многом ускорила процесс «оцифро-визации» высшего образования. Усвоение таких алгорит-
мических моделей поведения при решении сложных, не стандартных задач может стать критическим недостатком для медико-биологических специальностей. Новые технологии и способы контроля не просто изменяют способ обучение, но формируют навыки и способности обучающихся. Определенные формы контроля тренируют и развивают специфические навыки решения задач, поэтому цифровизация и тестирование не просто меняют сами процессы внутри университета, но и те навыки и способы мышления, которые выпускники уносят с собой во внешний мир. Очевидно, что цифровизация накладывает отпечаток на то, каким образом студенты думают и решают проблемы: «...цифровые инструменты и платформы меняют то, как сегодня учащиеся думают и ведут себя ...» [9]. Поэтому выбор тестовых заданий в качестве инструмента контроля знаний студентов непосредственно может влиять на их уровень компетенции. Таким образом, сложившиеся факторы пандемии и цифровой миграции вновь ставят проблему тестовых заданий, как приемлемого и адекватного способа проверки знаний студентов.
Необходимо отметить, что медико-биологические направления относятся к той области системы высшего образования, где такие слабые стороны тестирования как: невозможность отследить мотивы выбора того или иного ответа и причины пробелов в знаниях; невозможность детального и глубокого погружения в содержание предмета из-за обширного обхвата тем, включенных в тестирование^]; «угадывание» ответа или «попадание» в ответ, в связи с частым прохождением одного и того же теста или повторяющимися вопросами [11] накладывает ограничения на применение тестирования, как единственного способа оценки знаний. Целью данной работы является анализ онлайн - тестирования студентов (экзаменационный вид контроля) по дисциплине «Биохимия», как способ оценки полученных ими компетенций, а также перспективы использования данного вида оценки знаний для естественно-научных направлений подготовки.
Результаты данной статьи основаны на кейс-стайди экзаменационного тестирования по предмету «Биохимия» среди 269 студентов. Тест по базовой дисциплине «Биохимия» был создан и включал 50 вопросов. Тестирование было проведено на платформе Microsoft Forms в рамках работы в системе Microsoft Teams. Условия программы позволили формировать «порядок» вопросов случайным образом, что снижает вероятность списывания среди тестируемых. Эксперимент проходил в два этапа. На первом этапе в качестве контроля эффективности экзаменационного теста, нами было проведено случайное угадывание ответов на вопросы теста. Второй этап исследования включал в себя непосредственно прохождение экзаменационного теста студентами. Получение результаты были проанализи-
рованы с использованием H-критерия Краскела-Уоллиса и U-критерия Манна — Уитни.
В качестве контроля в данном эксперименте послужила случайная выборка. Результаты, полученные в ходе эксперимента в виде случайного угадывания ответов на вопросы теста, показали, что случайное угадывание правильных ответов для первой группы студентов имеет следующие параметры распределения: медиана 23.3 с размахом от 13.3 до 35. Случайное угадывание верных ответов для второй группы студентов имеет медиану 22 и размах от 8 до 37. При проведении рандомного теста было показано, что случайные результаты не совпадают с полученными. Важно отметить, что случайное угадывание в нашем случае никаким образом не выявляет «специальные» знания в области биохимии. Таким образом хоть сколько-нибудь успешное прохождение теста не может являться достаточным основанием для оценки понимания и усвоения материала. Интерпретация рандомного теста может выявить «ошибочность» вопросов теста, его качество, слабые стороны в формулировке и интерпретации, а также уменьшить логические ошибки возникающие в процессе создания тестовых заданий.
Для проведения экзаменационного теста были сформированы две группы студентов, которые решали тест в определенный промежуток времени. Тестирование было проведено на платформе Microsoft Forms, в рамках работы в системе Microsoft Teams. Тест отрабатывался на двух группах студентов в разные даты. Для каждой группы выставлялся определенный вариант теста. Вопросы, включенные в варианты теста, отражали основной объем курса по дисциплине «Биохимия» и обладали достаточной вариативностью. Условия сдачи теста для первой группы предполагали решение вопросов теста в течении 30 минут. Для второй группы время прохождения теста было сокращено на 15 минут. Решение сократить время сдачи теста для второй группы, было продиктовано исключением возможности воспользоваться поиском ответов в системе Интернет. Корректировка времени сдачи теста для второй группы дала результаты, которые заметно отличаются от таковых для первой группы. На основании H-критерия Краске-ла-Уоллиса функции распределения суммарной оценки за тестирование схожи, что позволило сгруппировать два набора данных. Распределение первой группы можно описать через медиану, равную 41.7, с размахом от 31.7 до 46.7, в то время как вторая группа испытуемых демонстрирует медиану, равную 38.0 и размах от 17.7 до 46.0. Парное сравнение двух групп, проведенное с использование непараметрического критерия значимости Манна-Уитни позволяет заключить, что распределения отличаются. Это может говорить о том, что компьютерное тестирование в условиях дистанционного обучения не способно адекватно отразить
уровень профессиональной компетентности студентов по предмету «Биохимия». Отличие распределений двух групп может свидетельствовать о том, что вынужденное сокращение времени прохождения теста во избежание списывания может существенно влиять на распределение оценок.
Предпринята попытка более детального анализа ответов студентов на вопросы теста. Выявлено, что на некоторые вопросы теста респонденты отвечали правильно только в 4 % случаев; отмечены также вопросы, правильные ответы на которые респонденты давали в 80% случаев. Таким образом, данные, полученные в ходе исследования, показывают, что не все студенты способны однозначно и убедительно справляться с тестом, а также сами тесты не могут в равной степени отразить уровень владения материалом среди студентов. Для полной картины анализа требуется повторения эксперимента в течении 2-3 лет.
Современный уровень цифровизации позволил достаточно быстро и относительно безболезненно перейти к дистанционным формам обучения. Цифровизация давно стала устойчивым трендом в области высшего образования. Она развивается в двух направлениях: разработка новых технологий обучения и цифровизация имеющихся. В условиях пандемии процесс цифровизации, который длился последовательно и постепенно, приобрел скачкообразный характер. Весь процесс обучения вынужденно перешел в цифровой мир. Новые условия цифровой миграции заставили заново обратить внимание педагогов и исследователей на проблему тестов, как инструмента контроля знания. При дистанционном обучении у преподавателей иногда не было адекватных альтернатив тестированию для проведения промежуточной аттестации студентов.
Проведенное исследование при тестировании студентов по предмету «Биохимия» имело своей целью проверить адекватность тестов в качестве способа определения уровня знаний. Первый этап рандомного тестирования показал распределения оценок в двух группах в случае, когда ответы выбираются не на основе имеющихся знаний, а случайным образом. Зафиксированные распределения оценок рандомного тестирования позволяют утверждать, что при проведении реального тестирования, студенты будут принимать решения, исходя из имеющихся знаний по предмету. Второй этап исследования заключался в проведении реального тестирования, в котором принимало участие две группы студентов. Первая группа студентов имела вдвое больше времени для прохождения теста, чем вторая (30 и 15 минут соответственно). На основании непараметрического критерия значимости Манна-Уитни, можно сделать вывод, что распределения оценок в двух группах отличаются. Иными словами, первая группа, имевшая больше времени для прохождения теста, показала результат выше,
чем группа, время которой было сокращено в попытке предотвращения списывания.
Таким образом, вынужденная цифровизация и переход к дистанционным формам обучения и контроля с одной стороны требует специальных мер, предотвращающих списывание (с помощью Интернета), а с другой - эти меры влияют на оценку знания студентов. Очевидно, что нельзя сказать, что первая группа лучше усвоила материал, чем вторая, поскольку более низкий результат в этой группе можно объяснить меньшим временем на обдумывание ответов. Однако очевидно также, что особенности организации тестирования в цифровом дистанционном формате влияют на результат тестирования.
Система онлайн-тестирования, как инструмент оценки знаний и подготовленности студентов, используется в педагогической среде на протяжении долгого времени. Несмотря на свои положительные стороны, она также имеет ряд ограничений. В условиях дистанционного обучения, онлайн-тестирование становится чуть ли не един-
ственно возможным (по соотношению трудозатратности, охвату экзаменуемых, и времени на проверку заданий), а поэтому самым распространенным средством оценки знаний студентов. Но правомерность применения тестирования, как единственного способа поверки знаний студентов, на некоторых направлениях подготовки ставится под сомнение. Для естественнонаучных направлений, таких как биология, химия, биохимия, медицина, где важно оценить не только багаж теоретических знаний, но и умение практического применения знаний, тестирование не может являться объективным механизмом оценки усвоенного материала. При все более распространяющемся тренде на дистанционное обучение и цифровой формат образовательных программ, который был особенно активно запущен из-за распространения коронавирусной инфекции весной 2020 года, необходимо искать альтернативные варианты онлайн-тестированию, как механизму оценки знаний, среди студентов медико-биологических направлений.
СПИСОК ИСТОЧНИКОВ
1. Danylo Fedirko 8 Top Trends Of Digital Transformation In Higher Education 2019 URL:https://elearningindustry.com/digital-transformation-in-higher-education-8-top-trends (дата обращения 02.08.2020)
2. Щелкунов М.Д. Общество в условиях пандемии: репетиция цифрового будущего// Вестник экономики, права и социологии. 2020. № 2 URL: http://www.vestnykeps.ru/0220/43.pdf (дата обращения 11.07.2020)
3. Watermeyer, R., Crick, T., Knight, C. et al. COVID-19 and digital disruption in UK universities: afflictions and affordances of emergency online migration. High Educ (2020). https://doi.org/10.1007/s10734-020-00561-y
4. Green B. F. (1997). A primer of testing (1981). In J. M. Notterman (Ed.), The evolution of psychology: Fifty years of the American Psychologist (p. 193-212). American Psychological Association. https://doi.org/10.1037/10254-014
5. Аванесов В. С. Основы научной организации педагогического контроля в высшей школе. Школа. - М., 1989. - 167 с.
6. Аванесов В.С. Теория и практика педагогических измерений (материалы публикаций). - ЦТ и МКО УГТУ-УПИ, 2005 г. - 98 с.
7. Казиев В.М. Введение в практическое тестирование. - М.: Национальный открытый Университет ИНТУИТ, 2016. - 98 с.
8. Barnett-Foster, D., Nagy, P. Undergraduate student response strategies to test questions of varying format. High Educ 32, 177-198 (1996). https://doi.org/10.1007/BF00138395 (дата обращения: 03.08.2020).
9. Saykili, Abdullah. (2019). Higher Education in The Digital Age: The Impact of Digital Connective Technologies. Journal of Educational Technology and Online Learning (p.1-15). https://www.researchgate.net/publication/330770798_Higher_Education_ in_The_Digital_Age_The_Impact_of_Digital_Connective_Technologies (дата обращения: 03.08.2020)
10. Желнин М. Э., Кудинов В. А., Белоус Е. С. Преимущества и недостатки тестирования в сравнении с другими методами контроля знаний // Ученые записки. Электронный научный журнал Курского государственного университета. 2012. №1 (21). URL: https://cyberleninka.ru/article/n/preimuschestva-i-nedostatki-testirovaniya-v-sravnenii-s-drugimi-metodami-kontrolya-znaniy (дата обращения: 03.08.2020).
11. Перова Ю. П., Технологии тестирования в дистанционном обучении// Доклады ТУСУР. 2015. №1 (35). URL: https:// cyberleninka.ru/article/n/tehnologii-testirovaniya-v-distantsionnom-obuchenii (дата обращения:03.08.2020)
Информация об авторах
Танеева Лилия Ахатовна, кандидат биологических наук, доцент, Казанский (Приволжский) федеральный университет, Институт фундаментальной медицины и биологии, Высшая школа биологии, Центр биологии и педагогического образования, кафедра биохимии, биотехнологии и фармакологии.
E-mail: kolbatonalilya@mail.ru
Изотова Екатерина Дмитриевна, старший преподаватель, Казанский (Приволжский) федеральный университет, Институт фундаментальной медицины и биологии^Высшая школа биологии, Центр биологии и педагогического образования, кафедра биохимии, биотехнологии и фармакологии.
E-mail:izotova.e.d@gmail.com
Ефлова Мария Юрьевна, доктор социологических наук, профессор, Казанский (Приволжский) федеральный университет, Институт социально-философских наук и массовых коммуникаций, кафедра обшей и этнической социологии
E-mail: meflova@gmail.com.
Сафонов Александр Сергеевич, кандидат философских наук, доцент, Казанский (Приволжский) федеральный университет, Институт социально-философских наук и массовых коммуникаций, кафедра социальной философии.
E-mail: chelovek-3000@yandex.ru.
Маяковская Анастасия Владимировна, ассистент, Казанский (Приволжский) федеральный университет, Институт социально-философских наук и массовых коммуникаций, кафедра обшей и этнической социологии.
E-mail: anastasya99999@mail.ru
Ефлова Дарья Сергеевна, студент, Казанский (Приволжский) федеральный университет.
Ganeeva L.A., Izotova E.D., Eflova M.Y., Safonov A.S., Mayakovskaya A.V., Eflova D.S.
ONLINE TESTING AS A TOOL FOR ASSESSING STUDENTS' KNOWLEDGE (ON THE EXAMPLE OF AN EXAMINATION TEST IN BIOCHEMISTRY AMONG STUDENTS OF NATURAL SCIENCE SPECIALTIES)
Abstract. The article discusses the problem of introducing testing as the most popular and widespread method of monitoring students' knowledge within the framework of distance education, to which students and teachers of Russian universities were forced to transfer during the spread of the coronavirus infection COVID-19. From the point of view of the authors, the transition to distance learning has revealed many significant problems of the trend towards digitalization of the educational process. In the course of the research, it was found that knowledge control methods widely used in digital learning cannot be effectively applied in the learning and control process for some specialties. The authors highlight the features, problems and imperfections of the testing system faced by students and teachers. The authors argue that for such areas in the education system as medicine, biology, biochemistry, where the practical component of the acquired knowledge plays a huge role, the testing system cannot serve as an effective tool for testing the acquired knowledge.
Keywords: digitalization, higher education, online education, online testing.
Literature
1. Danylo Fedirko 8 Top Trends Of Digital Transformation In Higher Education 2019 URL: https: //elearningindustry.com/digital-transformation-in-higher-education-8-top-trends (date of treatment 08/02/2020)
2. Shchelkunov M.D. Society in a pandemic: a rehearsal of the digital future // Bulletin of Economics, Law and Sociology. 2020. No. 2 URL: http://www.vestnykeps.ru/0220/43.pdf (date of treatment 07/11/2020)
3. Watermeyer, R., Crick, T., Knight, C. et al. COVID-19 and digital disruption in UK universities: afflictions and affordances of emergency online migration. High Educ (2020). https://doi.org/10.1007/s10734-020-00561-y
4. Green B. F. (1997). A primer of testing (1981). In J. M. Notterman (Ed.), The evolution of psychology: Fifty years of the American Psychologist (p. 193-212). American Psychological Association. https://doi.org/10.1037/10254-014
5. Avanesov VS Fundamentals of the scientific organization of pedagogical control in higher education. School. - M., 1989. -
6. Avanesov V.S. Theory and practice of pedagogical measurements (materials of publications). - Central Television and MCO USTU-UPI, 2005. - 98 p.
7. Kaziev V.M. An introduction to hands-on testing. - M .: National Open University INTUIT, 2016. - 98 p.
8. Barnett-Foster, D., Nagy, P. Undergraduate student response strategies to test questions of varying format. High Educ 32, 177-198 (1996). https://doi.org/10.1007/BF00138395 (date accessed: 03.08.
9. Saykili, Abdullah. (2019). Higher Education in The Digital Age: The Impact of Digital Connective Technologies. Journal of Educational Technology and Online Learning (p. 1-15). https://www.researchgate.net/publication/330770798_Higher_ Education_in_The_Digital_Age_The_Impact_of_Digital_Connective_Technologies (date accessed: 03.08.)
10. Zhelnin ME, Kudinov VA, Belous ES Advantages and disadvantages of testing in comparison with other methods of knowledge control // Scientific notes. Electronic scientific journal of Kursk State University. 2012. No. 1 (21). URL: https://cyberleninka. ru/article/n/preimuschestva-i-nedostatki-testirovaniya-v-sravnenii-s-drugimi-metodami-kontrolya-znaniy (date of access: 03.08.)
11. Perova Yu. P., Testing technologies in distance learning // Reports of TUSUR. 2015. No. 1 (35). URL: https://cyberleninka.ru/ article/n/tehnologii-testirovaniya-v-distantsionnom-obuchenii (date accessed: 03.08.)
Authors
Ganeeva Lilia Akhatovna, Candidate of Biological Sciences, Associate Professor, Kazan (Volga Region) Federal University, Institute of Fundamental Medicine and Biology, Higher School of Biology, Center for Biology and Pedagogical Education, Department of Biochemistry, Biotechnology and Pharmacology.
E-mail: kolbatonalilya@mail.ru
Izotova Ekaterina Dmitrievna, Senior Lecturer, Kazan (Volga Region) Federal University, Institute of Fundamental Medicine and Biology, Graduate School of Biology, Center for Biology and Pedagogical Education, Department of Biochemistry, Biotechnology and Pharmacology.
E-mail: izotova.e.d@gmail.com
Eflova Maria Yurievna, Doctor of Sociological Sciences, Professor, Kazan (Volga Region) Federal University, Institute of Social and Philosophical Sciences and Mass Communications, Department of General and Ethnic Sociology
E-mail: meflova@gmail.com.
Safonov Aleksandr Sergeevich, Candidate of Philosophical Sciences, Associate Professor, Kazan (Volga Region) Federal University, Institute of Social and Philosophical Sciences and Mass Communications, Department of Social Philosophy.
E-mail: chelovek-3000@yandex.ru.
Mayakovskaya Anastasia Vladimirovna, Assistant, Kazan (Volga Region) Federal University, Institute of Social and Philosophical Sciences and Mass Communications, Department of General and Ethnic Sociology.
E-mail: anastasya99999@mail.ru
Eflova Daria Sergeevna, student, Kazan (Volga Region) Federal University.
