CC BY
59
work of Kuzbass State Technical University Ip 01/4-01 of 09.08.2017]. (In Russian).
12. Smirnov V. A. Vneuchebnaya rabota v vuze: nekotorye problemy i vozmozhnye puti razvitiya [Extracurricular work in higher education: some problems and possible ways of development]. Alma Mater (Higher School Herald), 2014, no. 11, pp. 17-23. (In Russian).
13. Lavrov I. M. Sovremennye podhody k ocenke effektivnosti raboty podrazdelenij vnutrennego kontrolya i audita [Modern approaches to an assessment of overall performance of divisions of internal control and audit]. ETAP: Economic Theory, Analysis, and Practice, 2016, no. 2, pp. 66-73. (In Russian)
14. Sergeeva M. G., Oreshkina A. K., Yastremsky A. M., Kulinchenko A. V., Petrova L. A. Development and structure of professional competences in the conditions of continuing economic education. International Journal of Innovative Technology and Exploring Engineering, 2019, vol. 8, no. 12, pp. 785-789. (In English).
15. Gerashchenkova T. M., Domogatsky K. I., Markelov A. O., Shvygova V. D. Normativnaya model' avtomatizacii uchyota vneuchebnojraboty prepodavatelej[Normative model of accounting's automation of teachers' extracurricular work]. Ergodesign, 2019, no. 4 (6), pp. 179-185. (In Russian).
УДК/UDC 378.146 Н. В. Тунёва, А. А. Ресенчук
N. Tunyova, A. Resenchuk
ОРГАНИЗАЦИЯ И ПРОВЕДЕНИЕ ПРОМЕЖУТОЧНОЙ АТТЕСТАЦИИ В УСЛОВИЯХ ДИСТАНЦИОННОГО ОБУЧЕНИЯ
ORGANIZING AND CONDUCTING MIDTERM ASSESSMENT DURING DISTANT LEARNING
Введение. В статье представлено исследование по проблеме поиска методов и приемов организации и проведения промежуточной аттестации обучающихся в дистанционном формате в условиях цифровой трансформации образования и распространения COVID-19. Цель статьи - проанализировать возможные решения, использованные при организации промежуточной аттестации зарубежными и российскими университетами, а также поделиться опытом Кемеровского государственного университета (КемГУ).
Методология. Исследование проводится на основе сбора и анализа научной литературы, классификации стратегий проведения промежуточной аттестации (зачета, экзамена) в России и за рубежом в 2020 г. путем наблюдения за аттестацией и последующего анкетирования обучающихся.
Результаты заключаются в успешном прохождении промежуточной аттестации по иностранному языку (английский) большинством студентов Института экономики и управления в Кемеровском государственном университете (КемГУ) в весеннем семестре 2020 г.
Аттестация проводилась в три этапа: подготовка к зачету (экзамену), проведение зачета (экзамена), подведение итогов. Представлены результаты анкетирования студентов об их отношении к процедуре промежуточной аттестации, ее положительным и отрицательным сторонам.
Заключение. Авторами отмечается, что опыт проведения онлайн-экзаменов в России и мире накоплен. Эта практика будет развиваться. Могут возникнуть альтернативные решения, другие формы оценки знаний: оценка проектной деятельности, накопительный итог к концу семестра. Возможность информационных систем вуза собирать и использовать информацию о цифровом следе студентов позволит поставить оценку за курс накопительным итогом.
Introduction. The article presents a study on the issue of finding methods and techniques to organize and conduct midterm assessment of students in a distant learning format due to digital transformation of education and COVID-19 spread. The aim of the article is analyzing possible solutions to organize summative assessment by foreign and Russian Universities and sharing experience of Kemerovo State University (KemSU).
Methodology. The study was conducted on the basis of scientific data collection and analysis, classification strategies for conducting midterm assessment (test, exam) in Russian and foreign Universities in 2020, observation of summative assessment progress and subsequent students' survey.
Results are in successful midterm assessment in a foreign language (English) by the majority of students of the Institute of Economics and Management at KemSU in the spring semester of 2020. The midterm assessment was car-
ried out in three stages: preparation for the test (exam), conducting the test (exam), and summing up the results. The results of the students' survey about their attitude to the summative assessment procedure, its positive and negative aspects are presented.
Conclusions. The authors draw attention to the fact that there is online exams experience in Russian and in foreign universities and it will continue to develop. Some alternative solutions of knowledge assessment may appear, as: project assessment, cumulative assessment by the end of the semester. Manu universities' information systems have an ability to collect and use students' digital footprints which helps to assess their learning outcomes.
Ключевые слова: промежуточная аттестация, онлайн-аттестация, онлайн-экзамен, дистанционное обучение, образовательные веб-сервисы.
Keywords: midterm assessment, online assessment, online exam, distance learning, educational web-services.
Введение
Сегодня цифровая трансформация образования, распространение пандемии вируса COVID-19 по всему миру и связанный с этим Указ Президента РФ от 02.04.2020 «О мерах по обеспечению санитарно-эпидемиологического благополучия населения на территории Российской Федерации в связи с распространением новой коронавирусной инфекции (COVID-19)» актуализируют поиск методов и приемов для организации и проведения промежуточной и итоговой аттестации обучающихся в дистанционном формате.
Согласно Федеральному закону «Об образовании в Российской Федерации» от 29.12.2012 № 273-Ф3 «освоение образовательной программы, в том числе отдельной части или всего объема учебного предмета, курса, дисциплины (модуля) образовательной программы, сопровождается промежуточной аттестацией обучающихся, проводимой в формах, определенных учебным планом, и в порядке, установленном образовательной организацией». Обычно промежуточная аттестация студентов включает прием и сдачу зачетов и экзаменов, контрольных работ в форме итогового контроля, защиту курсовых работ (проектов), зачетов по практикам/НИР в строгом соответствии с рабочими учебными планами направления подготовки (специальности). Распространение COVID-19 стало вызовом для зарубежных и российских университетов, которым пришлось налаживать дистанционную работу, вносить коррективы не только в локальные акты, учебные программы и образовательный процесс, но и обеспечивать новый, дистанционный
формат промежуточной и государственной итоговой аттестации. В таком формате испытание студента проходит за пределами учебного заведения.
Следует заметить, что дистанционный формат испытаний существовал во многих ведущих зарубежных вузах (Harvard University, Oxford University, Open Universities Australia, Open University UK, Stanford University, Ottawa University и др.) еще до появления пандемии благодаря использованию своих образовательных платформ. Вузы России, участвующие в программе «Открытое образование» (МГУ, СПбПУ, СПбГУ, НИТУ, «МИСиС», НИУ «ВШЭ», УрФУ, Университет ИТМО и др.), тоже пользуются такой возможностью.
Ряд исследователей G. Conole [4], B. Csapo [6], C. Gipps [7], C. Kuo [8] сравнивают традиционный экзамен и компьютерное тестирование, отмечая ряд преимуществ последнего. Другие исследователи С. В. Титова [1], Н. В. Тунёва [17] представляют аудиторный опыт проведения опросов и оценивания знаний студентов с помощью мобильных приложений и веб-сервисов. В этой области имеются исследования C. Hewson [11], N. Sclater [10], o K. Chia [3], которые анализируют опыт проведения экзаменов в дистанционном формате. С большой долей вероятности можно утверждать, что в перспективе все вузы будут практиковать дистанционный формат промежуточной аттестации. В связи с пандемией COVID-19 во всех вузах мира возникла необходимость в организации дистанционного обучения, а значит и промежуточной и итоговой аттестации в онлайн-формате.
Таким образом, целью данной статьи является анализ решений, которые сейчас используются при организации промежуточной аттестации зарубежными и российскими университетами, а также трансляция опыта Кемеровского государственного университета (КемГУ).
Методология
Для изучения возможных решений по организации промежуточной аттестации в дистанционном формате мы использовали как теоретические методы: сбор и анализ научной литературы по данному вопросу, классификацию стратегий проведения аттестации (зачета, экзамена), так и практические методы: наблюдение за ходом аттестации и анкетирование обучающихся.
В настоящее время появление цифровых технологий и педагогических подходов к их использованию в образовании обусловило переход на новый социально-интерактивный этап преподавания, который характеризуется активным взаимодействием
пользователей через социальные сервисы Веб 2.0 и их мобильные приложения, агрегацией контента, быстрым развитием пользовательского контента, системами онлайн-сотрудничества, мгновенным доступом к учебному материалу и т. д. [1]. На этом этапе цифровые технологии становятся неотъемлемым атрибутом как повседневной жизни человека, так и его обучения, благодаря широкому распространению смартфонов, планшетных компьютеров и других персональных мобильных устройств, но. В современном образовании цифровые технологии предоставляют новые возможности: обучение в удобное время, непрерывный процесс, возможность проектирования индивидуальных образовательных маршрутов, интерактивный характер учебного процесса, обеспечение быстрой обратной связи, повышение мотивации обучающихся и т. д. Применительно к обучению иностранным языкам некоторые цифровые технологии превосходно подходят для развития иноязычного лексического запаса и повышения грамотности студентов, позволяют работать с аутентичными текстовыми, аудио- и видеоресурсами. Возможности цифровизации образования (использование технологий e-learning, m-learning, широкий набор образовательных платформ и веб-сервисов), позволяют педагогам организовать не только процесс обучения в онлайн-и дистанционном форматах, но и обеспечить мгновенную обратную связь с обучающимися, проверять их знания, оценивать их работу удаленно.
В своем историческом обзоре экзаменационных форматов Elliott прослеживает их изменение от традиционных (письменных) к электронным (проводимым в компьютерных классах) и интерактивно-электронным с появлением эры Web 2.0 [2]. Chao, Hung and Chen рассматривают дистанционные экзамены, проводимые синхронно в виртуальных классах, с возможностью прокторинга (процедуры контроля и наблюдения за дистанционным экзаменом). В своих исследованиях они поднимают такие вопросы, как диапазон прокторинга, списывание, дефицит соответствующих программных средств, а также обсуждают требования к различным методам синхронной онлайн-оценки [3]. Ряд ученых [4-10], сравнивая традиционный экзамен и компьютерное тестирование, сообщают о ряде преимуществ последнего в виде компьютерной поддержки при создании типов вопросов, снижение затрат на распределение заданий и администрирование тестов, автоматический подсчет результатов. Hewson и Anakwe отмечают достоинства онлайн-формата экзаменов в виде экономии времени, автоматического подсчета результатов,
быстрой обратной связи, снижение нагрузки учителя и легкости администрирования, повышения вовлеченности студентов из-за новизны формата [11; 12]. Современные системы управления обучением (LMS) предоставляют все возможности для проведения в режиме онлайн большинства оценочных мероприятий, включая промежуточную и итоговую аттестацию [13; 14].
Группа экспертов Института образования ВШЭ собрали и проанализировали обсуждаемые профессиональным сообществом в разных странах стратегии государственной итоговой аттестации и выделили четыре основных, принятых российскими и зарубежными университетами в отношении выпускных экзаменов 2020 г. [15].
• Перевод устных экзаменов в онлайн-режим. Хотя эта стратегия кажется наименее трудозатратной, она не получила всесторонней поддержки университетским сообществом из-за невозможности исключить списывание, трудности создания эффекта присутствия по видеосвязи. Среди заявлений зарубежных университетов массового проведения выпускных экзаменов в таком формате пока не выявлено.
• Использование прокторинга при существующих форматах экзаменов. Чтобы исключить списывание во время проведения письменных экзаменов в онлайн-формате многие университеты используют технологии онлайн-прокторинга (от англ. proctor -следить, наблюдать). Специальные сотрудники (прокторы) контролируют ход экзамена, выявляя и купируя возможные нарушения. Прокторинг реализуется через наблюдение проктором за ходом экзамена через веб-камеру и (или) с использованием специального программного обеспечения. Ведется сбор информации об экзаменуемом: картинка с веб-камеры; звук с микрофона; изображение рабочего стола компьютера; набранные на клавиатуре символы и анализ технических характеристик его компьютера, включая наличие удаленных доступов, вторых экранов и других особенностей, теоретически позволяющих обмануть систему. Прокторинг способствует исключению академического мошенничества. Кроме того, перед экзаменом проводится обязательная проверка личности по фотографии. Чаще всего российские университеты используют прокторинг в рамках итогового и промежуточного контроля при прохождении онлайн-курсов. Популярные системы прокторинга в России: Examus и ProctorEdu. Многие зарубежные университеты также пользуются услугами специальных прокторинговых компаний, таких как Proctor U или ProctorFree. Несмотря на преимущества прокто-
ринга при борьбе с академическим мошенничеством, его полномасштабное внедрение требует основательной подготовки: учет рисков, связанных с отсутствием необходимого оборудования у экзаменующегося, сбои в работе программного обеспечения, разрывы интернет-связи из-за большой нагрузки и т. д.
• Open-book exam (экзамен с открытой книгой). Это экзамен, на котором можно использовать любые внешние источники информации. Вопросы экзамена сформулированы особым образом, что позволяет оценить результаты обучения даже при использовании разных источников. Подобный формат проводился в Имперском колледже Лондона, Оксфордском университете, Университете Бристоля, Гарвардском университете. Обнаруженные проблемы сводились к несовпадению часовых поясов у иностранных студентов, вернувшихся в свои страны, проблемам с интернет-связью и техникой, выполнению задания другим лицом.
• Перенос экзаменов на осень, период более благополучной санитарно-эпидемиологической обстановки. Данный формат пока не получил широкого распространения. В России он обсуждается применительно к тем направлениям подготовки, где невозможно проведение онлайн-экзаменов (медицинские, спортивные, творческие и другие направления), а также к тем студентам, которые не имеют технических возможностей для экзаменов в онлайн-формате. Проблемы такого формата связаны с отсутствием нормативной базы, определяющей введение «недобровольного» академического отпуска или продление сроков реализации программы, условия проживания в общежитии, возможности последующего поступления в магистратуру/ аспирантуру и сохранения отсрочки от армии.
На основании вышеизложенной информации мы представляем опыт организации промежуточной аттестации по иностранному языку (английский) бакалавров и магистрантов Института экономики и управления Кемеровского государственного университета (КемГУ) в весеннем семестре 2020 г. Промежуточная аттестация была организована в форме зачета и экзамена в онлайн-формате. Аттестовались 112 бакалавров заочной формы обучения направлений «Экономика», «Менеджмент», «Государственное и муниципальное управление» и 40 магистрантов очно-заочной и заочной формы обучения направлений «Менеджмент», «Государственное и муниципальное управление».
Промежуточная аттестация проводилась в три этапа: подготовка к зачету (экзамену), проведение зачета (экзамена), подведение итогов.
Во время подготовительного этапа мы проводили установочную беседу со студентами с помощью сервиса видеоконференций Zoom и оповещениях учебных групп в социальной сети «ВКонтакте». Нам было важно довести до их сведения регламент проведения онлайн-зачета (экзамена). Кроме того, для снятия тревожности у студентов был проведен демонстрационный вариант онлайн-зачета (экзамена) через веб-сервис онлайн-тестирования Socrative, знакомый студентам и неоднократно используемый ранее во время учебных занятий [16-17]. Студенты, используя свои устройства (смартфоны, планшеты или ПК), подсоединялись к виртуальной комнате с помощью кода и проходили тестирование. Преподаватель же наблюдал и координировал этот процесс, параллельно общаясь с ними в сервисе видеоконференций Zoom. Лимит времени не устанавливался, но обязательным условием было включенная видеокамера у студентов. Бесплатная версия сервиса Socrative позволяет одновременно 50 студентам использовать виртуальную комнату. По окончанию тестирования преподаватель студентам демонстрировал экран, представляя таблицу результатов теста каждого из них в баллах или процентах с указанием верных и неверных ответов для дискуссии, проводимой тут же, синхронно.
На этапе проведения онлайн-зачета (экзамена) студенты уже знали последовательность своих действий и проходили через такую же процедуру только с лимитом времени. Сам тест включал вопросы с выбором одного/нескольких ответов, отражающих содержание дисциплины, в основном проверялась компетенция «знать». Огромным преимуществом можно назвать синхронное тестирование всеми студентами, мгновенную автоматическую проверку ответов и предоставление оперативной обратной связи. Следуем заметить, что данный формат использовался нами для проведения зачета и экзамена у студентов заочного обучения. Онлайн-экзамен у студентов очного обучения требовал проверки компетенций «уметь» и «владеть». Для этого мы добавили к предыдущей процедуре задание «Видеопрезентация навыка». Студенту предавалась ситуация общения (встреча делового партнера, собеседование при приеме на работу, назначение деловой встречи по телефону и др.), и он должен был ее представить в виде монолога или диалога в паре с другим студентом синхронно в сервисе Zoom.
На этапе подведения итогов студентам объявлялись оценки, проводилось их онлайн-анкетирование через сервис Google forms с целью выявления их отношения к данному формату.
Результаты
Итоги промежуточной аттестации по иностранному языку студентов КемГУ в дистанционном формате за весенний семестр 2020 г. показали следующее.
1. 82 % студентов получили «зачтено», 81 % студентов сдали экзамен на «отлично» (33 %) и «хорошо» (48 %). При анкетировании данная категория студентов положительно отнеслась к процедуре онлайн-экзамена (зачета), отметив необходимость обратной связи с преподавателем в соцсетях или мессенд-жерах и демонстрационного тестирования накануне экзамена.
2. 18 % студентов получили «не зачтено», а 19 % -«удовлетворительно» по разным причинам: непосещение учебных видеосеминаров, несистемное выполнение домашних заданий, работа во время учебы.
3. 39 % студентов остались не удовлетворены своими техническими возможностями при прохождении аттестации (отсутствие стабильного интернет-соединения, веб-камеры). Более того, многие студенты не поддержали идею «сдавать экзамен с включенной камерой», стесняясь своего изображения.
4. Даже при положительной оценке онлайн-тестирования через Socrative с автоматической проверкой и обратной связью, многие из них отмечали «моральную неготовность» к такому формату аттестации в пользу традиционной сдачи в аудитории.
Заключение
Опыт проведения онлайн-экзаменов в России и мире накоплен и будет развиваться. Возможно, в будущем появятся альтернативные решения, другие формы оценки знаний: оценка проектной деятельности, накопительный итог к концу семестра. Эти решения уже доступны сегодня. Было бы целесообразно, чтобы при прохождении того или иного курса за счет накопления цифрового следа студента (информация о его работе, степени вовлеченности в решение тех или иных задач, промежуточных результатах) можно было выставить оценку за работу студента накопительным итогом. Тогда будущее за возможностью информационных систем вуза собирать и использовать информацию о цифровом следе студентов к окончанию семестра, чтобы оценить насколько студент справился со своей программой.
Литература
1. Титова С. В. Цифровые технологии в языковом обучении:
теория и практика. М., 2017. 247 с.
2. Elliott B. Assessment 2.0: Modernising assessment in the age
of Web 2 [Электронный ресурс]. URL: http://www.scribd.com/
doc/461041/Assessment-20.
3. Chao K. J., Hung I. C., Chen N. S. On the design of online synchronous assessments in a synchronous cyber classroom // Journal of Computer Assisted Learning. 2011. P. 1-17.
4. Conole G., Warburton B. A review of computer-assisted assessment // Research in Learning Technology. 2005. Vol. 13, iss. 1. P. 17-31.
5. Sim G., Holifield P., Brown M. Implementation of computer assisted assessment: lessons from the literature // Research in Learning Technology. 2004. Vol. 12, iss. 3. P. 215-229.
6. Technological issues for computer-based assessment / B. Csapo, J. Ainley, R. E. Bennett et al. // Assessment and teaching of 21st century skills. New York : Springer, 2012. P. 143-230.
7. Gipps C. V. What is the role for ICT-based assessment in universities? // Studies in Higher Education. 2005. Vol. 30, iss. 2. P. 171-180.
8. Kuo C.-Y., Wu H.-K. Toward an integrated model for designing assessment systems: An analysis of the current status of computer-based assessments in science // Computers & Education. 2013. Vol. 68. P. 388-403.
9. Terzis V., Economides A. A. The acceptance and use of computer based assessment // Computers & Education. 2011. Vol. 56, iss. 4. P. 1032-1044.
10. Sclater N., Howie K. User requirements of the "ultimate" online assessment engine // Computers & Education. 2003. Vol. 40, iss. 3. P. 285-306.
11. Hewson C. Can online course-based assessment methods be fair and equitable? Relationships between students' preferences and performance within online and offline assessments // Journal of Computer Assisted Learning. 2012. Vol. 28, iss. 5. P. 488-498.
12. Anakwe B. Comparison of Student Performance in Paper-Based Versus Computer- Based Testing // Journal of Education for Business. 2008. Vol. 84, iss. 1. P. 13-17.
13. Vicent L., Segarra M. Learning management system // Multimedia in Education. Adaptive Learning and Testing. 2010. August. P. 21-48.
14. Ifenthaler Dirk. Learning Management System // Encyclopedia of the Sciences of Learning. Boston : Springer, 2012. P. 1925-1927.
15. COVID-19 и ГИА-2020: Стратегии проведения выпускных экзаменов в зарубежных и российских университетах [Электронный ресурс]. URL: https://ioe.hse.ru/sao_gia#strat_3.
16. Тунёва Н. В. Опыт применения мобильных технологий на занятиях по английскому языку // Теоретические и прикладные аспекты лингвообразования. Кемерово, 2018. С. 148-154.
17. Тунёва Н. В. Мобильные приложения для оценки знаний студентов в образовательном процессе вуза // Наука и профессиональное образование: национальные приоритеты и региональные драйверы развития. Кемерово, 2019. С. 120-121.
References
1. Titova S. V. Cifrovye tekhnologii v yazykovom obuchenii: teoriya i praktika [Digital technologies in language classroom: theory and practice]. Moscow, 2017, 247 p. (In Russian).
2. Elliott B. Assessment 2.0: Modernising assessment in the age of Web 2. Available at: http://www.scribd.com/doc/461041/ Assessment-20. (In English).
3. Chao K. J., Hung I. C., Chen N. S. On the design of online synchronous assessments in a synchronous cyber classroom. Journal of Computer Assisted Learning, 2011, pp. 1-17. (In English).
4. Conole G., Warburton B. A review of computer-assisted assessment. Research in Learning Technology, 2005, vol. 13, iss. 1, pp. 17-31. (In English).
5. Sim G., Holifield P., Brown M. Implementation of computer assisted assessment: lessons from the literature. Research in Learning Technology, 2004, vol. 12, iss. 3, pp. 215-229. (In English).
6. Csapo B., Ainley J., Bennett R. E., Latour T., Law N. Technological issues for computer-based assessment. Assessment and teaching of 21st century skills. New York, Springer, 2012, pp. 143-230. (In English).
7. Gipps C. V. What is the role for ICT-based assessment in universities?. Studies in Higher Education, 2005, vol. 30, iss. 2, pp. 171-180. (In English).
8. Kuo C.-Y., Wu H.-K. Toward an integrated model for designing assessment systems: An analysis of the current status of computer-based assessments in science. Computers & Education, 2013, vol. 68, pp. 388-403. (In English).
9. Terzis V., Economides A. A. The acceptance and use of computer based assessment. Computers & Education, 2011, vol. 56, iss. 4, pp. 1032-1044. (In English).
10. Sclater N., Howie K. User requirements of the "ultimate" online assessment engine. Computers & Education, 2003, vol. 40, iss. 3, pp. 285-306. (In English).
11. Hewson C. Can online course-based assessment methods be fair and equitable? Relationships between students' preferences and performance within online and offline assessments. Journal of Computer Assisted Learning, 2012, vol. 28, iss. 5, pp. 488-498. (In English).
12. Anakwe B. Comparison of Student Performance in Paper-Based Versus Computer-Based Testing. Journal of Education for Business, 2008, vol. 84, iss. 1, pp. 13-17. (In English).
13. Vicent L., Segarra M. Learning management system. Multimedia in Education. Adaptive Learning and Testing, 2010, august, pp. 21-48. (In English).
14. Ifenthaler Dirk. Learning Management System. Encyclopedia of the Sciences of Learning. Boston, Springer, 2012, pp. 1925-1927. (In English).
15. COVID-19 i GIA-2020: Strategii provedeniya vypusknyh ekzamenov v zarubezhnyh i rossijskih universitetah [COVID-19 u State Final |Examination-2020: Final examinations strategies in Russian and foreign universities]. Available at: https://ioe.hse. ru/sao_gia#strat_3. (In Russian).
16. Tunyova N. V. Opyt primeneniya mobil'nyh tekhnologij na zanyatiyah po anglijskomu yazyku [Experience of mobile technologies application in English classes]. Theoretical and practical issues of linguistic education. Kemerovo, 2018, pp. 148-154. (In Russian).
17. Tunyova N. V. [Mobile apps to assess students' knowledge while studying in universities]. Science and professional education: national priorities and regional development drivers. Kemerovo, 2019, pp. 120-121. (In Russian).
