CC BY
8УДК 371.263+378.001
Надежность оценочной системы как условие качественного управления обучением
Надежда Ф. Ефремова
Донской государственный технический университет, г. Ростов-на-Дону, Российская Федерация E-mail: nefremova61@donstu.ru ORCID: http://orcid.org/0000-0003-4556-008X
Аннотация
Во Введении раскрываются причины необходимости нового взгляда на оценку образовательных достижений обучающихся. В первую очередь это связано с процессами международной интеграции в сфере образования, компетентностным подходом к процессу и результатам обучения, расширением техник и технологий обучения. Поэтому задача повышения объективности оценки рассматривается как педагогический аспект, требующий исследований по совершенствованию оценочных процедур и инструментария. Однако в педагогической практике ключевым ценностям надежного оценивания пока уделяется недостаточно внимания и, особенно, при оценивании компетенций как результатов освоения образовательных программ. В своем большинстве преподаватели используют традиционные средства оценки, не позволяющие выявить и оценить глубоко латентные характеристики в форме компетенций, которые, по сути, и обеспечивают успешность личности в профессиональной деятельности. Вместе с тем основные принципы построения качественной оценки требуют все большего внимания в связи с цифровой трансформацией системы образования, расширением различных форм дистанционного обучения, большей самостоятельностью обучающихся при выборе образовательной траектории. В Теоретическом обосновании показаны основные направления научно обоснованного подхода к аргументированной доказательности оценки. Логика современного оценивания требует организации деятельности обучающихся при выполнении комплексных заданий. Проектирование такого оценочного инструментария требует соблюдения ряда правил, которые обеспечивают надежность результатов, а соответственно, помогают обоснованно управлять процессом обучения, оказывая помощь обучающимся на каждом значимом этапе освоения образовательной программы. В Обсуждении результатов показаны принципы создания инновационного инструментария для комплексного оценивания образовательных достижений в условиях организации планируемой деятельности обучающихся в ситуации оценки. В Заключении автором сделан акцент на трудностях создания комплексных
ОБЩАЯ ПЕДАГОГИКА, ИСТОРИЯ ПЕДАГОГИКИ И ОБРАЗОВАНИЯ
оценочных средств и возможностях решения этой проблемы в системе вуза. Ключевые слова
результаты обучения, оценочный инструментарий, надежность, компетенции, проектирование оценки, доказательная аргументация
Для цитирования
Ефремова Н. Ф. Надежность оценочной системы как условие качественного управления обучением // Инновационная наука: психология, педагогика, дефектология. 2021. Т. 4, No 4. С. 71-84. doi: https://doi.org/10.23947/2658-7165-2021-4-4-71-84
Reliability of the assessment system as a condition of qualitative learning management
Nadezhda F. Efremova
Don State Technical University, Rostov-on-Don, Russian Federation
E-mail: nefremova61@donstu.ru
ORCID: http://orcid.org/0000-0003-4556-008X
Abstract
The Introduction part reveals the reasons for the need for a new perspective on the assessment of educational achievements of students is required. First of all, it is connected with the international integration processes in the education sphere, competence-based approach to the process and learning outcomes, techniques expansion and learning technologies. Therefore, the improving task to the assessment objectivity is considered as a pedagogical aspect, requiring research to improve assessment procedures and tools. However, in pedagogical practice the key values of reliable assessment are not yet paid enough attention and, especially, when assessing competencies as learning outcomes. Most teachers use traditional assessment tools which do not allow identifying and assessing deeply latent characteristics in the competencies form which, in fact, ensure the success of an individual in professional activity. At the same time, the basic principles of qualitative assessment construction require more and more attention due to digital transformation of the education system, expansion various forms of distance learning, greater student's independence when choosing an educational trajectory. The Theoretical justification part shows the main directions of scientifically grounded approach to evidence-based assessment. The modern assessment logic requires organizing the students activities when completing complex tasks. Designing such an assessment toolkit requires adherence to a rules number that ensure the reliable results help reasonably manage the learning process by assisting learners at each mastering meaningful stage of the educational program. The Discussion of the
results shows the creating innovative tools principles for comprehensive assessment of educational achievements in the conditions organizing the planned student's activities in an assessment situation are shown. In Conclusion author focuses on the difficulties of creating complex assessment tools and the possibilities of solving this problem in the university system.
Keywords
learning outcomes, assessment tools, reliability, competencies, assessment design, evidence-based argumentation.
For citation
Efremova N. F. Reliability of the assessment system as a condition of qualitative learning management. Innovative Science: psychology, pedagogy, defectology, 4(4), 71-84. doi: https://doi.org/10.23947/2658-7165-2021-4-4-71-84
Введение
В публикациях ученых и практиков, выступлениях политиков все чаще отмечается, что система образования вообще, а высшее образование в частности, нуждается в глубокой, радикальной и срочной трансформации, а по сути, в революционных преобразованиях (Ризви, Барбер, Доннелли, 2013; Mohan, 2021). Очень серьезные изменения вносит внедрение компетентностного подхода, который сопровождается изменениями технологий обучения, требует оценки все более сложных результатов обучения при освоении дисциплин и практик, основных образовательных программ. Это означает, что во всей педагогической системе происходит изменение концептуальных рамок оценки, непрерывно растет запрос на качество педагогических измерителей, оценочных средств, процедур и технологий. Вопросы проектирования оценки и инновационного оценочного инструментария с высокой степенью обоснованности результатов требуют разрешения на основе современных разработок российских и зарубежных исследователей.
Особое значение приобретает обеспечение надежной оценочной системы в контексте коммюнике Девятой конференции министров образования Европейского пространства высшего образования (ЕПВО) и Четвертого Болонского политического форума в Ереване (2015). Ключевое слово - признание. В материалах форума поставлена задача обеспечения гарантии взаимного доверия к системам высшего образования стран участниц Болонского процесса для достижения большей совместимости и сравнимости национальных систем высшего образования в целях повышения его качества. Автоматическое признание результатов обучения и квалификаций должно стать реальностью, обеспечивающей усиление связей между преподаванием, обучением, оцениванием
ОБЩАЯ ПЕДАГОГИКА, ИСТОРИЯ ПЕДАГОГИКИ И ОБРАЗОВАНИЯ
и научными исследованиями в ЕПВО. Приняты новая версия Стандартов и рекомендаций для гарантии качества высшего образования в европейском пространстве и Европейский подход к гарантии качества совместных программ (ENQA, 2015). В условиях интеграции разработка методик межстранового сопоставления уровней владения некогнитивными навыками представляет собой еще более сложную задачу, так как гарантия качества обучения в этом процессе играет важную роль для признания документов об образовании.
Проблема заключается в необходимости повышения надежности и про-гностичности результатов оценки для обеспечения соответствия подготовленности выпускников вузов к задачам профессиональной деятельности. В связи с этим происходит и изменение целевых установок контрольно-оценочного процесса в образовании: от традиционной оценки знаний и умений, переход к оценке универсальных и профессиональных компетенций как доказательства того, что умеет выпускник делать после освоения основной образовательной программы. Для получения аутентичной оценки компетенций студентов необходима опора на современные теории и практику разработки надежных и валидных оценочных средств, создание соответствующей организационной среды интерактивной деятельности для эффективных действий студентов при оценочном процессе и для аргументации оценки, путем сбора достаточно большого числа данных. Все более очевидным становится необходимость разработки новых моделей оценки с доказательствами того, что студенты обладают необходимым набором компетенций для решения стандартных и нестандартных проблем, с которыми могут столкнуться в профессиональной деятельности. Для этого современный дизайн оценок должен быть нацелен на измерение, как степени, так и взаимосвязи структур знаний студентов и стратегий решения ими проблем. В таких моделях сочетание индивидуальной и кооперативной деятельности для выполнения комплексных заданий является социальным аспектом обучения, в котором проверяется готовность общения, обмена идеями, выработка общей идентификации проблемы и ее отдельных элементов, достижение соглашения, рефлексия результатов и их последствий, подготовка итогового отчета.
Целью данной статьи является показать новые возможности проведения комплексной оценки подготовленности обучающихся и алгоритм проектирования оценочного инструментария, обеспечивающего надежность оценивания образовательных достижений испытуемых с использованием средств доказательной аргументации.
Ключевые ценности современного оценивания
Наиболее важными являются требования к валидности (соответствие поставленным целям обучения); надежности (единообразие при использовании
стандартизированных оценочных средств и обоснованных шкал); справедливости (равные возможности добиться успеха); развития (улучшать результаты); своевременности (соответствовать этапам обучения); эффективности (экономии времени студентов и преподавателей); целостности (накопление с результирующей оценкой на уровневых шкалах). Для разработки оценочных средств через эталонные квалиметрические процедуры важно обеспечивать сочетание количественных и качественных оценок, для чего многие зарубежные образовательные практики имеют высокопрофессиональные оценочные системы, как правило, сертифицированные уполномоченными структурами.
В этой связи становится ведущей роль фондов оценочных средств (ФОС) в системе оценки отечественных вузов. Их основные функции: разработка, хранение и учет оценочных материалов; обеспечение их стандартизации и рецензирования; предоставление статистических отчетов и оценки качества используемого педагогического инструментария; гибкое управление правами пользователей образовательной статистикой; оперативное обновление оценочных средств и пользовательских форматов результатов обучения. Однако, несмотря на большое количество работ по этой тематике, до настоящего времени нет единых требований и критериев качества самих фондов оценочных средств. Во время переходного периода от знаниевой парадигмы обучения к компетентностной, пока имеем некоторый гибрид: терминология в образовательной практике уже широко используется компетентностная, а формы обучения и оценивания все еще когнитивные. Практически повсеместно оценка компетенций подменяется оценкой знаний, но выдается большинством преподавателей за оценку компетенций. Триада «знать», «уметь» и «владеть», не значит «уметь делать». Вместе с тем современный дизайн инструментов оценки результатов обучения должен быть нацелен как на определение степени освоения компетенций, так и на выявление взаимосвязи структур знаний студентов и принимаемых ими стратегий решения проблем в деятельности при решении сложных заданий. При этом мотивационно-побудительная функция объективного контроля проявляется через воздействие результатов на всех субъектов образовательного процесса (Efremova & Huseynova, 2021). Надежная оценка у студентов развивает разновидность внутренней экспертизы, которую каждый обучающийся осуществляет в своем развитии. Обеспечение участников образовательного процесса постоянным потоком объективной и сопоставимой образовательной информации создает условия для самоаттестации, самоидентификации и саморазвития. Самооценка позволяет выявлять и устранять слабые стороны учебной деятельности, усиливать сильные; вырабатывать индивидуальную систему самоподготовки и самоконтроля. Особенно важно обеспечить возможности для самооценки в условиях цифровой трансформации образовательной деятельности.
ОБЩАЯ ПЕДАГОГИКА, ИСТОРИЯ ПЕДАГОГИКИ И ОБРАЗОВАНИЯ
Теоретическое обоснование
Одним из подходов надежного и комплексного оценивания учебных достижений, в первую очередь компетенций, является предложенный Mislevy, Almond и Lukas метод Evidence-Centered Design (ECD), метод доказательно-ориентированного дизайна оценки (Mislevy, Almond & Lukas, 2003). Он основан на проектировании паттерна как шаблона многократного использования при конструировании оценочных средств для сложных компетенций в динамически интерактивных средах. Дизайн такой оценки должен учитывать цели и обоснование оцениваемых характеристик, модели оценочных средств, систему утверждений об уровне подготовленности студентов на основе доказательств и аргументации. По этой модели паттерн-дизайн (шаблон) оценки на основе аргументации содержит ряд этапов разработки. В первую очередь требуется обоснование концептуальной рамки оценки (Conceptual Assessment Framework - CAF), своего рода формального паттерн-дизайна сборки оценочного средства, согласно которому конструируется ряд моделей: студента (компетенций и знаний), сбора свидетельств (доказательств и аргументации), статистическая модель обработки результатов, сценарий оценочного процесса с набором опровержений и поддержки при интерпретации результатов (рис.1).
Рисунок 1. Основные объекты дизайн-шаблона оценки ECD.
CAF и аргумент оценки обеспечивают формальную основу для измеряемых атрибутов оценки (конструктов) с учетом условий, в которых осуществляется деятельность студентов, а также планируется характер доказательств, которые могут быть собраны
GENERAL PEDAGOGY, HISTORY OF PEDAGOGY AND EDUCATION
для поддержки правильного вывода об оценке. Модель свидетельств состоит из правил, описывающих, как определить и охарактеризовать существенные особенности процесса и продукта работы студента, как на основе контекстной информации может быть изменена оценка с учетом особенностей ответа. Эти модели являются мостом между аргументом оценки и операционной деятельностью системы оценки.
Модель задания обеспечивает интеллектуальный переход от баллов к выводам. Прежде всего, доказательная модель опирается на конструкт исследуемых характеристик студента, устанавливающий связь между моделью задания и моделью студента. При проектировании задания указывается, сколько и какие типы задач будут использоваться для оценки каждого утверждения, как будут отбираться атрибуты аргументации, какие дополнительные доказательства психометрического качества и достоверности инструментария обеспечиваются при разработке оценочных материалов. Mislevy, Behrens, Dicerbo, Levy, описывая модель студента и модель задания, утверждают, что должно быть выявлено, как выявить и как совместить наблюдения, доказательства и свидетельства с баллами результатов оценки (Mislevy, Behrens, Dicerbo & Levy, 2012).
Кроме того, должны быть заданы требования к ситуациям, организации оценки и интерпретации результатов. Особенно важно показать, как компетентностью результаты обучения проявляются при работе студента, как они оцениваются и как оценки накапливаются, чтобы преподаватель мог доказательно сделать надежные оценочные
суждения об уровне сформированности компетенций студента. По такому шаблону преподаватели, мало знакомые с принципами конструирования педагогического инструментария, могут самостоятельно разрабатывать оценочные средства, требующие от испытуемых запланированной деятельности с применением известных или требующих поиска знаний (Ефремова, 2018а).
Использование моделей ECD уменьшает вероятность ошибок и обеспечивает более качественное оценивание достижений обучающихся, дает обоснование
ОБЩАЯ ПЕДАГОГИКА, ИСТОРИЯ ПЕДАГОГИКИ И ОБРАЗОВАНИЯ
проектных решений оценки. Четко сформулированная цель оценки позволяет создать конструкт оценки как концептуальную основу и характеристику, в которой отображены все элементы в соответствии с назначением оценочного средства (рис. 2).
Рисунок 2. Пример конструкта для разработки шаблона оценочного средства.
Алгоритм проектирования средств оценки обеспечивается на основе сопряжения ряда моделей. Модель студента разрабатывается в виде конструкта знаний и компетенций, который позволяет создать комплексное задание для заявленной цели оценивания (Ефремова, 2018Ь). Именно конструкт ставит ряд задач, требующих от студента выполнения определенной деятельности для проявления уровня владения одной или несколькими компетенциями (рис. 3).
Рисунок 3. Схема многомерного конструкта знаний и компетенций.
На базе такого конструкта проектируется сложное компетентностное задание, которое ставит перед студентом ряд задач, требующих владения необходимыми знаниями и несколькими компетенциями для решения заявленной цели или группы целей оценивания. Для инструмента оценки подбираются ситуации, где компетенции могут проявляться и подтверждаться, они должны представлять структурированные проблемы, как с известными решениями, так и проблемы с множественными решениями и соответствующими методами доказательств
того, насколько хорошо обучающиеся планируют, проводят и интерпретируют качественные или количественные данные при решении этих проблем.
Новые возможности оценки открываются благодаря конструированию многократно используемых паттернов и на их основе созданию педагогических инструментов, которые можно использовать в разных областях и которые связывает общая среда образовательной деятельности обучающихся. Разумеется, использование конкретных технологий может варьироваться в зависимости от контекста и выделенных областей образования. Однако пока разработка моделей оценок для получения доказательств их надежности находится в зачаточном состоянии, так как требует высокой квалификации специалистов в области теории педагогических измерений и разработки надежных оценочных инструментов и компетентностно-ориентированных заданий, сценариев деловых игр и кейсов, комплексных межпредметных и проблемных заданий, оценочных листов и анкет, интегральных показателей и обоснованных критериев оценки, способов аргументации и доказательств аутентичности результатов оценки. Достоверные оценки компетенций обеспечивают надежные и обоснованные выводы о том, что студенты знают и могут делать, обеспечивая их активный подход к обучению, вызванный внутренней мотивацией при доверии к результатам оценивания.
Для анализа инновационных образовательных оценок в последнее время широко применяются байесовские сети. Такой подход к проектированию оценки позволяет проектировщикам в полной мере использовать модульность байесовских сетей в образовательной оценке и моделировать сложные доказательные взаимосвязи, возникающие в результате выполнения интерактивных заданий. ECD рассматривает байесовские сети как неотъемлемый компонент принципиального процесса проектирования надежной оценки (Almond, Mislevy, Steinberg, Yan & Williamson, 2019).
Обсуждение результатов
Оценивание компетенций, имеющих глубоко латентный характер, с необходимостью предполагает обеспечение деятельности испытуемых при оценивании и обращение к теории педагогических измерений, позволяющей конструировать оценочные средства, обеспечивающие высокую надежность и ва-лидность результатов оценки (Звонников, Малыгин, Челышкова, 2012; Pellegrino, 2014; Efremova, 2021). Задача надежного оценивания латентных характеристик компетенций на сегодня представляет большие сложности на теоретическом и на практическом уровне. И в первую очередь потому, что образовательные программы носят дисциплинарный характер, а компетенции не формируются только одной дисциплиной, они междисциплинарны по своей природе, что создает невозможность надежно провести оценку сформированности отдельной
ОБЩАЯ ПЕДАГОГИКА, ИСТОРИЯ ПЕДАГОГИКИ И ОБРАЗОВАНИЯ
компетенции в рамках освоения только одной дисциплины. Сложная структура и межпредметный характер компетенций требуют перехода к модульному построению образовательных программ, когда после освоения модуля можно считать сформированными однотипные компетенции, которые можно сгруппировать в кластер и обеспечить его оценку. Проверка кластера родственных компетенций может позволить разработать и применить комплексные задания, проверяющие группу когнитивных и некогнитивных результатов обучения. Совместное обучение при решении комплексных проблем позволяет студентам участвовать в совместной деятельности, учитывая метакогнитивные, эмоциональные и мотивационные аспекты обучения в малых группах, развивать навыки самооценки и взаимооценки в бесконфликтной среде. Студенты могут работать над решением кейсов, выполняя поиск информации для поддержки своих решений и проводя в малых группах переговоры о возможностях решения проблемы, в том числе с использованием игровых форм оценки (Awwal, Scoular & Griffin, 2016). Многие авторы отмечают, что дизайн, разработка и администрирование оценок требуют новых методов и более строгих процедур оценивания на основе последних достижений теории и практики педагогических измерений (Shute, Leighton, Jang & Chu, 2016; Mulder, 2017) и особенно в условиях активного развития дистанционных форм обучения (Uludag et al., 2020; Lambert, Schuwirth, & Cees, 2011).
В эпоху информатизации образования появляется новое направление цифровых оценок, с использованием медиа они дают подробные данные, что позволяет с высокой точностью в динамике проанализировать прогресс в обучении для достижения нескольких образовательных целей (Gibson & Webb, 2015; Shute & Rahimi, 2017).
Заключение
Дизайн оценки ECD, ориентированный на доказательства, ориентирован на учет роли вероятностных рассуждений в накоплении доказательств по выполнению задания. Краткий обзор дизайна, ориентированного на фактические данные, дает представление о том, как отдельные модели вписываются в единую систему образовательной оценки. Построение сложных оценочных заданий является ресурсоемким процессом, порождает логистические и педагогические проблемы, как для разработчиков, так и для потенциальных пользователей. Но глубокая латентность компетенций, сложность их проявления и оценивания требуют разработки и применения соответствующего инструментария. Для того чтобы цели и задачи оценочной системы были достижимы, сама оценочная система вуза должна удовлетворять ряду условий и научной обоснованности используемых методик на основе современной теории и практики педагогических измерений. В первую очередь периодичности, последовательности и
GENERAL PEDAGOGY, HISTORY OF PEDAGOGY AND EDUCATION
преемственности оценки по возрастанию требований к уровням освоения; многомерности и многоступенчатости при единстве технологий для испытуемых одной стадии обучения (оценочных листов, шкал оценивания и критериев) для сопоставимости результатов оценивания с обоснованными нормами по однотипным выборкам испытуемых.
Автор заявляет об отсутствии конфликта интересов.
Литература
Декларация участников IV форума по вопросам политики Болонского процесса Ереван. (2015). Высшее образование в России, 10, 65-67.
Ефремова, Н. Ф. (2018)a. Аргументации и доказательства надежности оценок компетенций студентов. Известия Дагестанского государственного педагогического университета. Психолого-педагогические науки, 12(2), 43-50.
Ефремова, Н. Ф. (2018)b. Проектирование оценочных средств по модели доказательной аргументации. Педагогические измерения, 3, 8-15.
Звонников, В. И., Малыгин, А. А., Челышкова, М. Б. (2012). Оценивание в высшем образовании: от линейности к адаптивности. Известия высших учебных заведений. Серия: Гуманитарные науки, 5(2), 166-171. Ризви, С., Барбер, М., Доннелли, К. (2013). Накануне схода лавины. Высшее образование и грядущая революция (пер. с англ. Н. Микшиной). Вопросы образования, 3, 152-229.
Стандарты и руководства для обеспечения качества высшего образования в Европейском пространстве высшего образования (ESG). (2015). ENQA. URL: https://pandia.ru/text/80/268/56052.php (дата обращения: 20.07.2021).
Almond, R. G., Mislevy, R. J., Steinberg, L., Yan, D., Williamson, D. M. (2019). Bayesian networks in educational assessment. Technology, Knowledge and Learning, 24, 97-99. doi: https://doi.org/10.1007/s10758-016-9292-x
Awwal, N., Scoular, C., Griffin, P. (2016). Implementation issues with games-based assessment. In International Conference on Education and New Learning Technologies, EDULEARN16 Proceedings (pp. 905-910). Barcelona: IATED. doi: http://dx.doi. org/10.21125/edulearn.2016.1179
Efremova, N. (2021). Problems of competence-based learning in a digital environment. In XIV International Scientific and Practical Conference "State and Prospects for the Development of Agribusiness - INTERAGROMASH 2021", E3S Web of Conferences 273, 12082. doi: https://doi.org/10.1051/e3sconf/202127312082
Efremova, N., Huseynova, A. (2021). The impact of digital technology on learning motivation and learning modes. In XIVInternational Scientific and Practical Conference "State and Prospects for the Development of Agribusiness - INTERAGROMASH 2021", E3S Web of Conferences 273, 12083. doi: https://doi.org/10.1051/e3sconf/202127312083
ОБЩАЯ ПЕДАГОГИКА, ИСТОРИЯ ПЕДАГОГИКИ И ОБРАЗОВАНИЯ
Gibson, D. C., Webb, M. E. (2015). Data science in educational assessment. Education and Information Technologies, 20, 697-713. doi: https://doi.org/10.1007/s10639-015-9411-7 Lambert, W. T. Schuwirth, Cees, P. M. Van der Vleuten. (2011). Programmatic assessment: from assessment of learning to assessment for learning. Medical teacher, 33, 478-485. doi: https://doi.org/10.3109/0142159X.2011.565828
Mislevy, R. J., Almond, R. G., Lukas, J. F. (2003). A Brief Introduction to Evidence-centered Design. Educational Testing Service, Research & Development Division Princeton, NJ 08541.
Mislevy, R. J., Behrens, J. T., Dicerbo, K. E., Levy, R. (2012). Design and discovery in educational assessment: evidence-centered design, psychometrics, and educational data mining. Journal of Educational Data Mining, 4(1), 11-48.
Mohan, B. (2021). Analects of Higher Education. Academia Letters, 1221. doi: https://doi.org/10.20935/AL1221.
Mulder, M. (2017). Competence-based Vocational and Professional Education. Cham: Springer. doi: https://doi.org/10.1007/978-3-319-41713-4
Pellegrino, J. W. (2014). Assessment as a Positive Influence on 21st Century Teaching and Learning: A Systems Approach to Progress. Psicología Educativa, 20(2), 65-77.
Shute, V. J., Leighton, J. P., Jang, E. E., Chu, M.-W. (2016). Advances in the Science of Assessment. Educational Assessment, 21(1), 34-59. doi: https://doi.org/ 10.1080/10627197.2015.1127752
Shute, V. J., Rahimi, S. (2017). Review of computer-based assessment for learning in elementary and secondary education. Journal of Computer Assisted Learning, 33(1), 1-19. doi: https://doi.org/10.1111/jcal.12172
Uludag, G., Bardakci, S., Yildiz, O. F., Tunc, Y., Akkoyunlu, B., Nasir, V. A., Ercan, S., Elmas, M. (2020). Assessing Students' Learning Online: It's More Than Testing. In Teaching And Learning Quality Assurance in Higher Education Under the Pandemic. Proceedings of the 12th Higher Education International Conference 12 (pp. 40-50). Macao: Macao Polytechnic Institute.
References
Almond, R. G., Mislevy, R. J., Steinberg, L., Yan, D., Williamson, D. M. (2019). Bayesian networks in educational assessment. Technology, Knowledge and Learning, 24, 97-99. doi: https://doi.org/10.1007/s10758-016-9292-x
Awwal, N., Scoular, C., Griffin, P. (2016). Implementation issues with games-based assessment. In International Conference on Education and New Learning Technologies, EDULEARN16 Proceedings (pp. 905-910). Barcelona: IATED. doi: http://dx.doi. org/10.21125/edulearn.2016.1179
Declaration of the participants of the IV Policy Forum Bologna Process Yerevan. (2015). Higher education in Russia, 10, 65-67. (in Russ.).
GENERAL PEDAGOGY, HISTORY OF PEDAGOGY AND EDUCATION
Efremova, N. (2021). Problems of competence-based learning in a digital environment. In XIVInternational Scientific and Practical Conference "State and Prospects for the Development of Agribusiness - INTERAGROMASH 2021", E3S Web of Conferences 273, 12082. doi: https://doi.org/10.1051/e3sconf/202127312082
Efremova, N., Huseynova, A. (2021). The impact of digital technology on learning motivation and learning modes. In XIVInternational Scientific and Practical Conference "State and Prospects for the Development of Agribusiness - INTERAGROMASH 2021", E3S Web of Conferences 273, 12083. doi: https://doi.org/10.1051/e3sconf/202127312083 Efremova, N. F. (2018)a. Arguments and evidence for the reliability of assessments of students' competencies. Vestnik of the Dagestan State Pedagogical University. Psychological and pedagogical sciences, 12(2), 43-50. (in Russ.).
Efremova, N. F. (2018)b. Designing assessment tools according to the model of evidence-based argumentation. Pedagogical measurements, 3, 8-15. (in Russ.).
Gibson, D. C., Webb, M. E. (2015). Data science in educational assessment. Education and Information Technologies, 20, 697-713. doi: https://doi.org/10.1007/ s10639-015-9411-7
Lambert, W. T. Schuwirth, Cees, P. M. Van der Vleuten. (2011). Programmatic assessment: from assessment of learning to assessment for learning. Medical teacher, 33, 478-485. doi: https://doi.org/10.3109/0142159X.2011.565828
Mislevy, R. J., Almond, R. G., Lukas, J. F. (2003). A Brief Introduction to Evidence-centered Design. Educational Testing Service, Research & Development Division Princeton, NJ 08541.
Mislevy, R. J., Behrens, J. T., Dicerbo, K. E., Levy, R. (2012). Design and discovery in educational assessment: evidence-centered design, psychometrics, and educational data mining. Journal of Educational Data Mining, 4(1), 11-48.
Mohan, B. (2021). Analects of Higher Education. Academia Letters, 1221. doi: https://doi.org/10.20935/AL1221.
Mulder, M. (2017). Competence-based Vocational and Professional Education. Cham: Springer. doi: https://doi.org/10.1007/978-3-319-41713-4
Pellegrino, J. W. (2014). Assessment as a Positive Influence on 21st Century Teaching and Learning: A Systems Approach to Progress. Psicología Educativa, 20(2), 65-77.
Rizvi, S., Barber, M., Donnelly, K. (2013). On the eve of the avalanche. Higher education and the coming revolution (translated from English by N. Mikshina). Educational issues, 3, 152-229. (in Russ.).
Shute, V. J., Leighton, J. P., Jang, E. E., Chu, M.-W. (2016). Advances in the Science of Assessment. Educational Assessment, 21(1), 34-59. doi: https://doi.org/ 10.1080/10627197.2015.1127752
Shute, V. J., Rahimi, S. (2017). Review of computer-based assessment for learning in elementary and secondary education. Journal of Computer Assisted Learning, 33(1), 1-19. doi: https://doi.org/10.1111/jcal.12172
ОБЩАЯ ПЕДАГОГИКА, ИСТОРИЯ ПЕДАГОГИКИ И ОБРАЗОВАНИЯ
Standards and guidelines for quality assurance in higher education in the European Higher Education Area (ESG). (2015). ENQA. URL: https://pandia.ru/ text/80/268/56052.php (accessed: 07/20/2021). (in Russ.).
Uludag, G., Bardakci, S., Yildiz, O. F., Tunc, Y., Akkoyunlu, B., Nasir, V. A., Ercan, S., Elmas, M. (2020). Assessing Students' Learning Online: It's More Than Testing. In Teaching And Learning Quality Assurance in Higher Education Under the Pandemic. Proceedings of the 12th Higher Education International Conference 12 (pp. 40-50). Macao: Macao Polytechnic Institute.
Zvonnikov, V. I., Malygin, A. A., Chelyshkova, M. B. (2012). Assessment in Higher Education: From Linearity to Adaptability. Proceedings of universities. Series: Humanitarian sciences, 5(2), 166-171. (in Russ.).
