CC BY
9ПЕДАГОГИКА УДК 378.147
Приемы доказательной аргументации оценки компетенций
Надежда Ф. Ефремова
Донской государственный технический университет, Ростов-на-Дону, Российская Федерация
E-mail: nefremova61@dstu.edu.ru
ORCID ID: http://orcid.org/0000-0003-4556-008X
Аннотация
В статье представлен новый взгляд на проблему оценивания компетенций студентов. В разделе «Введение» описаны проблемы обеспечения надежности результатов оценивания компетенций, существующие на настоящий момент в системе профессионального образования. Показаны отличительные особенности компетенций, которые необходимо учитывать при разработке и использовании оценочного инструментария для выявления их сформированности. Отмечено, что трудности оценочного процесса, в первую очередь, обусловлены сложной структурой и глубокой латентностью компетенций. В разделе «Теоретическое обоснование» на основе исследований ряда зарубежных авторов показана новизна метода проектирования оценочных средств и процессов на основе принципа доказательной аргументации для получения фактических данных о результатах обучения. Концептуальная основа доказательной аргументации по методу Evidence-based Assessment строится на последовательной разработке ряда моделей оценки: конструкта, задания, сборки, статистической обработки результатов и их интерпретации. Важным условием проявления компетенций является планируемая деятельность испытуемых в ситуации оценки. В разделе «Обсуждение результатов» отмечается, что в отечественном образовании модели доказательной комплексной оценки компетенций обучающихся, обеспечивающей высокую надежность и валидность результатов, пока не нашли широкого применения. Предложенный в статье подход может быть полезен преподавателями системы высшего образования при планировании результатов освоения образовательных программ и использовании научно обоснованных методов конструирования средств оценки когнитивных и компетентностных достижений студентов. В заключении сформулирован вывод о том, что предложенный метод использования моделей доказательной аргументации может способствовать дальнейшему развитию контрольно-оценочной деятельности для снижения погрешности в оценке и получения данных, способствующих повышению качества обучения в условиях компетентностного подхода.
PEDAGOGY
Ключевые слова
компетенции, качество обучения, результаты обучения, оценочные средства, проектирование оценки, модель задания
Methods of evidence-based argumentation of competence assessment
Nadezhda F. Efremova
Don state technical University, Rostov-on-Don, Russian Federation
E-mail: nefremova61@dstu.edu.ru
ORCID ID: http://orcid.org/0000-0003-4556-008X
Abstract
The article presents a new look at the problem of assessing students' competencies. The section "Introduction" describes the problems of ensuring the reliability of the results of assessing competencies that currently exist in the vocational education system. The distinctive features of competencies that must be taken into account when developing and using assessment tools to identify their development are shown. It is noted that the difficulties of the assessment process are primarily due to the complex structure and deep latency of competencies. In the section "Theoretical substantiation", based on the research of a number of foreign authors, the novelty of the method of designing assessment tools and processes based on the principle of evidence-based argumentation for obtaining factual data on learning outcomes is shown. The conceptual basis of evidence-based argumentation using the Evidence-based Assessment method is based on the sequential development of a number of assessment models: construct, assignment, assembly, statistical processing of results and their interpretation. An important condition for the manifestation of competencies is the planned activity of the subjects in the assessment situation. In the section "Discussion of the results" it is noted that in domestic education the models of evidence-based comprehensive assessment of students' competencies, which ensure high reliability and validity of the results, have not yet found wide application. The approach proposed in the article can be useful for teachers of the higher education system when planning the results of mastering educational programs and using scientifically based methods for constructing means of assessing the cognitive and competence achievements of students. In the conclusion, the conclusion is formulated that the proposed method of using models of evidence-based argumentation can contribute to the further development of control and assessment activities to reduce errors in the assessment and obtain data that contribute to improving the quality of training in a competence-based approach.
ПЕДАГОГИКА Keywords
competencies, learning quality, learning outcomes, evaluation tools, evaluation design, task model
Введение
Запрос общества на навыки и компетенции поставил перед высшим образованием новые задачи при подготовке высококвалифицированных специалистов (Boyateis, 2008; Efremova, 2020). При активном развитии технологического и социального аспектов в общественном секторе не происходит заметных изменений в методологии и технологиях компетентностного обучения и, особенно, в оценивании его результатов. Сложность решения этих задач связана с тем, что компетенции являются динамическими характеристиками личности, они формируются, проявляются и оцениваются только в процессе деятельности при решении стандартных и нестандартных задач. Поэтому их формирование и оценивание требуют создания соответствующих условий деятельности при обучении и в ситуации оценки. Это обеспечивает укрепление связи между образовательной программой и оценкой достижений, необходимых выпускникам для успеха в производственной деятельности. Оценка компетенций является ключевым фактором учебной активности студентов, связующим элементом между планируемыми результатами и достижениями обучающихся, образовательной ситуацией и потребностью ее корректировки для достижения качества подготовки специалистов. Поэтому сама оценка должна быть качественной и надежной, а наиболее важным фактором при обеспечении качества любой оценки является ее обоснованность.
Целью оценки при компетентностном обучении является совершенствование и активное обучение критическому мышлению через освоение содержания и структурированную деятельность по применению знаний в ситуации оценки. Инструменты оценки, классифицированные и используемые должным образом, должны приводить к высокой степени валидности результатов оценивания, чтобы студенты могли овладеть навыками критического мышления в его различных формах: историческом, социологическом, биологическом и др.
Вместе с тем, в высшем образовании низкое качество оценивания является серьезной проблемой, которая имеет серьезные последствия для студентов, преподавателей и работодателей. Отсутствие четкой и всеобъемлющей концептуальной основы качества самой оценки создает трудности в обеспечении качества обучения. В настоящее время в большинстве случаев оценивание компетенций сводится к проверке усвоения содержания отдельных дисциплин. Однако компетенции не являются суммой знаний, умений и навыков. Это самостоятельные новообразования и новые результаты обучения. В силу принципа эмерджентности при интеграции отдельных элементов у системы появляются
PEDAGOGY
новые свойства, не характерные для каждого из элементов, входящих в систему. Так и с компетенциями, они формируются только на основе знаний, умений и навыков, но не сводятся к их сумме и обладают рядом своих уникальных свойств. Прежде всего, это способность индивида действовать и решать проблемы с использованием полученного опыта и накопленной или найденной в источниках информации. Компетенции сложны по структуре, междисциплинарны, над-дисциплинарны и более латентны, чем знания и умения. Поэтому они труднее формируются и проявляются испытуемыми в ситуации оценки, что создает определенные сложности при конструировании контрольно-оценочной деятельности и разработке оценочного инструментария, организации условий оценки, обеспечением испытуемым структурированной индивидуальной или групповой деятельности, требующейся для проявления компетенций с применением усвоенных знаний и поиском необходимой информации.
Целью данного исследования является концептуализация качества оценки путем обзора существующих в международной практике инновационных средств и методов, показателей и критериев качества оценивания, их влияния субъектов образования.
Теоретическое обоснование
Одним из направлений оценочной деятельности по компетенциям является подход, основанный на доказательствах. В мировой образовательной практике уже обозначились такие подходы к оценке компетенций, они становятся все более широкомасштабными, инновационными и высокотехнологичными. В последнее время широкое применение находит структурированный подход к построению образовательной оценки - Evidence Based Assessment (EBA), оценка на основе фактических данных (Hansen, 2009). Она предусматривает сбор информации, оценку достоверности, интерпретацию и обсуждение результатов для вывода, корректировку образовательной деятельности (Hunsley, 2007; Jenkins, 2011; Joshi, 2019).
В рамках развития оценки, основанной на фактических данных, в практике оценивания достижений обучающихся произошел заметный сдвиг, который привел к разработке научно обоснованной оценки, базирующейся на теории и практике педагогических измерений; выборе конструкций, методов и мер, используемых для обеспечения надежности оценки и обоснованной интерпретации полученных данных. EBA впервые был использован в области медицины, а затем и в других областях, клинической психологии и образовании (Steglite, 2015).
Этот механизм использует четкие принципы, критерии и показатели, имеет четкую структуру, деятельность сконцентрирована на оценке фактических данных, обеспечивающих аутентичную оценку. Для этого необходимо разработать комплексный набор показателей, которые позволили бы
ПЕДАГОГИКА
обеспечить научно обоснованный подход в организации и проведении оценки, обеспечивающей снижение проблем, связанных с ошибками. Критерии и подход к оценке, основанный на стандартах, обеспечивает структуру качества: эффективное обучение студентов; справедливое оценивание; академические стандарты; ожидания учащихся относительно того, что от них потребуется при выполнении оценочного задания. Он информирует, к чему надо стремиться в процессе обучения, как и на каком основании будут оцениваться результаты образовательной деятельности, что особенно важно в условиях роста объемов самостоятельной работы и при развитии дистанционного обучения в условиях пандемии.
Основанный на критериях и стандартах подход к оценке способствует сравнительному анализу и поддержанию академических стандартов, возможности проверить эффективность оценивания в рамках образовательных программ. Ключевые принципы такой оценки качества являются неотъемлемой частью процесса обучения студентов в ведущих университетах мира. Оценочные задания, требующие от обучающихся взаимодействия с ключевым содержанием и отработки или демонстрации приобретения ключевых навыков, знаний и ценностей, способствуют эффективному обучению. Помощь обучающимся в понимании того, что от них требуется при выполнении заданий по оценке, помогает им правильно направлять свои усилия. Дж. Биггс (Biggs, 2011) указал на тесную связь между образовательной программой, обучением и оцениванием. Он утверждает, что обучающимся для получения высокой оценки необходимо знать цели и научиться их достигать. Студентам необходимо развивать способности самооценки и контролировать качество своей учебной работы, сравнивать достижения с обоснованными критериями, что позволит обеспечить более высокое качество обучения. Если студент учится достоверно оценивать свои достижения, у него повышаются мотивация к обучению и познавательный интерес, развиваются коммуникативные навыки, повышается самооценка и, как следствие, улучшается качество усвоенных знаний, развивается спектр универсальных компетенций (Efremova, 2019).
Исследователи в области оценки высшего образования в последние годы предлагают использование критериев и рубрик, в частности вовлекая студентов в самооценку и оценку со стороны сверстников, пропагандируют аналитическую оценку, дают подробные практические рекомендации для разработчиков оценочных средств (Armstrong, 2015). Использование аналитических схем и шаблонов для разработки оценочных средств в настоящее время прочно вошло в высшее образование на международном уровне, популярность этих методов непрерывно растет.
Необходимость решения проблем моделирования и снижения неопределенности естественным образом возникает во всех видах оценки. В целом
PEDAGOGY
исключительную важность имеет система выставления оценок как механизм саморегуляции образовательного процесса. Поэтому создание и распространение доказательной базы для оценки поведенческих характеристик испытуемых требует разработки специфических методов конструирования оценочного инструментария. Доказательный дизайн оценки как научное обоснование достоверности информации широко используется в различных видах деятельности: медицине, строительстве, архитектуре, управлении, в образовании для аутентичной оценки учебных достижений обучающихся. Дизайн оценочных средств, основанный на принципах доказательной аргументации, позволяет получать фактические данные о подготовленности испытуемых. Особую актуальность он приобретает в условиях развития компетентностного подхода в связи с необходимостью надежного оценивания не только когнитивных результатов обучения, но и компетентностных.
Р. Мислеви с сотрудниками (Mislevy, Steinberg & Almond, 2003; 2013) предложили метод Evidence-centered Design (ECD) - паттерн-дизайна, ориентированного на фактические данные как высокоуровневую модель концептуальной основы комплексной образовательной оценки. Это система доказательной аргументации оценки предназначена для обеспечения валидности результатов путем согласования продуктов и процессов оценки. ECD-дизайн оценивания, ориентированный на доказательства, подход к построению образовательных оценок с точки зрения обоснования аргументов выполнения комплексного задания, требующего от испытуемых не только продемонстрировать определенные знания, но и выполнить планируемые действия с использованием знаний и поиска нужной информации. Это современная методология, которая подчеркивает центральную роль доказательной аргументации в разработке оценок, использования поддержки и опровержения. Особенностью этого метода является наличие в оценке вероятностных рассуждений на основе накопления доказательств с точки зрения обоснования проявления латентных характеристик и компетенций при выполнении задач комплексного задания. Возможность вероятностных рассуждений по поводу достижений обеспечивается различными моделями оценочных средств, позволяющими накапливать информацию о том, что испытуемые говорят, делают и как общаются, какие результаты получают. Модели оценки позволяют накапливать свидетельства проявления более широко понимаемых знаний и фиксировать более сложные действия испытуемых в ситуации оценки. Такие данные создают возможности судить не только о качестве усвоенных знаний, но и о том, как эти знания применяются для решения комплексных заданий и о широкой области проявляемых компетенций. Поэтому в значительной степени внимание направлено на организацию процесса выполнения задания, чтобы гарантировать, что способ сбора и интерпретации свидетельств соответствует целям, для которых предназначена оценка.
ПЕДАГОГИКА
Обращение к перспективным концепциям паттерн-дизайнов оценки в системе образования способствует овладению методами построения многовариантных форм контроля и установления связей объектов в образовательных системах.
При создании модели фактических данных научно-ориентированное проектирование оценочных средств по модели Evidence-centered Design предоставляет язык, концепции и представления оцениваемых атрибутов для разработки и проведения образовательных оценок, доказательство надежности которых является критической частью аргумента обоснованности оценки. ECD опирается на три основных принципа: цель оценки, ресурсы и условия для деятельности испытуемых; отбор контролируемого содержания предметной области, используемого при выполнении задания; обеспечение доказательной аргументации путем рассуждений о том, как действуют испытуемые при выполнении задания (Mislevy, 2003). Она формализует процесс сбора информации и доказательного обоснования достоверности оценки: анализ предметной области, моделирование конструкта, концептуальная структура оценки, разработка оценочного средства и проведение оценки, накопление и обработка данных, отображение данных на шкале оценивания, выводы и интерпретация. С. Мессик (Messick S.) выделяет цепочку рассуждений о том, что следует анализировать и как определять, какие знания, навыки и способности должны быть оценены; какие характеристики и важные знания, навыки и способности, действия и поведение могут быть проявлены при выполнении задания (Hermelin, 2007).
Самый ответственный этап подготовки оценочного процесса - моделирование предметной области включает три основные составляющие: утверждения, доказательства и задачи (Efremova, 2018). Он начинается с постановки цели (подцелей), после чего выбирают одну (одномерный случай) или несколько (многомерный случай) переменных. Для этого в спецификации оценочного задания ECD используют ряд моделей.
Модель студента включает утверждение конкретного сочетания проверяемых знаний и компетенций, навыков или способностей, перечень конструктов, имеющих отношение к конкретной оценочной ситуации. Эта модель обусловливает все дальнейшие действия по разработке оценки.
Модель доказательств разрабатывается после выбора конструкции модели студента. Подбираются доказательства и опровержения, чтобы сделать выводы о владении студентом базовыми знаниями и способностям их применения. В подходе, основанном на конструкте, оценка начинается с вопросов. Какие комплексы знаний, навыков или других атрибутов должны быть измерены, подразумевая, что они связаны с эксплицитными (явными) или имплицитными (латентными) образовательными результатами или имеют социальную ценность? Какие поведение или деятельность должны заставить эти конструкты проявиться, какие задания или ситуации должны вызвать нужное поведение испытуемого?
PEDAGOGY
Разработка модели задания опирается на ряд процедур, которые сосредоточены относительно нескольких вопросов. Что можно наблюдать в деятельности испытуемого при выполнении задания, как оно может обеспечить доказательство наличия планируемых результатов, достаточны ли уровни освоения студентом необходимых знаний, обладает ли он навыками и способностями, подлежащими оцениванию? Как подобрать, структурировать и предоставить ситуации, чтобы обеспечить возможности проявления способностей для их аутентичного оценивания? Для решения этих вопросов ключевая идея ECD заключается в том, чтобы обеспечить обоснование и доказательства аргумента оценки. Модель задания показывает, какие задачи могут быть представлены в различных форматах, чтобы обеспечить планируемую деятельность и возможности проявления компетенций испытуемых. На основе конструктов подбираются различные задачи: тестовые, кейсы, проекты и другие оценочные элементы, обеспечивающие полноту целей оценки. Модель задачи, описывает, что должно быть выявлено, как выявить и как совместить баллы с наблюдениями и свидетельствами.
Модель сборки объединяет все предыдущее и учитывает, как взаимодействуют между собой модели студента, доказательств и задачи.
Модель доказательств (свидетельств) состоит из двух частей: правил, описывающих, как определить и охарактеризовать существенные особенности продукта или деятельности; как на основе контекстной информации доказательств может быть получена или изменена оценка.
Модель доставки поясняет, как все модели будут работать вместе, чтобы обеспечить надежность оценочного процесса. Она описывает условия
Статистическая модель содержит методы сбора и обработки данных, интерпретации результатов, выводов об уровне сформированности заявленных к оцениванию компетенций, форматах предъявления результатов пользователям.
В качестве критериев качества оценки важными являются достоверность, прозрачность и надежность; стандартизация, заинтересованные стороны, ясность и учет отклонений, влияющих на качество оценки; проверка и статистический анализ данных (Davletkaliyeva, 2015; Bennett, 2018).
Обсуждение результатов
Процесс обеспечения аутентичной оценки компетентностных результатов обучения является очень сложным и многогранным. Поэтому решение проблем надежности оценки качества образования является ключевым направлением исследований ученых и практиков во всем мире. К традиционным вопросам этой темы, таким как достоверность и надежность, присоединяется целый ряд других проблем, требующих внимания. К ним относятся: оценка ценностного отношения студентов к профессии; учет культурного и социального развития; проблемы стандартизированного тестирования и прикладные вопросы
ПЕДАГОГИКА
педагогического измерения; вопросы использования результатов оценки; проблемы оценки результатов совместного решения проблем в образовательной среде (Care, 2016; 2018).
Особый интерес представляют исследования отношений аутентичности результатов оценивания с подходами к обучению, между восприятием оценок обучающимися и их влиянием на учебную мотивацию (Gulikers, 2006). Авторы утверждают, чем более аутентичны оценки и больше согласованности обучения и контроля, тем более качественно идет усвоение содержания и развития общих навыков.
И все же при всем многообразии проблем в оценочной деятельности фокус исследований в настоящее время сосредоточен на концептуальных и методологических вопросах, связанных с возможностями оценивания навыков 21 века: критическое мышление, творчество, сотрудничество, метапознание и мотивация, которые взаимосвязаны сложным образом. Поэтому для их оценки требуется обоснование ряда критериев, позволяющих делать выводы; проектирование сложных задач, содержащих контексты реальных проблем, требующих для решения деятельности и рассуждений обучающихся (Care, 2020); использование инновационных образовательных технологий и психометрических моделей оценки, позволяющих сделать компетентностью результаты видимыми.
Еще одной проблемой является, в какой степени оценки стимулируют способности личности к дальнейшему обучению (Baartman, 2014). Методы и технологии оценки в 21-м веке будут заключаться в отражении новых образовательных приоритетов, абсолютной приверженности качеству, независимости и влиянию оценки на качество обучения, обеспечения возможностей обучения на протяжении всей жизни.
Выводы
Последние два десятилетия отмечены инновациями и изменениями в мире, требующими приобретения студентами особых навыков для решения сложных проблем и выживания в среде неопределенности. Такие компетенции как когнитивные (умение учиться) и мета-когнитивные (думать о собственном мышлении и знать, как планировать, контролировать и оценивать собственное мышление и понимание) не могут быть оценены традиционными методами или средствами тестирования учебных достижений. Их оценка выходит за рамки традиционных методов контроля. Методология ECD становится необходимой основой для оценки результатов компетентностного обучения. Развитие доказательного моделирования и психометрических моделей оценочных средств может дать широкий спектр образовательных оценок для сбора доказательств о способностях студентов решать проблемы с использованием знаний и навыков.
PEDAGOGY
Автор заявляет об отсутствии конфликта интересов.
Благодарности
Автор выражает глубокую благодарность коллегам службы международного сотрудничества ДГТУ и своей кафедры в реализации проекта по гранту программы ЭРАЗМУС+ 575456-EPP-1-2016-1-RU-EPPJMO-CHAIR.
Литература
Ефремова Н. Ф. Аргументация и доказательства достоверности оценок компетенций студентов. Известия Дагестанского государственного педагогического университета. Психолого-педагогические науки // Известия Дагестанского государственного педагогического университета. Психолого-педагогические науки.
2018. Т.12, №2. С. 43-50. doi: http://dx.doi.org/10.31161/1995-0659-2018-12-2-43-50 Armstrong S., Chan S., Malfroy J., Thomson R. Assessment Guide Implementing criteria
and standards-based assessment. Sydney: University of Western Sydney, 2015. 80 p.
Baartman L., Gulikers T. Assessment as the cornerstone of high quality vocational education: An analysis of 11 assessment programs in senior secondary and higher vocational education // Pedagogische Studien. 2014. Vol. 91, Issue 1. P. 54-68.
Bennett R. E. Educational Assessment: What to Watch in a Rapidly Changing World // Educational Measurement: Issues and Practice, 2018. Vol. 27, Issue 1. P. 5-12.
Biggs J., Tang C. Teaching for Quality Learning at University: What the Student Does. New York: McGraw-Hill Education, 2011. 389 p.
Bcyakis R. E. Competencies in the 21st century // Journal of Management Development. 2008. Vol. 27, Issue 1. P. 5-12. doi: http://dx.doi.org/10.1108/02621710810840730
Care E. Assessment as a Stimulus for Scaling 21st Century Skills in Education Systems. Brookings Institution, 2020. 31 p.
Care E., Griffin P., Wilson M. Assessment and Teaching of 21st Century Skills. Research and Applications. Springer Science & Business Media, 2018. 276 p. doi: http://dx.doi.org/10.1007/978-3-319-65368-6
Care E., Scoular C., Griffin P. Assessment of Collaborative Problem Solving in Education Environments // Applied Measurement in Education. 2016. Vol. 29, Issue 4. P. 250-264. doi: http://dx.doi.org/10.1080/08957347.2016.1209204
Davletkaliyeva Y. S., Muldasheva B. K., Izteleuova Z. S., Kulbaeva B. S., Satova D. E. Criteria-Based Assessment as a Method of Qualitative Development of Teaching and Learning Process // International Journal of Applied and Fundamental Research. 2015. Vol. 3. URL: www.science-sd.com/462-24947 (Дата обращения: 21.10.2020).
Efremova N. F. Huseynova А. А. Shvedova S. V. The influence of assessment on learning motivation. SHS Web Conf. Trends in the Development of Psycho-Pedagogical Education in the Conditions of Transitional Society, 70, 04003. Les Ulis: EDP Sciences,
2019. doi: http://dx.doi.org/10.1051/shsconf/20197004003
ПЕДАГОГИКА
Efremova N. F., Meskhi B. Ch., Shvedova S. V. Quality assurance in the context of european integration // Ournal of supranational policies of education. 2019. Vol. 10. P. 40-56. doi: http://dx.doi.org/10.15366/jospoe2019.10.003
Gulikers J. T. M., Bastiaens T. J., Kirschner P. A., Kester L. Relations between student perceptions of assessment authenticity, study approaches and learning outcome // Studies in Educational Evaluation. 2006. Vol. 32, Issue 4. P. 381-400. doi: http://dx.doi.org/10.1016/j.stueduc.2006.10.003
Hansen E. G., Zapata-Rivera D. et al. Evidence Centered Design for Developing High-Quality Learning-Centered Assessments. 2009. URL: https://www.researchgate. net/publication/237295116 Evidence Centered Design for Developing High-Quality Learning-Centered Assessments
Hermelin E., Lievens F., Robertson I. T. The Validity of Assessment Centres for the Prediction of Supervisory Performance Ratings // International Journal of Selection and Assessment. 2007. Vol. 15, Issue 4. P. 405-411. doi: http://dx.doi. org/10.1111/j.1468-2389.2007.00399.x
Hunsley J., Mash E. J. Evidence-based assessment // Annual Review of Clinical Psychology. 2007. Vol. 3. P. 29-51. doi: http://dx.doi.org/10.1146/annurev. clinpsy.3.022806.091419
Jenkins M. M., Youngstrom E. A., Washburn J. J. Youngstrom J. K. Evidence-Based Strategies Improve Assessment of Pediatric Bipolar Disorder by Community Practitioners // Professional Psychology: Research and Practice. 2011. Vol. 42, Issue 2. P. 121-129. doi: http://dx.doi.org/10.1037/a0022506
Joshi V., Parashar S., Sharma P. Evidence Based Assessment - Policy, Principle and Practice Perspective // World Conference on Research in Education. Berlin, 2019. P. 29-31. doi: http://dx.doi.org/10.33422/worldcre.2019.08.459
Mislevy R. J. Evidence-Centered Design for Simulation-Based Assessment // Military Medicine. 2013. Vol. 178. Issue 10. P. 107-114. doi: http://dx.doi.org/10.7205/ MILMED-D-13-00213
Mislevy R. J., Almond R. G., Lukas J. F. A Brief Introduction to Evidence-centered Design. Princeton: Educational Testing Service. 2003. 37 p.
Steglifc J., Warnick J. L., Hoffman S. A., Johnston W., Spring B. Evidence-Based Practice. International Encyclopedia of the Social & Behavioral Sciences, 2nd edition. 2015. Chicago: Northwestern University. P. 332-338. doi: http://dx.doi.org/10.1016/ B978-0-08-097086-8.10540-9
References
Armstrong, S., Chan, S., Malfroy, J., Thomson, R. (2015). Assessment Guide Implementing criteria and standards-based assessment. Sydney: University of Western Sydney.
Baartman, L., Gulikers, T. (2014). Assessment as the cornerstone of high quality vocational education: An analysis of 11 assessment programs in senior secondary
PEDAGOGY
and higher vocational education. Pedagogische Studien, 91(1), 54-68.
Bennett, R. E. (2018). Educational Assessment: What to Watch in a Rapidly Changing World. Educational Measurement: Issues and Practice, 27(1), 5-12.
Biggs, J., Tang, C. (2011). Teaching for Quality Learning at University: What the Student Does. New York: McGraw-Hill Education.
Boyatzis, R. E. (2008). Competencies in the 21st century. Journal of Management Development, 27(1), 5-12. doi: http://dx.doi.org/10.1108/02621710810840730
Care, E., Scoular, C., Griffin, P. (2016). Assessment of Collaborative Problem Solving in Education Environments. Applied Measurement in Education. 29(4), 250-264, doi: http://dx.doi.org/10.1080/08957347.2016.1209204
Care, E., Griffin, P., Wilson, M. (2018). Assessment and Teaching of 21st Century Skills. Research and Applications. Springer Science & Business Media. doi: http:// dx.doi.org/10.1007/978-3-319-65368-6
Care, E. (2020). Assessment as a Stimulus for Scaling 21st Century Skills in Education Systems. Brookings Institution.
Davletkaliyeva, Y. S., Muldasheva, B. K., Izteleuova, Z. S., Kulbaeva, B. S., Satova, D. E. (2015). Criteria-Based Assessment as a Method of Qualitative Development of Teaching and Learning Process. International Journal of Applied and Fundamental Research. 3. URL: www.science-sd.com/462-24947
Efremova, N. F., Meskhi, B. Ch., Shvedova, S. V. (2019). Quality assurance in the context of european integration. Journal of supranational policies of education, 10, 40-56. doi: https://doi.org/10.15366/jospoe2019.10.003
Efremova, N. F. Huseynova, A. A. Shvedova, S. V. (2019). The influence of assessment on learning motivation. In Trends in the development of psychological and pedagogical education in a transitive society. Proceedings of the SHS Web Conf. Trends in the Development of Psycho-Pedagogical Education in the Conditions of Transitional Society. 04003. Les Ulis: EDP Sciences. doi: https://doi.org/10.1051/shsconf/20197004003 Efremova, N. F. (2018). Argumentation and evidence of the reliability of assessments of students' competencies. Izvestiya Dagestanskogo gosudarstvennogo pedagogicheskogo universiteta. Psikhologo-pedagogicheskie nauki = Izvestia of the Dagestan State Pedagogical University. Psychological and pedagogical sciences, 12(2), 43-50. doi: http://dx.doi.org/10.31161/1995-0659-2018-12-2-43-50 (in Russ.).
Gulikers, J. T. M., Bastiaens, T. J., Kirschner, P. A., & Kester, L. (2006). Relations between student perceptions of assessment authenticity, study approaches and learning outcome. Studies in Educational Evaluation, 32(4), 381-400. doi: https:// doi.org/10.1016/j.stueduc.2006.10.003
Hansen, E.G., Zapata-Rivera, D. et al. (2009). Evidence Centered Design for Developing High-Quality Learning-Centered Assessments. URL: https:// www.researchgate.net/publication/237295116 Evidence Centered Design for Developing High-Quality Learning-Centered Assessments
ПЕДАГОГИКА
Hermelin, E., Lievens, F., Robertson, I.T. (2007). The Validity of Assessment Centres for the Prediction of Supervisory Performance Ratings. International Journal of Selection and Assessment, 15(4). 405-411. doi: http://dx.doi.org/10.1111/j.1468-2389.2007.00399.x Hunsley, J., Mash, E.J. (2007). Evidence-based assessment. Annual Review of Clinical Psychology, 3, 29-51. doi: http://dx.doi.org/10.1146/annurev. clinpsy.3.022806.091419
Jenkins, M. M., Youngstrom, E.A., Washburn, J. J. Youngstrom, J. K. (2011). Evidence-Based Strategies Improve Assessment of Pediatric Bipolar Disorder by Community Practitioners. Professional Psychology: Research and Practice, 42(2), 121-129. doi: http://dx.doi.org/10.1037/a0022506
Joshi, V., Parashar, S., Sharma, P. (2019). Evidence Based Assessment - Policy, Principle and Practice Perspective. In World Conference on Research in Education (pp. 2931). Berlin. doi: http://dx.doi.org/10.33422/worldcre.2019.08.459
Mislevy, R. J., Almond, R. G., Lukas, J. F. (2003). A Brief Introduction to Evidence-centered Design. Princeton: Educational Testing Service.
Mislevy, R. J. (2013). Evidence-Centered Design for Simulation-Based Assessment. Military Medicine, 178(10). 107-114. doi: http://dx.doi.org/10.7205/ MILMED-D-13-00213
Steglitz, J., Warnick, J. L., Hoffman, S. A., Johnston, W., Spring, B. (2015). Evidence-Based Practice. In International Encyclopedia of the Social & Behavioral Sciences, 2nd edition (pp. 332-338). Chicago: Northwestern University. doi: http:// dx.doi.org/10.1016/B978-0-08-097086-8.10540-9
