ОБЕСПЕЧЕНИЕ КАЧЕСТВА ОЦЕНОК СТУДЕНТОВ В ИТОГОВОЙ АТТЕСТАЦИИ Текст научной статьи по специальности «Науки об образовании»

НЕПРЕРЫВНОЕ ПРОФЕССИОНАЛЬНОЕ ОБРАЗОВАНИЕ

Отечественная и зарубежная педагогика. 2023. Т. 1, № 1 (89). С. 7-23. Domestic and foreign pedagogy. 2023. Vol. 1, no. 1 (89). P. 7-23.

Научная статья УДК 378

doi: 10.24412/2224-0772-2023-89-7-23

ОБЕСПЕЧЕНИЕ КАЧЕСТВА ОЦЕНОК СТУДЕНТОВ В ИТОГОВОЙ АТТЕСТАЦИИ

Алексей Александрович Малыгин1, Марина Борисовна Челышкова2

1 Ивановский государственный университет, Иваново, Россия

2 Первый Московский государственный медицинский университет имени И. М. Сеченова Министерства здравоохранения Российской Федерации (Сеченовский университет), Москва, Россия

1 malygin@ivanovo.ac.ru

2 mchelyshkova@mail.ru

Аннотация. Введение. Многообразие образовательных траекторий, реализация которых возможна в современных условиях при освоении студентами образовательных программ, модульный принцип, заложенный в учебные планы, и предоставленные вузам возможности выбора форм, методов и средств формирования и оценивания заданных образовательными стандартами результатов обучения в компетентностной трактовке вносят значительную неопределенность в проведение итоговой аттестации выпускников. Неопределенность в итоговой аттестации усиливает разброс требований к качеству подготовки выпускников, обусловленный метала-тентной природой компетенций и отсутствием грамотно сформулированных индикаторов по многим направлениям подготовки, которые должны в операциональной, т.е. имеющей однозначную трактовку при измерениях, форме отображать наблюдаемые признаки проявления компетенций. Сложившиеся тенденции в образовательном оценивании при

А. А. Малыгин

М. Б. Челышкова|

© Малыгин А.А., Челышкова М.Б., 2023

проведении итоговой аттестации приводят к тому, что ее результаты отличаются высоким субъективизмом (т.е. низкой надежностью), низкой пригодностью для оценивания уровня сформированности компетенций (низкой валидностью) и полной несопоставимостью.

Основная цель данной статьи состоит в представлении подходов, предназначенных для повышения качества оценок студентов в итоговой аттестации.

Методология и методы исследования. Теоретико-методологическими основаниями исследования явились:

— методология и теория образовательных измерений;

— методология компетентностного подхода к трактовке образовательных результатов;

— методология доказательного подхода.

Для достижения поставленной цели были использованы следующие методы:

а) анализ отечественной и зарубежной литературы в сфере образовательных измерений;

б) анализ существующих практик итоговой аттестации по образовательным программам по различным специальностям и направлениям подготовки;

в) обобщение практики разработки фондов оценочных средств в вузах.

Результаты исследования. Высокое качество оценок обеспечивается

совокупностью мер, предназначенных для роста надежности, валид-ности и аутентичности результатов измерений в итоговой аттестации. Это становится возможным, если в основе аттестационных процедур лежит доказательный подход и используeтся оценочный инструментарий, разработанный с опорой на теорию образовательных измерений.

Заключение. Применение в итоговой аттестации инструментария, включающего тесты и множественные кейсы, в сочетании с доказательным подходом обеспечит и позволит добиться повышения качества оценок студентов с позиций роста их надежности, валидности и аутентичности. Об этом свидетельствует опыт работы многочисленных тестовых служб, в том числе опыт аккредитации специалистов здравоохранения в России, где множественные интерактивные кейсы (ситуационные задания) выполняются испытуемыми на третьей стадии аккредитации с 2018 года. Применение кейсов в учебном процессе позволяет обучающимся:

— развивать свои компетенции, навыки и умения по практическому применению полученных знаний;

— проявлять способности по работе со значительными объемами информации, в том числе применять умение собирать дополнительную информацию, анализировать ее, интегрировать и интерпретировать для поставленной проблемы;

— применять навыки критического и системного мышления;

— демонстрировать навыки принятия решений на основе анализа ситуации;

— проявлять навыки проведения диагностики, выявления причин возникшей проблемы, анализа ее связей с внешними факторами в реальной жизни и т.д.

Ключевые слова: валидность, доказательный подход, итоговое оценивание, компетенции, образовательные измерения, объективность

Для цитирования: Малыгин А. А., Челышкова М. Б. Обеспечение качества оценок студентов в итоговой аттестации // Отечественная и зарубежная педагогика. 2023. Т. 1, № 1 (89). С. 7-23. 10.24412/2224-0772-2023-89-7-23.

Original article

ASSURING THE QUALITY OF STUDENT ASSESSMENTS IN THE FINAL EXAMINATION

Aleksei A. Malygin1, Marina B. Chelyshkova2

1 Ivanovo State University, Ivanovo, Russia

2 First Moscow State Medical University named after I. M. Sechenov (Sechenov University), Moscow, Russia

1 malygin@ivanovo.ac.ru

2 mchelyshkova@mail.ru

Abstract. Introduction. The variety of educational trajectories, the implementation of which is possible in modern conditions when students master educational programs, the modular principle embedded in the curricula, and the opportunities provided to the universities for choosing the forms, methods and means of forming and evaluating the learning outcomes specified by educational standards in a competency-based interpretation, introduce significant uncertainty in conducting final examination of graduates. Uncertainty in the final examination increases the spread of requirements for the quality of graduate training, due to the meta-latent nature of competencies and the lack of well-formulated indicators in many areas of training, which should be in the operational, i.e. having an unambiguous interpretation during measurements, the form to display the observed signs of the manifestation of competencies. The current trends in educational assessment during final examination lead to the fact that its results are characterized by high subjectivity (i.e. low reliability), low suitability for assessing the level of competence formation (low validity), and complete incompatibility.

Purpose of the article. The main purpose of this article is to present approaches designed to improve the quality of student assessments in the final examination.

Research Methods. The theoretical and methodological foundations of the study are:

— methodology and theory of educational measurements;

— methodology of the competency-based approach to the interpretation of learning outcomes;

— methodology of evidence-based approach.

To achieve this goal, the following methods have been used:

a) analysis of Russian and foreign literature in the field of educational measurements;

b) analysis of existing practices of final examination for educational programs in various specialties and areas of training;

c) generalization of the practice of developing funds of evaluation tools in universities.

Results. The high quality of assessments is ensured by a set of measures designed to increase the reliability, validity and authenticity of the measurement results in the final examination. This becomes possible if attestation procedures are based on an evidence-based approach and measurements based on the theory of educational measurements are used.

Conclusions. The use of tools in the final assessment, including tests and multiple cases, in combination with an evidence-based approach, will ensure and improve the quality of student assessments from the standpoint of increasing their reliability, validity and authenticity. This is evidenced by the experience of numerous test services, including the experience of accrediting healthcare professionals in Russia, where multiple interactive cases (situational tasks) have been performed by test takers at the third stage of accreditation since 2018. The use of cases in the educational process allows students to:

— develop their competencies, skills and abilities for the practical application of the acquired knowledge;

— demonstrate their abilities to work with significant amounts of information, including the ability to collect additional information, analyze it, integrate and interpret it for the problem posed;

— apply the skills of critical thinking and systems thinking;

— demonstrate decision-making skills based on situation analysis;

— demonstrate skills in diagnosing, identifying the causes of a problem, analyzing its relationships with external factors in real life, etc.

Keywords: validity, evidence-centered approach, summative assessment, competencies, educational measurements, objectivity

For citation: Malygin A. A., Chelyshkova M. B. Assuring the quality of student assessments in the final examination. Domestic and Foreign Pedagogy. 2023;1(1):7-23. (In Russ.). doi: https://doi.org/ 10.24412/2224-0772-2023-89-7-23.

Введение. Многообразие образовательных траекторий, реализация которых возможна в современных условиях при освоении студентами образовательных программ, модульный принцип, заложенный в учебные планы, и предоставленные вузам возможности выбора форм, методов и средств формирования и оценивания заданных образовательными стандартами результатов обучения в компетентностной трактовке вносят значительную неопределенность в проведение итоговой аттестации выпускников. Формы и методы проведения государственного экзамена в том случае, если он включен образовательной организацией в состав итоговой аттестации, варьируют в широких пределах: от традиционной сдачи экзамена по двум-трем вопросам всей образовательной программы до компьютерного тестирования с использованием разнообразного инструментария, далеко не всегда позволяющего оценить уровень сфор-мированности профессиональных компетенций и не отвечающего по своим характеристикам требованиям к объективности и обоснованности результатов высокой значимости.

Неопределенность в итоговой аттестации усиливает разброс требований к качеству подготовки выпускников, обусловленный металатентной природой компетенций и отсутствием грамотно сформулированных индикаторов по многим направлениям подготовки, которые должны в операциональной, т.е. имеющей однозначную трактовку при измерениях, форме отображать наблюдаемые признаки проявления компетенций [7; 11; 21; 22; 24]. По замыслу разработчиков федеральных государственных образовательных стандартов (ФГОС), эти индикаторы входят в состав примерных основных образовательных программ, разработка которых в настоящее время по большинству направлений подготовки и специальностям не завершена и значительно отстает от потребностей практики обучения и итоговой аттестации в вузах.

Кроме этого, ситуация неопределенности в итоговой аттестации усугубляется отсутствием должного внимания со стороны академического сообщества вузов к созданию фондов оценочных средств и их применению в стандартизированных условиях при осуществлении оценочных процедур. Следует признать, что часть научно-педагогических работников воспринимают любые тесты как задания с выбором ответов, требующие от экзаменуемых исключительно знания заученной информации, не понимая, что в существовании плохих заданий с ограниченными возможностями виноваты не сами задания, а авторы, не

умеющие их разрабатывать [1]. Другая часть привержена консервативным традициям высшей школы и воспринимает государственный экзамен как привычное и крайне субъективное собеседование с экзаменуемыми по вопросам билета. По сути, они просто не отдают себе отчета в том, что традиционный экзамен не предоставляет никаких возможностей для оценивания уровня сформированности компетенций студентов.

Таким образом, сложившиеся тенденции в образовательном оценивании при проведении итоговой аттестации приводят к тому, что ее результаты отличаются высоким субъективизмом (т.е. низкой надежностью), низкой пригодностью для оценивания уровня сформированности компетенций (низкой валидностью) и полной несопоставимостью.

Цель статьи. Целью данной статьи является представление основных направлений работы в вузах по созданию аттестационного инструментария, обеспечивающего преодоление отмеченных недостатков и получение надежных, валидных и сопоставимых результатов экзаменуемых студентов при итоговой аттестации.

Методология и методы исследования. Теоретико-методологическими основаниями исследования явились:

— методология и теория образовательных измерений, обосновывающие применяемый научный аппарат и многоэтапность обеспечения качества оценочного инструментария, который используется в аттестации, аккредитации и профессиональных кадровых отборах [9; 12; 15; 16];

— методология компетентностного подхода к трактовке образовательных результатов, связанная с металатентной природой компетенций и их отсроченного характера проявления в профессиональной деятельности выпускников [3; 22; 24];

— методология доказательного подхода, рассматривающая теорию методов и совокупность принципов проведения исследований, оценивания и применения их результатов в образовании [10; 20; 27].

Для достижения поставленной цели были использованы следующие методы:

а) анализ отечественной и зарубежной литературы в сфере образовательных измерений;

б) анализ существующих практик итоговой аттестации по образовательным программам по различным специальностям и направлениям подготовки;

в) обобщение практики разработки фондов оценочных средств в вузах.

Теоретическое обоснование подходов к обеспечению качества аттестационных оценок

Проблема обеспечения качества оценок испытуемых в массовых оценочных процедурах решается многими тестовыми службами (ACT, ETS, Pearson, Questionmark, Yardstick и др.). В России процесс формирования профессиональных структур, работающих в сфере образовательного оценивания, находится в стадии становления. На настоящее время сложилось несколько сообществ профессионалов, занимающихся массовыми оценочными процедурами. Одно из них — в Федеральном институте педагогических измерений (ФИПИ), курирующем разработку оценочных средств для Единого государственного экзамена, другое — в Методическом центре аккредитации, осуществляющем методическую поддержку аккредитации специалистов здравоохранения, включая все ее этапы: от планирования до интерпретации результатов аккредитации [2; 13; 16; 18; 20]. Помимо этого, в регионах России благодаря Единому государственному экзамену сформировались центры, объединяющие специалистов в сфере обработки и анализа данных мониторинга и других процедур в сфере оценки качества образования. Однако все они в большинстве своем нацелены на проблемы качества результатов обучения в общем образовании [5; 19].

Несмотря на недостаточное число профессиональных структур, занимающихся массовыми оценочными процедурами в профессиональном образовании, в России во втором десятилетии XXI века значительно возрос интерес отечественных исследователей к проблемам разработки и применения оценочных средств как в общем, так и в высшем образовании. В этот период появились многочисленные публикации, охватывающие различные вопросы разработки измерителей и совершенствования их качества для получения надежных и валидных оценок испытуемых в аттестации и аккредитации [6; 14; 17; 19; 20; 23]. Отличительной особенностью этих публикаций является четкая ориентация на теорию образовательных измерений, закладывающую научный базис подходов к разработке инструментария, его применению и интерпретации результатов экзаменуемых учащихся или студентов.

В теории образовательных измерений приняты две основные характеристики качества оценок испытуемых, получивших название «надежность» и «валидность». Первая показывает меру объективности результатов измерений, а вторая — их меру соответствия цели измере-

ния [9]. Появление компетентностного подхода к трактовке качества результатов образования вызвало потребность во введении еще одной характеристики результатов измерения, которую можно назвать аутентичностью, предназначенной для отражения меры подлинности результатов измерения, рассматриваемой с позиций компетентностного подхода.

В таблице 1 показана сравнительная характеристика уровней значимости решений, характеристик оценочных средств и особенностей их применения, позволяющая выделить инструментарий для аттестации в отдельную группу, нуждающуюся в проведении значительной работы по обеспечению требуемого качества инструментария и условий его применения.

Таблица 1

Сравнительная характеристика уровней значимости решений, характеристик оценочных средств и особенностей их применения

Уровень значимости низкий (инструментарий для текущего контроля)

Уровень значимости средний (инструментарий для промежуточной аттестации)

Уровень значимости высокий(инструментарий для итоговой аттестации)

Последствия применения

Незначительные

Некоторые

Ключевые

Решения, принимаемые по результатам применения

Неважные, легко полностью поддаются изменению

Могут быть частично изменены

Очень ответственные, полностью исключающие изменение без должного обоснования

Выводы для испытуемых

Необходимо скорректировать обучение

Если неудачно выполнили тест, то нужно больше учиться

Если неправильно выполнили тест, то принимается отрицательное решение об аттестации

Причины для обмана со стороны испытуемых

Незначительные

Средние

Высокие

Д о ку м е нт , удостоверяющий личность испытуемого

Не важен

Возможно, потребуется

Очень важен

Наблюдение за процессом тестирования Не требуется Требуется частично Всегда и постоянно

Оценка надежности и валидности результатов измерения Не требуется Иногда Всегда

Целевые ориентиры в процессе конструирования инструментария для итоговой аттестации студентов вузов можно наглядно представить в форме некоторой прямой с реперными точками, соответствующими целям оценивания. Направление прямой на рис. 1 иллюстрирует нарастание трудностей и требуемого сопутствующего профессионализма специалистов в конструировании инструментария для этого оценочного процесса (рис. 1).

Могут ли они

Выучили ли они это? доказать это?

Могут ли они это сделать?

Рисунок 1. Целевые ориентиры в процессе конструирования инструментария для итоговой аттестации

Первую точку, расположенную слева на рис. 1, можно условно считать оцениванием,направленнымнавыявлениеуровнятех знаний и умений, которыенеобходимыстудентамдляосвоенияпрофессиональных компе-тенций.Ключевымтребованием,выполнение которогонеобходимодля обеспечения качестваоценокзнанийи уменийв аттестации,является установление связи оцениваемых знаний и умений с профессиональны-мистандартами. Говоряиными словами,можно утверждать,чтовыбор знаний и умений,подлежащихоцениванию, должен основываться не научебных планахи программахдисциплин, а на профессиональных стандартах.

Логическая цепочка, которой должен руководствоваться разработ-чикинструментариядляаттестацииприпланированииегосодержа-ния,имеетвид,представленныйнарис. 2.Ее построениеподкреплено

существующими нормативными и рекомендательными документами (ФГОС, приказы Минобрнауки России, решения ученых и методических советов вузов, методические рекомендации и т.д.), в русле которых можно предложить, чтобы целевые индикаторы профессиональных компетенций в образовательных программах были описаны с помощью трудовых функций профессиональных стандартов и соответствующих трудовых действий.

Рисунок 2. Логическая цепочка для планирования содержания аттестационного инструментария при оценивании знаний и умений, лежащих в основе формирования компетенций

Цепочка отражает последовательность действий разработчика аттестационных оценочных средств. После формирования совокупности компетенций, подлежащих оцениванию в соответствии с образовательной программой, он должен сгруппировать соответствующие индикаторы профессиональных компетенций, описанные с помощью трудовых функций и соответствующих трудовых действий из профессиональных стандартов. Индикаторы следует разбить на три уровня, если планируется оценивание в трех диапазонах компетентности. Затем разработчик должен связать эти индикаторы со знаниями и умениями из профессиональных стандартов, а потом присоединить соответствующие полидисциплинарные модули из образовательных программ, на основе которых будут разрабатываться оценочные средства. Для оценивания освоенных знаний и умений при итоговой аттестации рекомендуется использовать тесты с выбором ответов.

Вторая точка в центре соответствует задаче оценивания уровня освоения компетенций, поэтому она предполагает выявление того, как студенты способны применить полученные знания и умения в ситуациях, имитирующих профессиональную деятельность [22]. В качестве

оценочных средств для решения второй задачи необходимо использовать ситуационные задания, которые можно отождествить с множественными (многомерными) оценочными кейсами.

В общем случае под множественным оценочным кейсом следует понимать структурированную и смоделированную ситуацию, отображающую конкретную профессиональную проблему и требующую от испытуемых проявления совокупности компетенций [13]. Множественный характер кейса диктуется наличием нескольких оцениваемых переменных, а проблемная ситуация в условии, ориентированная на сферу реальных профессиональных задач будущего выпускника вуза, обеспечивает в итоговой аттестации возможность оценивания уровня сформированности профессиональных компетенций. Общее число оцениваемых переменных (компетенций) стараются сделать не более четырех-пяти, чтобы можно было факторизовать результаты ответов студентов и обеспечить высокую конструктную валидность результатов измерений, под которой понимается адекватность оцениваемых переменных запланированным переменным измерения.

Наличие четырех или пяти переменных требует включения в кейс 12-15 вопросов, распределенных таким образом, чтобы для оценивания каждой компетенции в кейсе было несколько заданий. Обращение к кейсам в итоговой аттестации способствует повышению аутентичности оценочного инструментария. Благодаря современным компьютерам, обеспечивающим разнообразный графический интерфейс, можно создавать инновационные задания, которые позволяют с высокой аутентичностью имитировать задачи будущей профессиональной деятельности выпускников, погружая их в профессиональную среду для оценивания компетентности студентов при аттестации.

Крайняя точка справа на рис. 1 иллюстрирует идеи доказательного подхода в оценочных процессах, когда испытуемый должен доказать, что он справился с заданиями не случайно путем подсказки или догадки, а вполне осознанно применил свои знания для решения в ситуациях, имитирующих профессиональные задачи. На языке компетентностно-го подхода доказательства дают основания для заключения о том, что испытуемый действительно освоил компетенцию или совокупность компетенций. Таким образом, опосредованно доказательный подход способствует росту надежности и валидности результатов образовательных измерений.

Результаты исследования. Развитие теоретического базиса теории образовательных измерений к концу второго десятилетия XXI века привело к появлению инновационных тенденций в совершенствовании качества оценок испытуемых в плане повышения их доказательности [6; 13; 20]. Доказательства предназначаются для установления меры соответствия наблюдаемых баллов испытуемых запланированным для оценивания переменным измерения. В отличие от надежности, оценивающей меру точности наблюдаемых результатов с позиций близости к латентным параметрам, являющимся идеализацией и свободным от ошибок измерения, доказательства подтверждают адекватность наблюдаемого балла тому конструкту (одной переменной или нескольким переменным), который предназначался для измерения.

Благодаря этим преимуществам ряд служб и компаний в сфере образовательного тестирования обратился к методологии доказательного подхода (Cisco, CITO, ETS, GlassLab и др.). Эти возможности доказательного подхода особенно важны на экзаменах высокой значимости, к числу которых относится аттестация выпускников вузов [25]. Анализ результатов аттестации, выполненный в рамках доказательного подхода, позволяет получить детализированную развернутую информацию о ходе мышления каждого испытуемого при выполнении заданий теста. Говоря языком статистики, можно утверждать, что наблюдаемые результаты измерений дают априорные оценки вероятности правильного выполнения каждого задания испытуемыми, а доказательная база позволяет получить апостериорные оценки параметра каждого испытуемого.

Для подсчета апостериорных оценок проводятся дедуктивные рассуждения на основе байесовской сети и теоремы Байеса [4]. При построении байесовской сети, представляющей собой ориентированный граф, выбираются вершины, отождествляемые с переменными измерения. Вершины соединяются дугами в соответствии с предполагаемыми причинно-следственными связями между переменными. В образовательных измерениях роль переменных отводится компетенциям. Далее переходят к поиску доказательств, подтверждающих компетентность испытуемых, в виде апостериорных оценок вероятности того, что данная компетенция освоена испытуемым. Для выявления доказательств с помощью байесовской сети устанавливают связь графической интерпретации модели подготовки испытуемого в виде изображенной совокупности профессиональных компетенций с моделью оценочного средства,

представляющую собой упорядоченную совокупность заданий.

Построение байесовской сети осложняется различным характером связей между отдельными ее компонентами, которые могут носить как условный, так и безусловный характер, означающий, что отдельные компоненты сети локально независимы. Локальная независимость компонентов модели не исключает существования частичной взаимосвязи элементов, но эта связь намного слабее и не носит явного причинно-следственного характера [27; 29]. Первоначальный шаг в построении структуры сети, связывающей модель подготовки аттестуемого и модель измерителя, основывается на результатах применения оценочного средства или на данных из экспертных оценок априорной вероятности, являющейся мерой тесноты связей между компонентами модели испытуемого и заданиями оценочного средства. После этого с помощью специального программного обеспечения выполняется количественная оценка апостериорной вероятности для каждой связи в байесовской сети для доказательства или опровержения априорного предположения об освоении трудовой функции аттестуемым [14; 30].

Заключение. В целом применение в итоговой аттестации инструментария, включающего тесты и множественные кейсы, в сочетании с доказательным подходом позволяет добиться повышения качества оценок студентов с позиций роста их надежности, валидности и аутентичности. Об этом свидетельствует опыт работы многочисленных тестовых служб, в том числе опыт аккредитации специалистов здравоохранения в России, где множественные интерактивные кейсы (ситуационные задания) выполняются испытуемыми на третьей стадии аккредитации с 2018 года [14].

Помимо использования множественных кейсов в практике итоговой аттестации для повышения качества оценок студентов, не вызывает сомнения их позитивное влияние на качество результатов обучения. Применение кейсов в учебном процессе позволяет обучающимся:

- развивать свои компетенции, навыки и умения по практическому применению полученных знаний;

- проявлять способности по работе со значительными объемами информации, в том числе применять умение собирать дополнительную информацию, анализировать ее, интегрировать и интерпретировать для поставленной проблемы;

- применять навыки критического мышления и системного мышления;

- демонстрировать навыки принятия решений на основе анализа ситуации;

- проявлять навыки проведения диагностики, выявления причин возникшей проблемы, анализа ее связей с внешними факторами в реальной жизни и т.д.

Конечно, для многих преподавателей обращение к кейсам достаточно традиционно и привычно. Другие действия, связанные с введением доказательного подхода, носят для них непривычный характер. Например, необычно и непросто для авторов собирать обосновывающую графическую информацию, заранее предвидя пути обоснования, которые могут выбрать испытуемые, обращаться к программному обеспечению и строить графы. Поэтому доказательный подход нельзя внедрить в работу вуза прямым директивным решением. Ему нужно учиться, осваивая постепенно отдельные его возможности и положения. Несмотря на трудности, его следует внедрять в итоговую аттестацию, поскольку обращение к методологии центрированного на доказательствах подхода означает продвижение в когнитивном, психометрическом и технологическом инструментарии, создаваемом в целях совершенствования качества образования.

Однако полученные результаты требуют дальнейшего развития и исследования. Отсутствие близости распределения эмпирических данных к нормальному закону, характерное для данных аттестации в силу критериально-ориентированного подхода к разработке аттестационного инструментария, вносит свой компонент в рост систематической ошибки измерения. В связи с этим необходимо проведение исследований для анализа влияния процедуры нормализации данных на точность результатов измерения.

Список источников

1. Багдасарян В. Э. Российское образование: выбор пути / под общей ред. архимандрита Сильвестра (Лукашенко). М.: Отчий дом, 2019. 336 с.

2. Болотов В. А. Прошлое, настоящее и возможное будущее российской системы оценки качества образования // Вопросы образования. 2018. № 3. С. 287-297. сЗо1: 10.17323/1814-9545-2018-3-287-297.

3. Болотов В. А. Сериков В. В. Компетентностная модель: от идеи к образовательной программе // Педагогика. 2003. № 10. С. 8-14.

4. Бидюк П. И., Терентьев А. Н. Построение и методы обучения байесовских сетей // Таврический вестник информатики и математики. 2004. № 2. С. 139-154.

5. Вергелес К. П., Ковалева Г. С., Колачев Н. И. и др. Опыт предоставления обратной связи в процессе оценки и формирования функциональной грамотности // Отечественная и зарубежная педагогика. 2020. Т. 2, № 2 (70). С. 8-23.

6. Грачева Д. А., Тарасова К. В. Подходы к разработке вариантов заданий сценарного типа в рамках метода доказательной аргументации // Отечественная и зарубежная педагогика. 2022. Т. 1, № 3 (84). С. 83-97. doi: 10.24412/2224-0772-2022-84-83-97.

7. Ефремова Н. Ф. Аргументации и доказательства надежности оценок компетенций студентов // Известия ДГПУ. 2018. Т. 12, № 2. С. 1-10. doi: 10.31161/1995-0659-2018-12-2-43-50.

8. Ефремова Н. Ф. Надежность оценочной системы как условие качественного управления обучением // Инновационная наука: психология, педагогика, дефектология. 2021. Т. 4, № 4. С. 71-84. doi: https://doi.org/10.23947/2658-7165-2021-4-4-71-84.

9. Ефремова Н. Ф., Звонников В. И., Челышкова М. Б. Педагогические измерения в системе образования // Педагогика. 2006. № 2. С. 14-22.

10. Звонников В. И., Малыгин А. А., Челышкова М. Б. О доказательном подходе и его видах в образовании // Вестник Ивановского государственного университета. Серия «Естественные, общественные науки». 2021. Вып. 2. С. 46-52.

11. Измерение и оценка сформированности универсальных компетенций обучающихся при освоении образовательных программ бакалавриата, магистратуры, специалитета: коллективная монография / под науч. ред. И. Ю. Тархановой. Ярославль: РИО ЯГПУ, 2018. 383 с.

12. Карданова Е. Ю. Моделирование и параметризация тестов: основы теории и приложения. М.: Федеральный центр тестирования, 2008. 292 с.

13. Малахова Т. Н. Инновации в инструментарии аккредитации выпускников медицинских вузов // Высшее образование сегодня. 2018. № 11. С. 19-23. doi: 10.25586/RNU.HET.18.11.P.19.

14. Малахова Т. Н., Челышкова М. Б., Семенова Т. В. Доказательный подход в разработке оценочных средств для аккредитации выпускников вузов // Педагогические измерения. 2019. № 1. С. 55-61.

15. Малыгин А. А. Современные форматы образовательного тестирования // Высшее образование сегодня. 2018. № 6. С. 15-18. doi: 10.25586/RNU.HET.18.06.P.15.

16. Оценка профессиональной готовности специалистов в системе здравоохранения / под ред. Т. В. Семеновой. М.: ГЭОТАР-Медиа, 2019. 272 с.

17. Кравченко Д. А., Блескина И. А., Каляева Е.Н. и др. Персонализация в образовании: от программируемого к адаптивному обучению // Современная зарубежная психология. 2020. Т. 9, № 3. C. 34-46 [Электронный ресурс]. URL: https://psyjournals.ru/journals/jmfp/archive/2020_n3/ Kravchenko_et_al. doi: https://doi.org/10.17759/jmfp.2020090303 (дата обращения: 23.10.2022).

18. Решетникова О. А. Что мешает эффективной оценке учебных достижений // Образовательная политика. 2012. № 4 (60). С. 58-62.

19. Саляхутдинова Д. Р., Федерякин Д. А. Способы связывания шкал для измерения образовательного прогресса в разных парадигмах анализа данных образовательного тестирования // Отечественная и зарубежная педагогика. 2022. Т. 1, № 3 (84). С. 98-111. doi: 10.24412/2224-0772-2022-84-98-111.

20. Семенова Т. В., Малахова Т. Н., Сизова Ж. М. Доказательный подход в создании оценочного инструментария для аккредитации специалистов здравоохранения // Медицинское образование и профессиональное развитие. 2021. Т. 12, № 1 (41). С. 67-80. doi: 10.33029/2220-8453-2021-12-1-67-79.

21. Сизова Ж. М., Семенова Т. В., Найденова Н.Н. и др. Перспективные подходы к оцениванию компетентности обучающихся в современном вузе // Образовательное пространство в информационную эпоху — 2019: Сб. науч. тр. М.: ФГБНУ «Институт стратегии развития образования РАО», 2019. С. 559-572.

22. Blömeke S., Zlatkin-Troitschanskaia O., Kuhn C. et al. Modeling and Measuring Competencies in Higher Education. Professional and Vet Learning. Vol. 1. Sense Publishers, Rotterdam, 2013. http://doi-org-443.webvpn.fjmu.edu.cn/10.1007/978-94-6091-867-4_1.

23. Chelyshkova M. B., Semenova T. V., Naydenova N. N., et al. &oss-analysis of Big Data in Accreditation of Health Specialists. Electronic Journal of General Medicine, 2018. Vol. 15 (5), em72. https://doi.org/10.29333/ejgm/93469.

24. Competence Assessment in Education Research, Models and Instruments / D. Leutner, J. Fleischer, J. Grünkorn at al. New York: Springer International Publishing AG., 2017. 503 p.

25. ETS Standards for Quality and Fairness / Educational Testing Service, 2015. 63 p.

26. Jiao H., LissitzR. W., Van Wie A. (Eds.). Data Analytics and Psychometrics: Informing

Assessment Practices. Charlotte, NC: Information Age Publishing, 2018. 268 p.

27. Mislevy R. J., Almond R. G., Lukas J. F. A Brief Introduction to Evidence-centered Design. (ETS Research Report RR-03-16). Princeton, NJ: Educational Testing Service, 2003. 37 p.

28. Mitchell R. Applied Linguistics and Evidence-based Classroom Practice: the Case of Foreign Language Grammar Pedagogy. Applied linguistics, 2000. Vol. 21. № 3, P. 281-303. https://doi.org/10.1093/ applin/21.3.281.

29. Levy R., Misley R. J. Bayesian Psychometric Modeling. New York: CRC Press, 2016. 480 p.

30. Ni Z., Phillips L. D., Hanna G. B. Exploring Bayesian Belief Networks Using Netica". In: Darzi A., Athanasiou T. (Eds.). Evidence Synthesis in Healthcare. Springer, London. 2011. P. 293-318. https://doi. org/10.1007/978-0-85729-206-3_12.

References

1. Bagdasarjan V. Je. Rossijskoe obrazovanie: vybor puti / pod obshhej red. arhimandrita Sil'vestra (Lukashenko). M.: Otchij dom, 2019. 336 s. [In Rus].

2. Bolotov V. A. Proshloe, nastojashhee i vozmozhnoe budushhee rossijskoj sistemy ocenki kachestva obrazovanija // Voprosy obrazovanija. 2018. № 3. S. 287-297. doi: 10.17323/1814-9545-2018-3-287297. [In Rus].

3. Bolotov V. A. Serikov V. V. Kompetentnostnaja model': ot idei k obrazovatel'noj programme // Pedagogika. 2003. № 10. S. 8-14. [In Rus].

4. Bidjuk P. I., Terent'ev A. N. Postroenie i metody obuchenija bajesovskih setej // Tavricheskij vestnik informatiki i matematiki. 2004. № 2. S. 139-154. [In Rus].

5. Vergeles K. P., Kovaleva G. S., Kolachev N. I., et. al. Opyt predostavlenija obratnoj svjazi v processe ocenki i formirovanija funkcional'noj gramotnosti // Otechestvennaja i zarubezhnaja pedagogika.

2020. T. 2, № 2 (70). S. 8-23. [In Rus].

6. Gracheva D. A., Tarasova K. V. Podhody k razrabotke variantov zadanij scenarnogo tipa v ramkah metoda dokazatel'noj argumentacii // Otechestvennaja i zarubezhnaja pedagogika. 2022. T. 1, № 3 (84). S. 83-97. doi: 10.24412/2224-0772-2022-84-83-97. [In Rus].

7. Efremova N. F. Argumentacii i dokazatel'stva nadezhnosti ocenok kompetencij studentov // Izvestija DGPU. 2018. T. 12, № 2. S. 1-10. doi: 10.31161/1995-0659-2018-12-2-43-50.

8. Efremova N. F. Nadezhnost' ocenochnoj sistemy kak uslovie kachestvennogo upravlenija obuche-niem // Innovacionnaja nauka: psihologija, pedagogika, defektologija. 2021. T. 4, № 4. S. 71-84. doi: https://doi.org/10.23947/2658-7165-2021-4-4-71-84. [In Rus].

9. Efremova N. F., Zvonnikov V. I., Chelyshkova M. B. Pedagogicheskie izmerenija v sisteme obrazovanija // Pedagogika. 2006. № 2. S. 14-22. [In Rus].

10. Zvonnikov V. I., Malygin A. A., Chelyshkova M. B. O dokazatel'nom podhode i ego vidah v obrazovanii // Vestnik Ivanovskogo gosudarstvennogo universiteta. Serija «Estestvennye, obshhestvennye nauki».

2021. Vyp. 2. S. 46-52. [In Rus].

11. Izmerenie i ocenka sformirovannosti universal'nyh kompetencij obuchajushhihsja pri osvoenii obrazovatel'nyh programm bakalavriata, magistratury, specialiteta: kollektivnaja monografija / pod nauch. red. I. Ju. Tarhanovoj. Jaroslavl': RIO JaGPU, 2018. 383 s. [In Rus].

12. Kardanova E. Ju. Modelirovanie i parametrizacija testov: osnovy teorii i prilozhenija. M.: Federal'nyj centr testirovanija, 2008. 292 s.

13. Malahova T. N. Innovacii v instrumentarii akkreditacii vypusknikov medicinskih vuzov // Vysshee obrazovanie segodnja. 2018. № 11. S. 19-23. doi: 10.25586/RNU.HET.18.11.P.19. [In Rus].

14. Malahova T. N., Chelyshkova M. B., Semejonova T. V. Dokazatel'nyj podhod v razrabotke ocenochnyh sredstv dlja akkreditacii vypusknikov vuzov // Pedagogicheskie izmerenija. 2019. № 1. S. 55-61. [In Rus].

15. Malygin A. A. Sovremennye formaty obrazovatel'nogo testirovanija // Vysshee obrazovanie segodnja. 2018. № 6. S. 15-18. doi: 10.25586/RNU.HET.18.06.P.15. [In Rus].

16. Ocenka professional'noj gotovnosti specialistov v sisteme zdravoohranenija / pod red. T. V. Semenovoj. M.: GJeOTAR-Media, 2019. 272 s. [In Rus].

17. Kravchenko D. A., Bleskina I. A., Kaljaeva E. N.et. al. Personalizacija v obrazovanii: ot programmirue-mogo k adaptivnomu obucheniju // Sovremennaja zarubezhnaja psihologija. 2020. T. 9, № 3. C. 34-46

[Jelektronnyj resurs]. URL: https://psyjournals.ru/journals/jmfp/archive/2020_n3/Kravchenko_et_ al. doi: https://doi.org/10.17759/jmfp.2020090303 (data obrashhenija: 23.10.2022).

18. Reshetnikova O. A. Chto meshaet jeffektivnoj ocenke uchebnyh dostizhenij // Obrazovatel'naja poli-tika. 2012. № 4 (60). S. 58-62. [In Rus].

19. SaljahutdinovaD. R., Federjakin D. A. Sposoby svjazyvanija shkal dlja izmerenija obrazovatel'nogo progressa v raznyh paradigmah analiza dannyh obrazovatel'nogo testirovanija // Otechestvennaja i zarubezhnaja pedagogika. 2022. T. 1, № 3 (84). S. 98-111. doi: 10.24412/2224-0772-2022-84-98111. [In Rus].

20. Semenova T. V., Malahova T. N., Sizova Zh. M. Dokazatel'nyj podhod v sozdanii ocenochno-go instrumentarija dlja akkreditacii specialistov zdravoohranenija // Medicinskoe obrazovanie i professional'noe razvitie. 2021. T. 12, № 1 (41). S. 67-80. doi: 10.33029/2220-8453-2021-12-1-6779. [In Rus].

21. Sizova Zh. M., Semenova T. V., Najdenova N. N. et al. Perspektivnye podhody k ocenivaniju kompe-tentnosti obuchajushhihsja v sovremennom vuze // Obrazovatel'noe prostranstvo v informacionnuju jepohu — 2019: Sb. nauch. tr. M.: FGBNU «Institut strategii razvitija obrazovanija RAO», 2019. S. 559-572. [In Rus].

22. Blömeke S., Zlatkin-Troitschanskaia O., Kuhn C. et al. Modeling and Measuring Competencies in Higher Education. Professional and Vet Learning. Vol. 1. Sense Publishers, Rotterdam, 2013. http://doi-org-443.webvpn.fjmu.edu.cn/10.1007/978-94-6091-867-4_1.

23. Chelyshkova M. B., Semenova T. V., Naydenova N. N.,et al. Cross-analysis of Big Data in Accreditation of Health Specialists. Electronic Journal of General Medicine, 2018. Vol. 15 (5), em72. https://doi. org/10.29333/ejgm/93469.

24. Competence Assessment in Education Research, Models and Instruments / D. Leutner, J. Fleischer, J. Grünkorn et al. New York: Springer International Publishing AG., 2017. 503 p.

25. ETS Standards for Quality and Fairness / Educational Testing Service, 2015. 63 p.

26. iao H., LissitzR. W., Van Wie A. (Eds.). Data Analytics and Psychometrics: Informing Assessment Practices. Charlotte, NC: Information Age Publishing, 2018. 268 p.

27. Mislevy R. J., Almond R. G., Lukas J. F. A Brief Introduction to Evidence-centered Design. (ETS Research Report RR-03-16). Princeton, NJ: Educational Testing Service, 2003. 37 p.

28. Mitchell R. Applied Linguistics and Evidence-based Classroom Practice: the Case of Foreign Language Grammar Pedagogy. Applied linguistics, 2000. Vol. 21. № 3, P. 281-303. https://doi.org/10.1093/ applin/21.3.281.

29. Levy R., Misley R. J. Bayesian Psychometric Modeling. New York: CRC Press, 2016. 480 p.

30. Ni Z., Phillips L. D., Hanna G. B. Exploring Bayesian Belief Networks Using Netica". In: Darzi A., Athanasiou T. (Eds) Evidence Synthesis in Healthcare. Springer, London. 2011. P. 293-318. https://doi. org/10.1007/978-0-85729-206-3_12.

Информация об авторах

А. А. Малыгин — кандидат педагогических наук, доцент, доцент кафедры непрерывного психолого-педагогического образования

М. Б. Челышкова — доктор педагогических наук, профессор, главный специалист Методического центра аккредитации специалистов

Information about the authors

A. A. Malygin—PhD (Education), Associate Professor of Department of Continuing Psychological and Pedagogical Education M. B. Chelyshkova — Dr. Sc. (Education), Full Professor, Chief Specialist of Federal Methodical Centre for Accreditation of Specialists

Статья поступила в редакцию 09.12.2022; одобрена после рецензирования 23.12.2022; принята к публикации 12.01.2023. The article was submitted 09.12.2022; approved after reviewing 23.12.2022; accepted for publication 12.01.2023.