CC BY
0
НЕПРЕРЫВНОЕ ПРОФЕССИОНАЛЬНОЕ ОБРАЗОВАНИЕ
А. А. Малыгин
Отечественная и зарубежная педагогика. 2024. Т. 1, № 3 (99). С. 6-29. Domestic and foreign pedagogy. 2024. Vol. 1, no. 3 (99). P. 6-29.
Научная статья УДК 378.146
doi: 10.24412/2224-0772-2024-99-6-29
МНОГОСТАДИЙНОЕ ОЦЕНИВАНИЕ ПРИ ИТОГОВОЙ АТТЕСТАЦИИ В ВЫСШЕМ ОБРАЗОВАНИИ
Алексей Александрович Малыгин
Ивановский государственный университет, Иваново, Россия, malygin@ivanovo.ac.ru, http://orcid. org/0000-0002-7812-4439
Аннотация. В оценочных процедурах при итоговой аттестации в образовании встает, как правило, два основных вопроса: что оценивать и как оценивать, чтобы в результате сделать соответствующие выводы и принять классификационные решения. В высшем образовании ответ на первый вопрос определен в нормативных документах — образовательных стандартах и программах — это результаты освоения обучающимися образовательных программ соответствующего направления подготовки. Образовательные результаты задаются сегодня в компетентностной трактовке, и за более чем десятилетний период реализации компетент-ностного подхода в профессиональном образовании вузовское сообщество пришло к относительно согласованному пониманию таких дефиниций, как «компетенция» и «компетентность». Однако по-прежнему остается открытым второй вопрос: как оценивать заявленные образовательные результаты в условиях именно итоговой аттестации, чтобы сделать выводы о компетентности выпускника университета, присвоить квалификацию и выдать документ о высшем образовании.
© Малыгин А. А., 2024 6
Основная цель данной статьи — обоснование многостадийного оценивания при итоговой аттестации в высшем образовании через определение ключевых составляющих методологического аппарата — целей, функций, принципов — и на этих основаниях представление алгоритма как части технологии многостадийного оценивания.
Методология и методы исследования. Методологическими основаниями для определения многостадийного оценивания в отдельное направление, отвечающее требованиям объективности, независимости и сопоставимости оценок выпускников, получаемых по результатам прохождения аттестационных процедур, являются бипарадигмальный подход к образовательным измерениям и теория тестов. Для достижения поставленной цели были использованы следующие методы: анализ отечественных и зарубежных источников по проблематике оценивания и измерений в образовании; классификация методов и способов оценивания в образовании; изучение нормативно-правовых документов, касающихся оценивания и аттестации.
Выводы. Сформулированные цели, функции и принципы многостадийного оценивания для аттестационной процедуры (государственного/итогового экзамена) служат методологическими основаниями для обеспечения обоснованных классификационных решений об уровне сформированности компетентности выпускника. В условиях итоговой аттестации, когда оцениваются результаты освоения обучающимися образовательной программы, то есть всей совокупности универсальных, общепрофессиональных и профессиональных компетенций, или, другими словами, уровня сформированности компетентности, важно обоснованно классифицировать всех выпускников на аттестованных и неаттестованных и, кроме того, выставить оценку. Согласно установленным нормам, сегодня определена следующая градация оценок: «отлично», «хорошо», «удовлетворительно» и «неудовлетворительно». Эта традиционная система оценок, называемая пятибалльной, вполне соответствует и самой идее классификации выпускников на тех, кто аттестован и не аттестован, и возможности выставления оценок. При этом необходимо учитывать, что нормативно установленные категории оценок относятся к качественному уровню измерений и не допускают многих математических операций (например, нахождение среднего значения и др.). Обеспечить обоснованные классификационные решения при итоговой аттестации и выставление оценок, которые бы отвечали таким характеристикам, как надежность, валидность и аутентичность, возможно, если обратиться к методологическим основаниям, базирующимся на бипарадигмальном подходе и теории тестов.
Ключевые слова: аттестация, многостадийное оценивание, методологические основания, бипарадигмальный подход, теория тестов, образовательные измерения
Для цитирования: Малыгин А. А. Многостадийное оценивание при итоговой аттестации в высшем образовании // Отечественная и зарубежная педагогика. 2024. Т. 1, № 3 (99). С. 6-29. doi: 10.24412/2224-0772-2024-99-6-29
Original article
MULTISTAGE ASSESSMENT DURING FINAL ATTESTATION IN HIGHER EDUCATION
Aleksey A. Malygin
Ivanovo State University, Ivanovo, Russia, malygin@ivanovo.ac.ru, http://orcid. org/0000-0002-7812-4439
Abstract. In assessment procedures during final attestation in education, as a rule, two main questions arise: what to assess and how to assess, in order to ultimately draw appropriate conclusions and make classification decisions. In higher education, the answer to the first question is defined in regulatory documents — educational standards and programs — these are the results of students mastering educational programs in the corresponding field of study. Educational results are set today in a competency-based interpretation, and over more than a decade of implementation of the competency-based approach in professional education, the university community has come to a relatively consistent understanding of such definitions as "competencies" and "competence." However, the second question still remains open — how to assess the declared educational results in the conditions of final attestation in order to draw conclusions about the competence of a university graduate, assign qualifications and issue a document on higher education.
Basic purpose of the article is to substantiate multi-stage assessment during final attestation in higher education through identifying the key components of the methodological apparatus — goals, functions, principles, and on these grounds, the presentation of the algorithm as part of a multi-stage assessment technology.
Research Methods. The methodological basis for defining multi-stage assessment in a separate direction that meets the requirements of objectivity, independence and comparability of graduates' assessments obtained as a result of attestation procedures are the bipardigmatic approach to educational measurements and test theory. To achieve this goal, the following methods were used: analysis of domestic and foreign sources on the issues of assessment and measurement in education; classification of methods and methods of assessment in education; study of regulatory documents relating to assessment and attestation.
Results. The formulated purposes, functions and principles of multi-stage assessment for the attestation procedure (state / final exam) serve as methodological grounds for providing informed classification decisions about the level of competence of a graduate. In the conditions of final attestation, when the results of students' mastery of the educational program are assessed, i.e. the entire set of universal, general professional and professional competencies or, in other words, the level of competence formation, it is important to reasonably classify all graduates into certified and non-certified and, in addition, give a grade. According to established standards, today the following gradation of assessments has been determined — "excellent", "good", "satisfactory" and "unsatisfactory". This traditional grading system, called the five-point system, is fully consistent with the very idea of classifying graduates into those who are mastery and non-mastery, and the possibility of assigning grades. It is necessary to take into account that the normatively established categories of assessments relate to the qualitative level of measurements and do not allow many mathematical operations (for example, finding the average value, etc.). It is possible to ensure well-founded classification decisions during final attestation and the issuance of grades that meet such characteristics as reliability, validity and authenticity if we turn to methodological foundations based on the biparadigm approach and test theory.
Keywords: attestation, multi-stage assessment, methodological foundations, biparadigm approach, test theory, educational measurements
For citation: Malygin A. A. Multistage assessment during final attestation in higher education. Domestic and Foreign Pedagogy. 2024;1(3): 6-29. (In Russ.). doi: 10.24412/2224-0772-2024-99-6-29
Введение
В оценочных процедурах при итоговой аттестации в образовании встает, как правило, два основных вопроса: что оценивать и как оценивать, чтобы в результате сделать соответствующие выводы и принять классификационные решения. В высшем образовании ответ на первый вопрос определен в нормативных документах — образовательных стандартах и программах — это результаты освоения обучающимися образовательных программ соответствующего направления подготовки. Образовательные результаты задаются сегодня в компетентност-ной трактовке, и за более чем десятилетний период реализации ком-петентностного подхода в профессиональном образовании вузовское сообщество пришло к относительно согласованному пониманию таких дефиниций, как «компетенция» и «компетентность». Однако по-преж-
нему остается открытым второй вопрос: как оценивать заявленные образовательные результаты в условиях именно итоговой аттестации, чтобы сделать выводы о компетентности выпускника университета, присвоить квалификацию и выдать документ о высшем образовании.
В этой связи возникает необходимость теоретико-методологического обоснования такой технологии оценивания, которая бы обеспечивала получение надежных, валидных и аутентичных результатов в рамках проведения аттестационных испытаний для выпускников. Такое теоретико-методологическое обоснование предполагает прежде всего целеполагание, определение функций и установление принципов оценивания. На сегодняшний день нормативными документами установлены два вида аттестационных испытаний: государственный экзамен (по выбору образовательной организации) и защита выпускной квалификационной работы (обязательно) [10]. В высшем образовании сложились и устоялись подходы к их организации, но остались вопросы к содержанию самих аттестационных испытаний. Если в случае защиты выпускной квалификационной работы происходит групповое экспертное оценивание, которое проводит квалифицированная экзаменационная комиссия, то государственные экзамены часто не отвечают ни нормативно установленным принципам итоговой аттестации — объективности и независимости, ни сути компетентностного подхода, поскольку сами экзаменационные билеты включают в себя два-три вопроса в знаниевой парадигме. Соблюдение принципов объективности и независимости при аттестации является нетривиальной задачей, поскольку в абсолютном понимании это недостижимые характеристики в любых оценочных процедурах, и особенно в тех, где присутствуют экспертные суждения [7].
Трудности оценочных процедур в условиях компетентностной трактовки результатов обучения, усугубленные отсутствием специальной подготовки у большинства преподавателей в области образовательных измерений, приводят нередко к попыткам упрощенчества, подмены самого понятия «компетентность» достаточно проработанными и привычными знаниями и умениями [2; 7; 22]. Сообразно такому упрощенному пониманию конструируется оценочный инструментарий для аттестационных процедур высокой значимости. Так, в недавнем исследовании коллектива РГПУ им. А. И. Герцена констатируется, что практика оценки качества подготовки выпускников, завер-
шивших освоение образовательных программ педагогического профиля, «характеризуется недостаточной подготовкой преподавателей к реализации компетентностного подхода и организации командной работы преподавательского состава вуза по разработке показателей и содержания контрольно-измерительных материалов, ориентированных на аутентичную оценку компетенций» [1, с. 58].
Однако не только требования компетентностного подхода к трактовке качества результатов обучения, но и развитие технологий, изменяющиеся форматы взаимодействия работодателей со сферой профессионального образования, наконец, ценностные сдвиги приводят нас сегодня к необходимости определения методологических основ, поиску новых подходов и форм организации контрольно-оценочной деятельности в вузах и разработке соответствующего инструментария. В конечном счете это позволит получать достоверные выводы об уровне компетентности выпускников и принимать обоснованные управленческие решения в целях повышения качества подготовки специалистов в системе высшего образования.
Методология и методы исследования
В качестве методологической основы выступают бипарадиг-мальный подход к образовательным измерениям и теория тестов. Бипарадигмальный подход, обоснованный ранее в работах В. И. Звонникова и предусматривающий сочетание двух парадигм количественного и качественного уровней измерений [3; 5], в аттестационных процедурах выступает компромиссным решением между сторонниками строгих количественных методов, стремящихся к исключению любых экспертных и субъективных оценок, и представителей качественных методов оценивания, при которых допускается нестрогая трактовка подлежащих измерению конструктов. Количественный и качественный уровни образовательных измерений имеют единые цели и принципы, но отличаются свойствами для анализа и интерпретации получаемых на этих уровнях данных. Количественные оценки отображаются на метрической шкале, и им приписывают числовые значения, а для качественных данных, как правило, выбирают словесные суждения или определенные символы. Сообразно уровням измерения выбирается и оценочный инструментарий для проведения аттестационной процедуры. На количественном уровне используются стандар-
тизированные оценочные средства — задания с выбором ответов, на установление соответствия или последовательности, с кратким регламентируемым ответом и др., которые поддаются автоматизированной проверке без участия человека. Последнее условие будет способствовать повышению объективности оценок, но с соблюдением основных постулатов, выдвигаемых со стороны теории тестов [13; 17]. В теорию тестов как еще одну методологическую составляющую организации итоговой аттестации входят классическая теория тестов, обеспечивающая концептуальные основы надежности и валидности результатов образовательных измерений, и современная теория тестов, изучающая функциональную взаимосвязь между наблюдаемыми результатами оценивания и компетенциями как латентными характеристиками выпускника [16; 19-21].
При измерении уровня сформированности компетентности выпускника переход от количественного уровня к качественному основывается на технологии многостадийного оценивания. Многостадийное оценивание представляет собой определенную последовательность взаимосвязанных и взаимообусловленных научно обоснованных этапов и процедур создания, предъявления и оценки результатов выполнения оценочных заданий аттестационного инструментария. В аттестационный инструментарий, помимо самих оценочных заданий, включается спецификация, эталоны для оценивания ответов аттестуемых, инструкции и правила проведения аттестационного испытания, методики шкалирования и интерпретации результатов.
Благодаря сочетанию различных свойств и возможностей оценочных средств и многоэтапности аттестационной процедуры повышается надежность и валидность результатов, становится возможным оценить различные способы деятельности выпускников и сделать аргументированные выводы с минимальными классификационными ошибками.
Результаты исследования
Определяя цели многостадийного оценивания, следует учитывать контекст, в котором оно рассматривается, а именно итоговую аттестацию выпускников, завершивших освоение основной профессиональной образовательной программы. В этой связи на многостадийное оценивание будут распространяться общие и специальные цели, свя-
занные со всеми присущими особенностями содержательного, организационно-педагогического и управленческого характера.
К числу общих целей, носящих социально значимый характер итоговой аттестации как для системы высшего образования, так и для общества и сферы труда, относятся:
• повышение качества высшего образования и подготовки специалистов;
• содействие эффективному осуществлению единой государственной политики в системе высшего образования и подготовки кадров;
• защита прав граждан на получение высшего образования по качеству не ниже установленного государством в нормативных документах — федеральных государственных образовательных стандартах или самостоятельно установленных образовательных стандартах;
• сопоставимость документов о высшем образовании и квалификациях, полученных в различных образовательных организациях по одним и тем же или родственным направлениям подготовки и профилям;
• обеспечение преемственности требований к качеству высшего образования на всех его уровнях — бакалавриата, специалите-та, магистратуры, аспирантуры;
• снижение доли субъективизма и связанной с ним несправедливости традиционной аттестационной процедуры;
• предоставление всем субъектам и пользователям системы образования и сферы труда объективной информации о реальном уровне качества подготовки специалистов и компетентности выпускников;
• совершенствование аттестационных процедур, в том числе итоговой аттестации, и системы оценивания на основе образовательных измерений.
Современная ситуация в высшем образовании, характеризующаяся совершенствованием системы подготовки и переподготовки кадров по актуальным для экономики и общества научно-технологическим направлениям, стандартизацией образовательных результатов (универсальные, общепрофессиональные и профессиональные компетенции) с одновременной вариативностью профилей обучения, разнообразием
учебных планов и способов решения поставленных дидактических задач, цифровизацией, электронным обучением, применением дистанционных образовательных технологий, искусственного интеллекта, нейросетей и больших данных, позволяет сформулировать к названным выше общим целям ряд специальных. Перечисленные особенности проистекают из стратегических и программных документов и концепций — Указа Президента РФ от 28.02.2024 № 145 «О Стратегии научно-технологического развития Российской Федерации», постановления Правительства РФ от 11.10.2023 № 1678 «Об утверждении Правил применения организациями, осуществляющими образовательную деятельность, электронного обучения, дистанционных образовательных технологий при реализации образовательных программ», распоряжения Правительства РФ от 24.06.2022 № 1688-р «Об утверждении Концепции подготовки педагогических кадров для системы образования на период до 2030 года» и др. На многостадийное оценивание распространяются следующие специальные цели:
• достижение объективности и независимости в аттестационных процедурах;
• повышение обоснованности решений при итоговой аттестации;
• обеспечение эффективности аттестационных процедур за счет методов оптимизации количества оценочных заданий и их трудности, что приводит к точности получаемых оценок об уровне компетентности аттестуемых выпускников;
• создание ситуации успеха для каждого аттестуемого выпускника благодаря дифференциации и индивидуализации процедуры оценивания;
• обеспечение благоприятной психологической атмосферы для прохождения аттестационной процедуры высокой значимости, снижающей невербальное психологическое давление экзаменаторов.
В числе функций, которые традиционно связывают с контрольно-оценочной деятельностью, следует выделить только соответствующие целям многостадийного оценивания именно при итоговой аттестации выпускников в высшем образовании. Присущие педагогическому контролю и оцениванию диагностическая, обучающая, развивающая, корректирующая функции могут быть реализованы в условиях итоговой аттестации, если речь идет о процессах подготовки или самоподготов-
ки к ее успешному прохождению. Действительно, для выявления пробелов, саморегуляции, содержательной и психологической готовности к итоговой аттестации реализация указанных функций будет этому способствовать.
В случае итогового оценивания, по результатам которого делаются экспертные заключения об уровне сформированности компетентности каждого выпускника, его готовности к профессиональной деятельности, а также принимаются решения о выставлении оценок аттестационных испытаний, присвоении квалификации и выдаче документа о соответствующем образовании, выделяются следующие функции: собственно оценочная, информационная, сравнительная и прогностическая. Содержательно перечисленные функции педагогического контроля и оценивания на сегодняшнем этапе развития науки и технологий следует рассматривать в залоге новых открывшихся возможностей обработки получаемых данных.
Полноценное выполнение оценочной функции в итоговой аттестации способствует справедливости и доверию к получаемым оценкам, на снижение которых влияет субъективность тех, кто проводит оценивание: педагогов, работодателей, административных работников. Именно развитие научной области образовательных измерений, реализация на практике положений теории тестов, в частности современной теории тестов, обеспечивают достижение специфической объективности и сопоставимости оценок по результатам прохождения выпускниками аттестационных испытаний. Специфическая или инвариантная объективность — это одна из трех характеристик объективности вместе с процедурной и классической, которые традиционно рассматриваются, когда речь идет об образовательных измерениях [5; 17; 18]. Применительно к оценочной функции многостадийного оценивания следует отметить, что достижение эффекта инвариантности при оценивании уровня подготовленности аттестуемых и трудности заданий измерителя связано с применением современной теории тестов [20]. Согласно ее основным положениям, инвариантная объективность характеризуется тем, что на оценку каждого аттестуемого не влияют оценки других аттестуемых и особенности оценочного инструментария, проявляющиеся в подборе по трудности заданий.
Выполнение оценочной функции современного многостадийного оценивания обладает определенными особенностями, поскольку
оценка по его результатам:
• не сравнивает аттестуемых друг с другом за счет дифференциации, переходящей в индивидуализацию, процедур предъявления заданий, окончания аттестационного испытания и предъявления результатов;
• предоставляет каждому выпускнику возможность видеть продвижение по уровням сформированности своей компетентности (от минимального к базовому и до высокого уровня сформи-рованности компетентности) благодаря поэтапному процессу выполнения оценочных заданий и возможности в этой связи качественной интерпретации получаемой оценки;
• носит объективный и оперативный характер за счет реализации самой процедуры на основе алгоритмов современной теории тестов и предъявления результатов выполнения заданий на каждом этапе оценивания.
Реализация информационной функции многостадийного оценивания связана со сбором данных по каждой стадии оценивания в процессе аттестационного испытания (сдача государственного экзамена, защита выпускной квалификационной работы) выпускниками для анализа результатов и их корректной интерпретации. Анализ данных прохождения аттестационных испытаний необходим в первую очередь для сопоставления со стандартами образования — соответствие результатов освоения выпускниками образовательных программ требованиям ФГОС ВО. Кроме того, для обоснованного принятия административно-управленческих решений, например, таких как корректировка содержания образовательной программы, изменения учебного плана, отдельных рабочих программ или методического обеспечения дисциплин (учебных модулей), практик и пр., эти данные должны рассматриваться в совокупности с информацией, получаемой из дополнительных сведений и источников. К таковым могут относиться баллы ЕГЭ, на основании которых были зачислены абитуриенты для освоения образовательной программы высшего образования; квалификационный уровень, качественный и количественный состав научно-педагогических работников, участвующих в реализации образовательной программы; материально-техническое обеспечение образовательной организации; трудоустройство выпускников прошлых лет и их становление и развитие в той профессиональной деятельности, к
которой они готовились. Другими словами, в целях мониторинга качества высшего образования и подготовки специалистов реализация многостадийного оценивания при итоговой аттестации создает информационную основу для анализа данных с использованием различных методов, пользователями результатов которого могут выступать все участники образовательного процесса, а также заинтересованные стороны.
Сравнительная функция многостадийного оценивания проявляется в первую очередь на уровнях управления высшим образованием по одинаковым или сходным профилям образовательных программ. Итоговая аттестация в высшем образовании не должна предусматривать сравнение выпускников друг с другом, но обеспечивать сопоставление результатов освоения образовательных программ путем корректного анализа входных и выходных данных об уровне подготовки обучающихся. В качестве выходных данных при реализации сравнительной функции могут использоваться результаты корректно проведенных образовательных измерений, начиная с использования стандартизированного оценочного инструментария, репрезентативной выборки выпускников по одинаковым направлениям подготовки и образовательным программам, обеспечения надежности и валидно-сти и заканчивая шкалированием и интерпретацией результатов, дополненных ответами на профессионально разработанные анкеты, которые выявляют существенные факторы в подготовке специалистов. Сравнительная функция часто не принимается ни теми, кто учит, ни теми, кого учат, что только отчасти справедливо, хотя сами критики не учитывают ряд научных оснований. В действительности сравнивать допустимо только то, что измеряется одним и тем же инструментарием (измерителем), а результаты измерения переносятся на одну и ту же шкалу [13]. Сравнивать количество выпускников, получивших различные оценки по привычной 5-балльной шкале в двух или более различных вузах, которые реализовывали образовательные программы по одинаковым направлениям подготовки, будет некорректно. Это обусловлено и характером порядковой шкалы качественного уровня измерений, и отсутствием единых критериев оценивания результатов выполнения аттестационных испытаний, а также субъективностью экспертов — членов экзаменационных комиссий в этих образовательных организациях. В целом для выполнения сравнительной функции
многостадийного оценивания при итоговой аттестации должны выбираться такие группы объектов, которые гомогенны по своим характеристикам. Начавшийся в конце первого десятилетия XXI века в системе высшего образования проект ФЭПО (федеральный интернет-экзамен в сфере профессионального образования) можно отнести к случаю выполнения информационной и сравнительной функций оценивания в целом, но не учитывались факторы, оказывающие смещение на результаты сравнения. К числу таких факторов можно отнести как территориальные и социально-демографические особенности, так и содержательные аспекты формирования заявленных для оценивания результатов обучения по конкретным учебным дисциплинам и модулям образовательных программ.
Роль прогностической функции многостадийного оценивания на сегодняшний день значительно возрастает. Это обусловлено не только новыми возможностями информационного обеспечения оперативной обработки больших данных и развития вероятностных моделей предсказывания наметившихся позитивных или негативных тенденций в образовании. По результатам выполнения оценочных заданий разного уровня и формы по заданным алгоритмам и с соблюдением всех организационно-педагогических условий аттестационных процедур можно с высокой долей вероятности определить и дальнейшее развитие образовательных программ, их востребованности абитуриентами, а также успех в профессиональной деятельности выпускников при их трудоустройстве по специальности. На основе таких прогнозных значений, которые проводятся математико-статистическими методами, можно принимать тактические и стратегические решения по многим направлениям развития высшего образования, его содержательных и организационных аспектов.
Описанные функции многостадийного оценивания при итоговой аттестации, как правило, реализуются в сочетании друг с другом при определенной ведущей роли одной из них. Это зависит от того, какая из целей многостадийного оценивания является приоритетной и какой контекст рассмотрения результатов итоговой аттестации.
В широком смысле принципы выступают, с одной стороны, нормативами, предписывающими характер той или иной деятельности, а с другой — являются центральными понятиями, распространяющимися на все рассматриваемые процессы. Введение в процедуры ито-
говой аттестации в высшем образовании строгих формализованных методов оценивания преимущественно обусловлено тем, что со стороны государства и профессионального сообщества, представляющего рынок труда, выдвигается новый «социальный заказ» к подготовке современных специалистов. Поэтому научную организацию многостадийного оценивания следует выстраивать на ряде основополагающих принципов, охватывающих весь процесс оценивания — от определения компетенций и компетентности как подлежащих измерению конструктов до анализа данных и интерпретации результатов с целью принятия обоснованных классификационных решений. Соблюдение таких принципов будет способствовать повышению эффективности самих аттестационных процедур (испытаний).
Помимо общедидактических, ставших уже классическими, принципов оценивания при итоговой аттестации, которые распространяются и на многостадийное оценивание, таких как объективность, независимость, научность, релевантность, достоверность, справедливость и эффективность, предлагается дополнить данный перечень рядом специальных принципов. К их числу относятся дифференциация, индивидуализация, последовательность, критериальность, открытость, сочетание количественного и качественного уровней образовательных измерений, кумулятивность.
Первые два нормативных принципа — объективности и независимости — установлены в статье 59 «Итоговая аттестация» 273-Ф3 «Об образовании в Российской Федерации» [9], а также согласуются с развитием в нашей стране системы независимой оценки квалификаций [8].
Принцип объективности в многостадийном оценивании, строящемся на образовательных измерениях, связан с неизбежным существованием ошибки измерения. Согласно классическому пониманию, величина ошибки измерения определяется как разность между наблюдаемым и истинным баллом аттестуемого [17]. Тем самым этот принцип предполагает минимизацию такой ошибки, которая может носить характер случайной или систематической. К появлению ошибок систематического характера приводят некачественно разработанный оценочный инструментарий и задания в нем, процедуры его применения, нарушения методик сбора данных и их интерпретации. Случайные ошибки измерения возникают в результате поведения аттестуемых
или экзаменаторов. Различные действия как тех, так и других во время аттестационной процедуры будут приводить к снижению объективности, а значит, снижению надежности результатов и повышению величины случайной ошибки. Ее минимизация может достигаться различными методами — от полного исключения экзаменаторов из процесса и перевод аттестационной процедуры в компьютерный формат с автоматизированной обработкой результатов до применения методов коллегиальной (экспертной) оценки, строгого соблюдения разработанных инструкций по оцениванию результатов выполнения заданий и др. В целом число факторов, которые влияют на увеличение ошибки измерения, достаточно велико даже в тех случаях, когда применяются специальные математические методы и модели измерения современной теории тестов.
Принцип независимости в условиях проведения итоговой аттестации рассматривается прежде всего с позиции, кто оценивает, делает выводы и принимает решения. Речь идет о подходах к формированию аттестационной комиссии, которую возглавляет независимый по отношению к образовательной организации председатель. Его кандидатура, как правило, утверждается учредителем по представлению самой организации. Также в состав аттестационной комиссии должны входить представители работодателей, заинтересованных в беспристрастной оценке уровня компетентности выпускников и отборе их для профессиональной деятельности. Другими словами, независимость обеспечивается тем, что уровень компетентности выпускника оценивают не те, кто его обучал и формировал компетенции, а внешние по отношению к аттестуемому и образовательной организации эксперты.
Принцип научности многостадийного оценивания предписывает организацию и проведение его строго в соответствии с выбранной основой — образовательными измерениями. Эти основы предусматривают выполнение ряда обязательных требований разработки и применения оценочного инструментария для аттестационной процедуры [12]. Согласно принятым правилам, выделяют пять таких этапов:
1) этап целеполагания, заключающийся в выборе подлежащего измерению конструкта, определения выборки аттестуемых и содержательной области, описывающей этот конструкт;
2) этап конструирования заданий инструментария и обоснование их качества;
3) этап апробации всех разработанных заданий инструментария с последующей математико-статистической обработкой данных и корректировкой заданий;
4) этап применения инструментария для оценивания аттестуемых и шкалирование результатов;
5) этап интерпретации полученных результатов выполнения заданий экзаменуемыми в соответствии с установленными критериальными баллами (стандарты прохождения аттестационных испытаний) и принятие классификационного решения в отношении каждого аттестуемого выпускника (аттестован — не аттестован).
Принцип релевантности нацелен на согласованность получаемых на основе многостадийного оценивания результатов об уровне сфор-мированности компетентности выпускников с заявленными целями реализуемой образовательной программы. Интерпретация результатов аттестации согласно данному принципу рассматривается по отношению к различным уровням принятия обоснованных решений. Так, если итоговая аттестация проводится по единой методологии и технологии для всех образовательных программ из общей укрупненной группы специальностей и направлений или общего направления подготовки, то данный принцип нацеливает на решение задач управления качеством подготовки специалистов по определенным профилям. Как отмечалось выше, это способствует созданию единого образовательного пространства и выработке общего понимания целей и результатов высшего образования. Принцип релевантности означает сквозную согласованность как с общими направлениями развития образования, устанавливаемыми нормами, правилами на уровне государства, так и с потребностями конкретных университетов и структурных подразделений, отвечающих за содержание подготовки, формирование единых образовательных результатов (универсальных и общепрофессиональных компетенций) и вырабатывающих согласованные с работодателями формулировки профессиональных компетенций в увязке с профессиональными стандартами.
Принцип достоверности регламентирует получение неискаженной информации о результатах итоговой аттестации выпускников и уровня сформированности их компетентности. Этим результатам должны доверять не только те, кто непосредственно участвует в аттестационных процедурах, но и другие пользователи, включая профессиональ-
ные и общественные объединения, органы управления и надзора за образованием. Достоверность связана с выбором таких технологий, а вместе с ними и методов, инструментария оценивания, которые не вызывают противоречивых мнений и позволяют получать объективные оценки [6].
Принцип справедливости в оценивании — один из достаточно сложно реализуемых. Часто, хотя и неверно, справедливость отождествляют с принципом равенства обучающихся на получение беспристрастной и непредвзятой оценки. Данный принцип предписывает получение по результатам выполнения аттестационного испытания оценки, которая будет не случайным образом на условиях везения или невезения получена аттестуемым выпускником, а, напротив, соответствовать всем тем усилиям при освоении образовательной программы, которые прилагал студент на протяжении всего периода обучения [4; 14]. В такой ситуации многостадийное оценивание будет в полной мере содействовать реализации данного принципа.
Принцип эффективности регламентирует выбор таких технологий многостадийного оценивания на основе образовательных измерений, которые обеспечивают полноценную реализацию всех функций при итоговой аттестации и при этом оптимизируют затрачиваемые ресурсы (временные, финансовые, трудовые).
В настоящее время указанные принципы, часть которых в полной мере, а другая часть частично реализуется в аттестационных процедурах, следует дополнить рядом специальных, на которых базируется многостадийное оценивание, повышая его состоятельность на экзаменах высокой значимости.
Принцип дифференциации относится как к самим аттестуемым, так и к установлению и определению уровней компетентности выпускников, завершивших освоение образовательной программы. В первом случае предписывается разделение аттестуемых в начале аттестационного испытания на первой стадии оценивания, когда каждому из них предъявляется отдельный набор заданий, подобранный в заданном интервале трудности и оптимальной по уровню подготовленности каждого испытуемого. Компетентность как интегративное понятие, включающее в себя совокупность необходимых к освоению обучающимся универсальных, общепрофессиональных и профессиональных компетенций, также предусматривает ее сформированность у каждого
выпускника на определенном уровне. Поэтому такая дифференциация должна выполняться и быть заранее известна всем участникам итоговой аттестации.
Принцип индивидуализации тесно связан с принципом дифференциации и предполагает, что процесс оценивания, проходящий в несколько стадий, за счет разделения всех аттестуемых по уровню их подготовленности проходит в дальнейшем в индивидуальном режиме. Это означает, что выпускники выполняют задания, которые предъявляются им с учетом результатов выполнения предыдущего задания. Другими словами, первый этап оценивания — это компьютерный формат предъявления заданий по специальным алгоритмам, учитывающим успешность выполнения заданий и уровень подготовленности каждого аттестуемого. Оценки, полученные в результате выполнения заданий первого этапа, определяют переход к следующему этапу оценивания, уровень трудности которого выше и соответствует другому уровню компетентности. И при этом в качестве обязательного условия учитывается готовность выпускника переходить к следующей стадии оценивания.
Принцип последовательности предполагает поэтапный переход аттестуемого в режиме многостадийного оценивания — от выполнения обязательных заданий, соответствующих минимальному уровню компетентности, до высокого уровня компетентности, на котором необходимо доказать степень своей готовности к решению профессиональных задач.
Принцип критериальности означает обязательное наличие стандарта выполнения (порогового балла) или критериального балла (критерия) для каждого этапа оценивания, позволяющего отнести аттестуемого выпускника к одной из двух категорий — аттестован или не аттестован — для каждого уровня компетентности. Этот принцип способствует преодолению пороговых баллов каждым аттестуемым благодаря четко определенным границам аттестации для каждого этапа оценивания.
Принцип открытости должен пониматься всеми участниками аттестационных процедур однозначно. Он предполагает право каждого выпускника заранее познакомиться с правилами проведения многостадийного оценивания, пройти пробное оценивание, знать спецификацию (план) оценочного инструментария для аттестационного
испытания, критерии определения уровня компетентности и правил перевода (шкалирование) получаемых оценок в традиционную пятибалльную шкалу отметок.
Принцип сочетания количественного и качественного уровней образовательных измерений предписывает при организации многостадийного оценивания выбор определенной схемы сочетания методов измерений, определение типа модели, построение дизайна измерения, дифференцированную обработку данных с учетом различных уровней измерения для их последующей интеграции при интерпретации и принятии обоснованных классификационных решений по каждому аттестуемому выпускнику.
Принцип кумулятивности в многостадийном оценивании предполагает накопление информации о выполнении аттестуемым оценочных заданий на каждом этапе, соответствующем определенному уровню компетентности, и ее вклад в общую итоговую оценку по результатам прохождения всего аттестационного испытания. Данный принцип содействует обоснованности решений при аттестации в условиях постепенного нарастания трудности каждой стадии оценивания.
Соблюдение указанных принципов при организации многостадийного оценивания на основе образовательных измерений при итоговой аттестации существенным образом изменяет форму и содержание аттестационных испытаний, минимизируя основания для получения неправдоподобных и противоречивых результатов об уровне компетентности выпускников.
Алгоритм реализации на практике сформулированных целей, функций и принципов многостадийного оценивания представлен на рис. 1. Именно за счет нескольких стадий оценивания, предусматривающих применение разнообразных оценочных средств на каждом этапе сообразно выделяемому уровню сформированности компетентности (минимальному — «удовлетворительно», базовому — «хорошо», высокому — «отлично»), обеспечивается повышение надежности, валид-ности и аутентичности результатов аттестуемых выпускников. Такая технология многостадийного оценивания, выстраиваемая на описанных выше методологических основаниях, в полной мере применима к аттестационному испытанию с высоким уровнем принятия решений — государственному экзамену.
Уровни сформированное™ компетентности
Рисунок 1. Алгоритм многостадийного оценивания
Так, на первом этапе, который содержит задания репродуктивного характера для оценки знаний и умений, необходимых выпускнику для выполнения трудовых действий, проводится компьютерное тестирование на основе современной теории тестов с критериально-ориентированным подходом к интерпретации результатов [15]. В случае успешного преодоления критериального балла аттестуемый будет отнесен к минимальному уровню компетентности (оценка «удовлетворительно»), после чего он может приступать к выполнению заданий второго этапа оценивания. На этой стадии выпускнику предлагается выполнить квазипрофессиональные ситуационные задачи поискового характера [11]. При успешном выполнении необходимого количества заданий (также устанавливается критериальное значение (балл) для второго этапа) выпускник будет отнесен к категории аттестованных и соответствовать базовому уровню сформированности компетентности (оценка «хорошо»). Третья стадия оценивания соотносится с высоким уровнем сформированности компетентности выпускника и предусматривает свободное собеседование на заданную тему с членами государственной экзаменационной комиссии. При успешном про-
хождении такой формы оценивания, которая может быть дополнена портфолио из работ выпускника, выставляется оценка «отлично». Декомпозиция многостадийного оценивания на примере образовательной программы «Психология образования» по направлению подготовки 44.03.02 «Психолого-педагогическое образование» представлена на рис. 2.
Рисунок 2. Декомпозиция многостадийного оценивания (на примере образовательной программы «Психология образования» по направлению подготовки 44.03.02 «Психолого-педагогическое образование»)
Заключение
Представленные в статье цели, функции и принципы многостадийного оценивания для аттестационной процедуры (государственного/ итогового экзамена) служат методологическими основаниями для обеспечения обоснованных классификационных решений об уровне сформированности компетентности выпускника. В условиях итоговой аттестации, когда оцениваются результаты освоения обучающимися образовательной программы, то есть всей совокупности универсальных, общепрофессиональных и профессиональных компетенций, или, другими словами, уровня сформированности компетентности, важно обоснованно классифицировать всех выпускников на аттестованных и неаттестованных и, кроме того, выставить оценку. Согласно уста-
новленным нормам, сегодня определена следующая градация оценок: «отлично», «хорошо», «удовлетворительно» и «неудовлетворительно». Эта традиционная система оценок, называемая пятибалльной, вполне соответствует и самой идее классификации выпускников на тех, кто аттестован и не аттестован, и возможности выставления оценок. При этом необходимо учитывать, что нормативно установленные категории оценок относятся к качественному уровню измерений и не допускают многих математических операций (например, нахождение среднего значения и др.).
Обеспечить обоснованные классификационные решения при итоговой аттестации и выставление оценок, которые бы отвечали таким характеристикам, как надежность, валидность и аутентичность, возможно, если обратиться к методологическим основаниям, базирующимся на бипарадигмальном подходе и теории тестов.
&исок источников
1. Батракова И. С., Гладкая И. В., Глубокова Е. Н. и др. Эмпирическое изучение практики оценки компетенций выпускников педагогических университетов // Известия Российского государственного педагогического университета им. А. И. Герцена. 2023. № 210. С. 51-60. DOI: 10.33910/1992-6464-2023-210-51-60. EDN: UPJNUW.
2. Бочарова Н. Ю., Писарева С. А., Пучков М. Ю. и др. Концепция уровневой оценки компетенций учителя // Человек и образование. 2017. № 3 (52). С. 164-171.
3. Гуськова М. В. Эвалюация в образовании: монография. М.: ИНФРА-М, 2012. 153 с.
4. Ефремова Н. Ф. Стратегии обеспечения справедливости в дизайне оценивания компетенций студентов // Инновационная наука: психология, педагогика, дефектология. 2023. Т. 6, № 1. С. 81-93.
5. Звонников В. И. Измерения и качество образования: монография. М.: Логос, 2006. 312 с.
6. Малыгин А. А. Аттестация студентов в современных условиях: от повышения эффективности оценивания к доверию оценкам // Высшее образование сегодня. 2023. № 6. С. 8-16.
7. Малыгин А. А., Челышкова М. Б. Обеспечение качества оценок студентов в итоговой аттестации / А. А. Малыгин, М. Б. Челышкова // Отечественная и зарубежная педагогика. 2023. Т. 1, № 1 (89). С. 7-23.
8. О независимой оценке квалификации: Федер. закон № 238-ФЗ от 03.07.2016 [Электронный ресурс]. URL: http://consultant.ru/ (дата обращения: 10.01.2024).
9. Об образовании в Российской Федерации: Федер. закон № 273-ФЗ от 29 декабря 2012 г.: с изменениями 2023 г. (включает все изменения до 1 января 2024 г.) [Электронный ресурс]. URL: http://consultant.ru/ (дата обращения: 10.01.2024).
10. Об утверждении Порядка проведения государственной итоговой аттестации по образовательным программам высшего образования — программам бакалавриата, программам специ-алитета и программам магистратуры: приказ Минобрнауки России № 636 от 29 июня 2015 г. [Электронный ресурс]. URL: http://consultant.ru/ (дата обращения: 10.01.2024).
11. Семенова Т. В., Сизова Ж. М., Малахова Т. Н. и др. Интерактивные множественные кейсы в аккредитации специалистов здравоохранения // Медицинский вестник Северного Кавказа. 2019. № 1. С. 118-122.
12. Сизова Ж. М., Челышкова М. Б. Совершенствование качества оценочного инструмента-
рия для аккредитации специалистов здравоохранения // Медицинское образование и вузовская наука. 2018. № 1 (11). С. 19-23.
13. Челышкова М. Б. Аттестация выпускников вузов в рамках компетентностного подхода // Вестник Костромского государственного университета им. Н. А. Некрасова. 2012. Т. 18, № 6. С. 270-273.
14. Assessment, Learning and Judgement in Higher Education / ed. by G. Joughin. New York: Springer Science: Business Media B.V., 2009. 233 p.
15. Berk R. A. Criterion-Referenced Measurement: The State of the Art. Baltimor, MD: Johns Hopkins University Press, 1980. 234 p.
16. Bock R. D. Item Response Theory / R. D Bock, R. D. Gibbons ; University of Chicago. Hoboken : Wiley, 2021. 384 p.
17. Crocker L., Algina J. Introduction to Classical and Modern Test Theory. Pacific Grove (CA): Wadsworth, 2006. 527 p.
18. Educational and Psychological Measurement / ed. by W. H. Finch, B. F. French. New York: Routledge, 2018. 468 p.
19. Essays on Contemporary Psychometrics / ed. by L. A. van der Ark, W. H. M. Emons, R. R. Meijer. Cham: Springer, 2023. 456 p.
20. Hambleton R. K., Swaminathan H., Rogers H. J. Fundamentals of Item Response Theory. New York: Sage Publications, 1991. 174 p.
21. Linden W J. van der. Handbook of Item Response Theory: Models. New York: CRC Press, 2016. 624 p.
22. Modeling and Measuring Competencies in Higher Education: Tasks and Challenges / S. Blömeke, O. Zlatkin-Troitschankaia, C. Kuhn, et al. Rotterdam: Sense Publishers, 2013. 236 p.
References
1. Batrakova I. S., Gladkaja I. V., Glubokova E. N. i dr. Jempiricheskoe izuchenie praktiki ocenki kompetencij vypusknikov pedagogicheskih universitetov // Izvestija Rossijskogo gosudarstvennogo peda-gogicheskogo universiteta im. A. I. Gercena. 2023. № 210. S. 51-60. DOI: 10.33910/1992-6464-2023210-51-60. EDN: UPJNUW. [In Rus].
2. Bocharova N. Ju., Pisareva S. A., Puchkov M. Ju. i dr. Koncepcija urovnevoj ocenki kompetencij uchitelja // Chelovek i obrazovanie. 2017. № 3 (52). S. 164-171. [In Rus].
3. Gus'kova M. V. Jevaljuacija v obrazovanii: monografija. M.: INFRA-M, 2012. 153 s. [In Rus].
4. Efremova N. F. Strategii obespechenija spravedlivosti v dizajne ocenivanija kompetencij studentov // Innovacionnaja nauka: psihologija, pedagogika, defektologija. 2023. T. 6, № 1. S. 81-93. [In Rus].
5. Zvonnikov V. I. Izmerenija i kachestvo obrazovanija: monografija. M.: Logos, 2006. 312 s. [In Rus].
6. Malygin A. A. Attestacija studentov v sovremennyh uslovijah: ot povyshenija jeffektivnosti ocenivanija k doveriju ocenkam // Vysshee obrazovanie segodnja. 2023. № 6. S. 8-16. [In Rus].
7. Malygin A. A., Chelyshkova M. B. Obespechenie kachestva ocenok studentov v itogovoj attestacii / A. A. Malygin, M. B. Chelyshkova // Otechestvennaja i zarubezhnaja pedagogika. 2023. T. 1, № 1 (89). S. 7-23. [In Rus].
8. O nezavisimoj ocenke kvalifikacii: Feder. zakon № 238-FZ ot 03.07.2016 [Jelektronnyj resurs]. URL: http://consultant.ru/ (data obrashhenija: 10.01.2024). [In Rus].
9. Ob obrazovanii v Rossijskoj Federacii: Feder. zakon № 273-FZ ot 29 dekabrja 2012 g.: s izmenenijami 2023 g. (vkljuchaet vse izmenenija do 1 janvarja 2024 g.) [Jelektronnyj resurs]. URL: http://consultant. ru/ (data obrashhenija: 10.01.2024). [In Rus].
10. Ob utverzhdenii Porjadka provedenija gosudarstvennoj itogovoj attestacii po obrazovatel'nym pro-grammam vysshego obrazovanija — programmam bakalavriata, programmam specialiteta i pro-grammam magistratury: prikaz Minobrnauki Rossii № 636 ot 29 ijunja 2015 g. [Jelektronnyj resurs]. URL: http://consultant.ru/ (data obrashhenija: 10.01.2024). [In Rus].
11. Semenova T. V., Sizova Zh. M., Malahova T. N. i dr. Interaktivnye mnozhestvennye kejsy v akkreditacii specialistov zdravoohranenija // Medicinskij vestnik Severnogo Kavkaza. 2019. № 1. S. 118-122. [In Rus].
12. Sizova Zh. M., Chelyshkova M. B. Sovershenstvovanie kachestva ocenochnogo instrumentarija dlja
akkreditacii specialistov zdravoohranenija // Medicinskoe obrazovanie i vuzovskaja nauka. 2018. № 1 (11). S. 19-23. [In Rus].
13. Chelyshkova M. B. Attestacija vypusknikov vuzov v ramkah kompetentnostnogo podhoda // Vestnik Kostromskogo gosudarstvennogo universiteta im. N. A. Nekrasova. 2012. T. 18, № 6. S. 270-273. [In Rus].
14. Assessment, Learning and Judgement in Higher Education / ed. by G. Joughin. New York: Springer Science: Business Media B.V., 2009. 233 p.
15. Berk R. A. Criterion-Referenced Measurement: The State of the Art. Baltimor, MD: Johns Hopkins University Press, 1980. 234 p.
16. Bock R. D. Item Response Theory / R. D Bock, R. D. Gibbons ; University of Chicago. Hoboken : Wiley, 2021. 384 p.
17. Crocker L., Algina J. Introduction to Classical and Modern Test Theory. Pacific Grove (CA): Wadsworth, 2006. 527 p.
18. Educational and Psychological Measurement / ed. by W. H. Finch, B. F. French. New York: Routledge, 2018. 468 p.
19. Essays on Contemporary Psychometrics / ed. by L. A. van der Ark, W. H. M. Emons, R. R. Meijer. Cham: Springer, 2023. 456 p.
20. Hambleton R. K., Swaminathan H., Rogers H. J. Fundamentals of Item Response Theory. New York: Sage Publications, 1991. 174 p.
21. Linden W. J. van der. Handbook of Item Response Theory: Models. New York: CRC Press, 2016. 624 p.
22. Modeling and Measuring Competencies in Higher Education: Tasks and Challenges / S. Blömeke, O. Zlatkin-Troitschankaia, C. Kuhn, et al. Rotterdam: Sense Publishers, 2013. 236 p.
Информация об авторе
А. А. Малыгин — кандидат педагогических наук, доцент, ректор Ивановского государственного университета, руководитель Ивановского научного центра Российской академии образования
Information about the author
A. A. Malygin — PhD (Education), Associate Professor, Rector of Ivanovo State University, Head of the Ivanovo Scientific Center of Russian Academy of Education
Статья поступила в редакцию 19.04.2024; одобрена после рецензирования 22.04.2024; принята к публикации 23.04.2024. The article was submitted 19.04.2024; approved after reviewing 22.04.2024; accepted for publication 23.04.2024.
