Научная статья на тему 'КРИТЕРИАЛЬНЫЙ ПОДХОД К ОЦЕНИВАНИЮ КАК КЛЮЧЕВОЙ КОМПОНЕНТ СИСТЕМЫ НЕЗАВИСИМОЙ ОЦЕНКИ ОБРАЗОВАТЕЛЬНЫХ РЕЗУЛЬТАТОВ БУДУЩИХ ПЕДАГОГОВ'

КРИТЕРИАЛЬНЫЙ ПОДХОД К ОЦЕНИВАНИЮ КАК КЛЮЧЕВОЙ КОМПОНЕНТ СИСТЕМЫ НЕЗАВИСИМОЙ ОЦЕНКИ ОБРАЗОВАТЕЛЬНЫХ РЕЗУЛЬТАТОВ БУДУЩИХ ПЕДАГОГОВ Текст научной статьи по специальности «Науки об образовании»

CC BY
689
60
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
КРИТЕРИАЛЬНОЕ ОЦЕНИВАНИЕ / ОБРАЗОВАТЕЛЬНЫЕ РЕЗУЛЬТАТЫ / ОЦЕНОЧНЫЕ СРЕДСТВА / ИНДИКАТОР ДОСТИЖЕНИЯ ОБРАЗОВАТЕЛЬНЫХ РЕЗУЛЬТАТОВ

Аннотация научной статьи по наукам об образовании, автор научной работы — Перевощикова Елена Николаевна

Введение. В статье представлены концептуальные основы построения системы критериального оценивания образовательных результатов, которая рассматривается как подсистема системы независимой оценки образовательных результатов. Анализируются этапы становления и развития компетентностного подхода к оцениванию в школьном и вузовском образовании. Раскрываются основные компоненты системы критериального оценивания, приводится описание способов формулировки критериев и показателей, выделяются ключевые этапы построения критериальной системы оценивания образовательных результатов. Материалы и методы. В основу исследования положены системный, деятельностный и компетентностный подходы к подготовке бакалавров педагогического образования, что позволило определить и согласовать компоненты системы критериального оценивания с компонентами системы независимой оценки образовательных результатов. Установлено, что ключевыми компонентами такой системы являются целевой компонент, образовательные результаты, индикаторы достижения образовательных результатов, оценочные средства, показатели оценивания и уровни достижения образовательных результатов. Раскрыта специфика представления образовательных результатов на основе переформулирования компетенций в сочетании с трудовыми действиями педагога. Определены принципы целостности и оптимальности для представления индикаторов достижения образовательных результатов, рассматриваемых в качестве критериев оценивания. Результаты исследования. Определена цель построения системы критериального оценивания образовательных результатов будущих педагогов, и приведено описание понятий «образовательные результаты», «оценочные средства». Раскрыты способы описания образовательных результатов и способы представления показателей оценки. Приведено описание формы представления оценочных средств, в структуру которых включены организационно-методическая, содержательная и критериально-оценочная части. Показано, что в качестве уровней достижения образовательных результатов выступают уровни успешности деятельности обучающегося при выполнении заданий, являющихся оценочными средствами. Обсуждение и заключения. В статье обсуждаются связи выстраиваемой системы критериального оценивания с рейтинговой системой оценки качества подготовки обучающихся. Вывод, сформулированный в статье, представлен в виде технологических этапов построения системы критериального оценивания образовательных результатов.

i Надоели баннеры? Вы всегда можете отключить рекламу.
iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

CRITERIAL APPROACH TO ASSESSMENT AS A KEY COMPONENT OF THE SYSTEM FOR INDEPENDENT ASSESSMENT OF THE EDUCATIONAL RESULTS OF FUTURE TEACHERS

Introduction. The article presents the conceptual foundations of building a system of criteria-based assessment of educational results, which is considered as a subsystem of the system of independent assessment of educational results. The stages of formation and development of a competence-based approach to assessment in school and university education are analyzed. The main components of the criteria-based assessment system are revealed, a description of the methods for formulating criteria and indicators is given, the key stages of building a criteria-based system for assessing educational results are highlighted. Materials and Methods. The research is based on the systemic, activity-based and competence-based approaches to the training of bachelors of pedagogical education, which made it possible to determine and coordinate the components of the criteria-based assessment system with the components of the system of independent assessment of educational results. It has been established that the key components of such a system are the target component, educational results, indicators of achievement of educational outcomes, assessment tools, assessment indicators and levels of achievement of educational results. The specifics of the presentation of educational results based on the reformulation of competencies in combination with the labor actions of the teacher are disclosed. The principles of integrity and optimality for the presentation of indicators of achievement of educational results, considered as assessment criteria, have been determined. Results. The purpose of building a system of criteria-based assessment of the educational results of future teachers is determined and a description of the concepts of "educational results", "evaluation means" is given. The ways of describing educational results and ways of presenting assessment indicators are disclosed. The description of the form of presentation of assessment tools, the structure of which includes organizational and methodological, substantive and criterion-assessment parts, is given. It is shown that the levels of success of the student's activity when performing tasks, which are evaluative tools, act as levels of achievement of educational results. Discussion and Conclusions. The article discusses the relationship between the system of criteria-based assessment and the rating system for assessing the quality of training of students. The conclusion formulated in the article is presented in the form of technological stages of building a system of criteria-based assessment of educational results.

Текст научной работы на тему «КРИТЕРИАЛЬНЫЙ ПОДХОД К ОЦЕНИВАНИЮ КАК КЛЮЧЕВОЙ КОМПОНЕНТ СИСТЕМЫ НЕЗАВИСИМОЙ ОЦЕНКИ ОБРАЗОВАТЕЛЬНЫХ РЕЗУЛЬТАТОВ БУДУЩИХ ПЕДАГОГОВ»

СтатьяМЛск

УДК 378.146

Б01: 10.26795/2307-1281-2021-9-3-6

КРИТЕРИАЛЬНЫЙ ПОДХОД К ОЦЕНИВАНИЮ КАК КЛЮЧЕВОЙ КОМПОНЕНТ СИСТЕМЫ НЕЗАВИСИМОЙ ОЦЕНКИ ОБРАЗОВАТЕЛЬНЫХ РЕЗУЛЬТАТОВ

БУДУЩИХ ПЕДАГОГОВ1

Е. Н. Перевощикова1

1 Нижегородский государственный педагогический университет имени Козьмы Минина (Мининский университет), Нижний Новгород, Российская Федерация

АННОТАЦИЯ

Введение. В статье представлены концептуальные основы построения системы критериального оценивания образовательных результатов, которая рассматривается как подсистема системы независимой оценки образовательных результатов. Анализируются этапы становления и развития компетентностного подхода к оцениванию в школьном и вузовском образовании. Раскрываются основные компоненты системы критериального оценивания, приводится описание способов формулировки критериев и показателей, выделяются ключевые этапы построения критериальной системы оценивания образовательных результатов.

Материалы и методы. В основу исследования положены системный, деятельностный и компетентностный подходы к подготовке бакалавров педагогического образования, что позволило определить и согласовать компоненты системы критериального оценивания с компонентами системы независимой оценки образовательных результатов. Установлено, что ключевыми компонентами такой системы являются целевой компонент, образовательные результаты, индикаторы достижения образовательных результатов, оценочные средства, показатели оценивания и уровни достижения образовательных результатов. Раскрыта специфика представления образовательных результатов на основе переформулирования компетенций в сочетании с трудовыми действиями педагога. Определены принципы целостности и оптимальности для представления индикаторов достижения образовательных результатов, рассматриваемых в качестве критериев оценивания.

Результаты исследования. Определена цель построения системы критериального оценивания образовательных результатов будущих педагогов, и приведено описание понятий «образовательные результаты», «оценочные средства». Раскрыты способы описания образовательных результатов и способы представления показателей оценки. Приведено описание формы представления оценочных средств, в структуру которых включены организационно-методическая, содержательная и критериально-оценочная части. Показано, что в качестве уровней достижения образовательных результатов выступают уровни успешности деятельности обучающегося при выполнении заданий, являющихся оценочными средствами.

1 Статья выполнена в рамках исполнения государственного задания научно-исследовательской работы «Модель независимой оценки образовательных результатов будущих педагогов».

Обсуждение и заключения. В статье обсуждаются связи выстраиваемой системы критериального оценивания с рейтинговой системой оценки качества подготовки обучающихся. Вывод, сформулированный в статье, представлен в виде технологических этапов построения системы критериального оценивания образовательных результатов.

Ключевые слова: критериальное оценивание; образовательные результаты; оценочные средства; индикатор достижения образовательных результатов.

Для цитирования: Перевощикова Е.Н. Критериальный подход к оцениванию как ключевой компонент системы независимой оценки образовательных результатов будущих педагогов // Вестник Мининского университета. 2021. Т. 9, №3. С. 6.

CRITERIAL APPROACH TO ASSESSMENT AS A KEY COMPONENT OF THE SYSTEM FOR INDEPENDENT ASSESSMENT OF THE EDUCATIONAL

RESULTS OF FUTURE TEACHERS1

E. N. Perevoshckikova1

1Minin Nizhny Novgorod State Pedagogical University (Minin University), Nizhny Novgorod, Russian Federation

ABSTRACT

Introduction. The article presents the conceptual foundations of building a system of criteria-based assessment of educational results, which is considered as a subsystem of the system of independent assessment of educational results. The stages of formation and development of a competence-based approach to assessment in school and university education are analyzed. The main components of the criteria-based assessment system are revealed, a description of the methods for formulating criteria and indicators is given, the key stages of building a criteria-based system for assessing educational results are highlighted.

Materials and Methods. The research is based on the systemic, activity-based and competence-based approaches to the training of bachelors of pedagogical education, which made it possible to determine and coordinate the components of the criteria-based assessment system with the components of the system of independent assessment of educational results.

It has been established that the key components of such a system are the target component, educational results, indicators of achievement of educational outcomes, assessment tools, assessment indicators and levels of achievement of educational results.

The specifics of the presentation of educational results based on the reformulation of competencies in combination with the labor actions of the teacher are disclosed.

The principles of integrity and optimality for the presentation of indicators of achievement of educational results, considered as assessment criteria, have been determined.

1 The article was written as part of the execution of the state task of the research work "Model of independent assessment of the educational results of future teachers."

Results. The purpose of building a system of criteria-based assessment of the educational results of future teachers is determined and a description of the concepts of "educational results", "evaluation means" is given.

The ways of describing educational results and ways of presenting assessment indicators are disclosed. The description of the form of presentation of assessment tools, the structure of which includes organizational and methodological, substantive and criterion-assessment parts, is given. It is shown that the levels of success of the student's activity when performing tasks, which are evaluative tools, act as levels of achievement of educational results.

Discussion and Conclusions. The article discusses the relationship between the system of criteria-based assessment and the rating system for assessing the quality of training of students. The conclusion formulated in the article is presented in the form of technological stages of building a system of criteria-based assessment of educational results.

Keywords: criteria-based assessment; educational results; assessment tools; indicator of achievement of educational results.

For citation: Perevoshckikova E.N. Criterial Approach to Assessment as a Key Component of the System for Independent Assessment of the Educational Results of Future Teachers // Vestnik of Minin University. 2021. Vol. 9, no. 3. Р.6.

Введение

Модернизация образования, изменение образовательной парадигмы, внедрение обновленных стандартов высшего образования диктуют необходимость развития существующих систем независимой оценки качества подготовки обучающихся [18, 23, 29, 32]. В последние годы наметилась тенденция к преобразованию систем оценивания как в школьном, так и в вузовском образовании [3, 17, 19]. Вновь актуальным становится критериальный подход в сфере образования. Анализ исследований по проблемам реализации критериального подхода показал, что критериальное оценивание с успехом может быть использовано как в рамках системно-деятельностного подхода [13, 27], так и в рамках компетентностного подхода в обучении [4, 9]. Подчеркивая важную роль критериального подхода к оцениванию в рамках названных подходов, ученые отмечают, что при наличии сложившейся веками научно-теоретической базы оценивания в сфере образования остаются незавершенными исследования, связанные с реализацией критериального подхода в сфере высшего образования. Выделенные противоречия актуализируют тему нашего исследования, цель которого состоит в определении концептуальных основ критериального оценивания в практике подготовки бакалавров педагогического образования.

Материалы и методы

Методологическую основу нашего исследования составляют системный, деятельностный и компетентностный подходы к реализации современного педагогического образования. На основе системного подхода критериальное оценивание рассматривается как подсистема системы независимой оценки образовательных результатов, что позволяет согласовать их составляющие, определить принципы целостности и оптимальности для

представления индикаторов достижения образовательных результатов в качестве критериев оценивания. С позиций деятельностного подхода в качестве объектов оценивания рассматриваются образовательные результаты, которые представляются в виде описания опознаваемых и измеряемых действий обучаемых. Компетентностный подход, положенный в основу исследования, позволил сформулировать цель построения такой системы и определить результаты обучения студентов, выявить специфику переформулирования компетенций для построения образовательных результатов подготовки бакалавров педагогического образования. Использование целесообразного сочетания названных подходов послужило основанием конструирования оценочных средств, в структуре которых предусмотрены организационно-методическая часть, включающая объекты оценивания, содержательная и критериально-оценочная части.

Обзор литературы

Анализ исследований. Поскольку критериальный подход к оцениванию определяется через понятия «критерий», «показатели», «индикаторы достижения» и «уровни оценивания», то раскроем содержание этих понятий и дадим их краткую характеристику. Под критерием понимают признак, на основании которого производится оценка, определение или классификация чего-либо; мерило суждения, оценки. Показатель в процедуре оценивания рассматривается как измеряемая характеристика какой-то одной стороны признака (критерия) изучаемого объекта. Показатель служит для получения количественной или качественной информации о проявлении этой стороны признака [10, 25].

Понятие «индикаторы» как «обобщённые характеристики, уточняющие и раскрывающие структуру компетенции в виде действий, которые может выполнить выпускник, освоивший данную компетенцию», раскрывается в статье [4, с. 38-39]. Соглашаясь в принципе с приведенным описанием понятия индикатора, мы в нашем исследовании используем понятие «индикатор достижения образовательных результатов», под которым понимаем доступную наблюдению и измерению характеристику проявления того или иного состояния сформированности у обучающегося компетенции, рассматриваемой в сочетании с соответствующими трудовыми действиями педагога. Такая трактовка этого понятия позволяет в дальнейшем исследовании рассматривать совокупность индикаторов достижения в качестве критерия оценивания, а конкретный индикатор достижения - как показатель оценивания образовательных результатов.

Учитывая, что критерии и показатели выстраиваются в соответствии с объектами оценивания и уровнями, принятыми в системе независимой оценки качества подготовки бакалавров, выделим основные этапы становления этих понятий.

В качестве объектов оценки и соответствующих критериев их оценки в первой половине ХХ века выступали некоторые характеристики освоения учебного материала: объем знаний, степень понимания усваиваемого учебного материала, прочность получаемых знаний, умение применять полученные знания в учебной работе и в различных практических заданиях, умение правильно излагать знания устно и письменно, количество и характер допускаемых учеником ошибок. Критерии оценки представляли собой некоторую описательную характеристику проявления качества усвоенных знаний. Такие характеристики давались для каждого балла в принятой пятибалльной системе оценивания [12, с. 194]. К числу недостатков существовавшего подхода к оцениванию, в частности при оценке выполненных учеником заданий, можно отнести интуитивный и не

алгоритмизированный характер оценивания, который сохранился и на более поздних этапах в становлении оценочных процедур.

Следующий этап в становлении систем оценивания связан с исследованиями И.Я. Лернера по выявлению качественных характеристик усвоенных знаний. К таким характеристикам относились: полнота и глубина; обобщенность и конкретность; осознанность; логичность и рациональность; системность знаний; прочность и действенность [16]. Названные характеристики позволяли дифференцировать качество подготовки обучающихся по результатам выполнения контрольных заданий, но объектами оценивания оставались знания, умения и навыки.

Определение критериев качества и уровней усвоения знаний как количественной меры внесено в отечественную педагогическую науку и практику В.П. Беспалько в 1968 г. В работах В.П. Беспалько выделены следующие уровни усвоения, сформулированные на основе описания видов учебной деятельности обучающихся:

1) узнавание и воспроизведение информации;

2) выполнение репродуктивной деятельности по усвоенному алгоритму;

3) выполнение продуктивной деятельности;

4) осуществление продуктивной деятельности на основе самостоятельно построенной программы (творческая деятельность).

Названные уровни послужили основанием для перехода к деятельностному подходу при описании технологии оценивания [5, 6]. Эта технология и ее модификация широко используется в настоящее время в педагогической практике оценивания результатов обучения и в исследованиях, посвященных управлению качеством образования [2, 22, 35]

Разработка уровневого подхода позволила упорядочить процедуру оценивания, но при этом многие контрольные мероприятия строились традиционно, что не всегда позволяло объективно оценивать качество подготовки обучающихся. Существенным недостатком процедур оценивания, сохранившимся до начала XXI века, даже при изменении объектов оценивания, в качестве которых стали выступать образовательные результаты, можно назвать отсутствие общепринятого механизма оценивания для установления однозначного соответствия и присвоения некоторого числа (балла) конкретному проявлению оцениваемого объекта.

Уровневый подход к оцениванию, названный таксономией Б. Блума, получивший распространение сначала в зарубежных исследованиях, а потом и в России, был разработан коллективом американских ученых под руководством Б. Блума в 1956 году [7]. Эта таксономия ориентирована на оценку достижений в познавательной области и эмоциональной сфере личности обучаемого с позиций поставленных целей. Ключевым понятием в таксономии Б. Блума является шкала учебных целей. Под шкалой понимают структурированный по уровням ожидаемый результат целеполагания.

Наиболее распространенной в настоящее время является шкала, связанная с этапами усвоения учебного материала и уровнями его усвоения: знание, понимание, применение в знакомой ситуации, применение в новой ситуации. Последний уровень раскрывается в таксономии Б. Блума через анализ, синтез и оценку. Технологическую основу использования этой таксономии составляют описание действий обучающегося с помощью некоторой совокупности глаголов, отражающих ожидаемые результаты. Так, например, для описания целей на уровне понимания в качестве дескрипторов выступают следующие действия: описывает, объясняет, устанавливает признаки. Дескрипторами шкалы целей на

уровне «синтез» выступают следующие действия обучающегося: создает, придумывает дизайн, разрабатывает, составляет план.

Анализ исследований показал, что в качестве основания для шкалирования целей могут использоваться объем освоенного учебного материала; представление результатов; доля выполненных заданий; познавательная сложность. Однако такие шкалы не лишены недостатков. Так, в качестве недостатков шкалы, построенной с позиций учета объема усвоенного материала, выступает ориентация оценивания на память обучающегося, а не на познание в целом. Учет только большого объема освоенного учебного материала или ориентация на оценку доли выполненной работы не всегда может означать как более высокое качество владения материалом, так и способность к выполнению заданий разной степени сложности [8, с. 9].

На современном этапе развития подходов к оцениванию образовательных результатов особого внимания заслуживает разработка персонализированной модели образования [8, 11, 33 ]. В качестве ключевого компонента персонализированного модуля авторы и разработчики этой идеи называют учебные задания, которые должны работать не только на предметное содержание, но и на развитие одной или нескольких универсальных компетентностей (гибких навыков) [34]. Для описания шкалы учебных целей разработчики персонализированной модели образования (далее ПМО) используют методику, разработанную Р. Марзано [30, 31]. На основе этой методики шкалирование целей строится в соответствии с уровнями познавательной сложности учебных задач. Важным для нашего исследования является подход в ПМО к построению проверочных заданий для каждого из выделенных уровней сложности.

Так, первый уровень в ПМО используется лишь для диагностики. Он ориентирован на освоение цели второго уровня при наличии помощи со стороны учителя, с подсказкой. Второй уровень познавательной сложности задания называется базовым, к которому отнесены следующие учебные задачи: узнавание, запоминание и исполнение. Этот уровень сопоставим с первым и вторым уровнями по В.П. Беспалько. На третьем - целевом уровне представлены следующие учебные задачи: интеграция, символизация, сопоставление, классификация, анализ ошибок, обобщение, уточнение. Приведем формулировки целей в виде дескрипторов для некоторых учебных задач этого уровня. Интеграция - резюмирует, перефразирует, описывает ключевые моменты, взаимосвязи между... и т.п. Сопоставление -выделяет характерные черты, находит сходства и различия, разделяет на категории (сортирует), предлагает аналогию. Обобщение - делает выводы, формулирует принцип (правило); обобщает, делает умозаключение. Для учебной задачи «Уточнение» цели могут быть описаны с использованием следующих дескрипторов: предлагает и защищает.; предсказывает, делает прогноз; определяет условия и т.п.

Четвертый, продвинутый уровень, представленный, например, в виде следующих описаний: демонстрирует углубленные знания и умения за пределами изученной темы; применяет знания в новом контексте, проводит исследование, находит объяснение с использованием знаний из других областей и т.п.

Анализ формулировок целей в ПМО показал, что их можно использовать и в процессе оценивания качества подготовки бакалавров, поскольку эти цели и такой подход к описанию выполняемых обучающимся действий позволяют описывать образовательные результаты.

Таким образом, проведенный анализ существующих исследований позволил установить, что к настоящему времени в целостном осмыслении критериального подхода к оцениванию остается ряд нерешенных вопросов, связанных с реализацией этого подхода в

системе высшего образования и с недостаточной разработанностью системы критериального оценивания в образовании.

Результаты исследования и их обсуждение

Для определения концептуальных основ создания системы критериального оценивания образовательных результатов определим ее место в образовательном процессе и дадим трактовку понятий, характеризующих эту систему. Ключевыми понятиями системы критериального оценивания образовательных результатов являются следующие компоненты: цель, объекты оценивания в виде образовательных результатов, индикаторы достижения образовательных результатов как критерии оценивания, оценочные средства, показатели оценки, уровни достижения образовательных результатов. Раскроем содержание названных компонентов и установим их связи с компонентами системы независимой оценки образовательных результатов будущих педагогов.

В процессе построения системы критериального оценивания образовательных результатов обучающихся мы исходим из того, что это должна быть деятельностная система, которая в свою очередь является подсистемой системы независимой оценки образовательных результатов. Это означает, что выстраиваемая система должна быть связана с нормативно-правовыми документами в сфере высшего образования, в частности соответствовать требованиям ФГОС ВО и Профессиональному стандарту педагога, и должна быть направлена на установление соответствия образовательных результатов требованиям ФГОС ВО и Профессиональному стандарту. Следовательно, ключевым компонентом системы критериального оценивания образовательных результатов является целевой компонент. Цель такой системы состоит в установлении соответствия персональных достижений обучающихся квалификационным требованиям, выделенным в ФГОС ВО, поэтапным требованиям профессиональной образовательной программы (далее ОПОП) и Профессионального стандарта педагога, на основе единых оценочных средств.

Переход педагогических вузов с 2019 года на ФГОС ВО, именуемый «три два плюс» (ФГОС ВО - 2018), вновь актуализировал проблему оценки сформированности компетенций. С одной стороны, этот нормативный документ декларируется как адаптивный вариант предыдущего документа. С другой стороны, в нем сформулирован обновленный состав компетенций: универсальных компетенций (УК-1 - УК-6) и общепрофессиональных компетенций (ОПК-1 - ОПК-8).

Исходя из сказанного, следует, что объектами оценивания являются компетенции, сформулированные в ФГОС ВО, а с учетом того, что речь идет о подготовке будущего педагога, то при описании объектов оценивания надо учитывать не только компетенции, но и трудовые действия [2, 28], представленные в Профессиональном стандарте педагога (Профессиональный стандарт педагога - 2020).

Опираясь на исследования, в которых отмечались реальные трудности в оценке компетенций [14, 15], мы в качестве объекта оценивания рассматриваем образовательные результаты. Для этих целей используем прием переформулирования компетенций. Суть этого приема с позиции деятельностного подхода состоит в согласованном описании компетенций и трудовых действий в виде опознаваемых и измеряемых действий обучающегося, в котором содержание компетенций раскрывается с учетом обобщенных трудовых функций педагога, в том числе функций обучения, воспитания и развития, и соответствующих трудовых действий. Такое описание опознаваемых и измеряемых действий

обучающегося позволяет трактовать их в качестве образовательных результатов, под которыми будем понимать показатели деятельности обучающегося, представленные в виде описания его опознаваемых действий. В формулировке этих описаний должно быть отражено то, что готов продемонстрировать обучающийся по окончании процесса обучения или его части [24]. При таком подходе образовательные результаты можно рассматривать как объекты оценивания на уровне основной профессиональной образовательной программы, на уровне модуля и на уровне дисциплины. Таким образом, образовательные результаты как объекты оценивания являются не только компонентами системы независимой оценки образовательных результатов, но и ее подсистемы, в качестве которой выступает система критериального оценивания образовательных результатов.

Внедрение нового ФГОС ВО диктует необходимость разработки индикаторов достижения каждой компетенции и представления этих индикаторов в ОПОП по каждому направлению и профилю подготовки. Поскольку в качестве объектов оценивания мы рассматриваем образовательные результаты, то далее раскроем смысл понятия индикатора достижения образовательных результатов. С позиций системного, деятельностного и компетентностного подходов к оцениванию основными принципами конструирования индикаторов достижения образовательных результатов являются принципы целостности и оптимальности представления тех видов деятельности, которые определяют структуру и содержательную основу компетенции и учитывают трудовые действия педагога.

В этом смысле индикаторы достижения образовательных результатов должны формулироваться в зависимости от различных аспектов проявления этих результатов, и их количество может варьироваться от трех до пяти. Таким образом, совокупность индикаторов достижения каждого конкретного результата служит необходимым и достаточным условием для оценки образовательного результата. Это означает, что индикаторы достижения могут рассматриваться как признаки достижения образовательных результатов, т.е. выступать критериями оценивания. В свою очередь, каждый индикатор проявления конкретного образовательного результата является необходимым условием и может рассматриваться как показатель достижения образовательного результата. При таком подходе естественным образом возникает вопрос о том, как формулируются показатели для количественной оценки каждого индикатора достижений и с помощью какого инструментария может осуществляться такая оценка.

В рамках нашего исследования установлено, что для оценки образовательных результатов следует использовать специально созданные оценочные средства. При этом показатели для количественной оценки каждого индикатора достижений на всех контрольных этапах образовательного процесса (текущая, промежуточная и итоговая аттестация) должны быть предусмотрены в структуре оценочных средств. Под оценочными средствами понимаем специально построенную форму представления контрольного мероприятия (заданий, вопросов), состоящую из трех частей. Первая часть представляет собой организационно-методическое обеспечение, в ней фиксируются объекты оценивания и этапы разработки контрольного задания. Вторая часть содержит само контрольное мероприятие и при необходимости рекомендации по его выполнению. Третья часть включает оценочные компоненты: критерии, показатели, уровни (процедуру) и шкалу оценивания [20]. Совокупность оценочных средств определяет содержание Фонда оценочных средств (далее ФОС), который строится для оценки образовательных результатов по ОПОП, по дисциплине (модулю, практике). Формирование ФОС трактуется в исследовании [1] с позиций

современных технологий в образовании и рассматривается в качестве необходимого условия реализации основной профессиональной образовательной программы.

Следовательно, еще одним ключевым компонентом выстраиваемой системы критериального оценивания образовательных результатов являются оценочные средства, входящие в Фонд оценочных средств, который определяет инструментальную основу оценки в системе независимой оценки образовательных результатов.

С позиций критериального подхода к оцениванию можно выделить несколько способов описания критериев и показателей. Дадим краткую характеристику этих способов.

Первый способ состоит в том, что с учетом выбранной профессиональной задачи определяется образовательный результат, приводятся индикаторы его достижения. Формулируется контрольное задание, решение которого выступает в качестве эталона для оценивания. В этом случае оценивание происходит на основе учета степени приближения ответа обучающегося к этому эталону. В качестве оценочного средства используются типовая задача или практико-ориентированное задание указанного уровня сложности. Наличие в структуре оценочного средства эталона решения контрольного задания предполагает использование следующих показателей: представление хода решения; наличие обоснования всех этапов (действий, шагов) решения; выполнение всех необходимых преобразований; формулировка ответа. Для количественной характеристики степени проявления выделенных показателей выбирается шкала от 4 до 0 с шагом, равным 1. Если в качестве оценочного средства выступает типовая задача первого или второго уровня сложности, то в качестве показателей оценки можно использовать степень правильности и степень полноты решения. Шкала оценки, например, по показателю полноты решения задачи определяется следующим образом: соответствует полностью - 2 балла; соответствует частично - 1 балл; не соответствует - 0 баллов. Аналогично строится шкала оценки по показателю степень правильности решения: решение верное - 2 балла; в решении имеются недочеты - 1 балл; решение неверное - 0 баллов. Как показывает практика, первый способ оценивания характерен для дисциплин, в которых достижение образовательных результатов связано с решением большого количества типовых и учебных задач в дисциплинах предметной подготовки.

Второй способ описания критериев и показателей отличается от первого тем, что он не предполагает представления эталона решения контрольного задания. Его особенность состоит в том, что оценочное средство строится с учетом сферы будущей профессиональной деятельности и типа задач профессиональной деятельности, к решению которых должен быть подготовлен обучающий. В организационно-методической части оценочного средства формулируются образовательные результаты. Эти результаты раскрываются с помощью индикаторов их достижения и соответствующих показателей. Как правило, такие показатели представляются в виде характеристики действий обучаемого в процессе выполнения контрольного задания. В качестве оценочных средств могут выступать доклад, эссе, реферат, конспект источника или урока, тест, контрольное и практико-ориентированное задание. Так же как и в первом случае, оценочные средства включают критериально-оценочную часть, содержащую критерии и показатели достижения образовательного результата, указываются уровни их достижения и процедура оценивания, границы индикатора достижения образовательных результатов.

Третий способ описания критериев и показателей связан с решением нетиповых заданий. Так же как и в предыдущих случаях, задания формулируются на основе учета сферы будущей профессиональной деятельности и соответствующих типов

профессиональных задач, в соответствии с которыми определяются индикаторы достижения компетенций и трудовых действий. В качестве оценочных средств в этом случае могут выступать ситуативные задания, контекстные задачи, кейс-задания, проекты и т.п. Как правило, задания подобного типа соответствуют второму и третьему уровню сложности по классификации В.П. Беспалько, Б. Блума, Р. Марзано, или оптимальному и допустимому уровням успешности выполнения профессионально ориентированной деятельности. В качестве критериев оценки могут выступать не только степень полноты и правильности выполнения заданий, но и степень обоснованности решения, и степень соответствия профессиональному стандарту. Названные критерии раскрываются в виде показателей оценки, как правило, с помощью трехбалльной шкалы. Например, для оценки выполнения кейс-задания, выступающего в качестве средства оценивания, степень обоснованности решения может быть представлена с помощью следующих характеристик: приведено полное и корректное обоснование; приведено корректное обоснование не всех аспектов, представленных в задании; обоснование недостаточно аргументировано; приведено некорректное обоснование или обоснование отсутствует.

Для оценки проектов можно использовать пятибалльную шкалу и с учетом, например, шести групп выделенных показателей оценивания определить границы оценки от 0 до 30 баллов. Такой подход целесообразен на этапе промежуточной аттестации по дисциплине. В этом случае итоговая оценка определяется суммированием баллов по каждой группе выделенных показателей [20].

Как было отмечено выше, еще одним компонентом системы критериального оценивания является уровень достижения образовательных результатов. Опора на деятельностный и компетентностный подходы к образованию позволяет трактовать этот компонент с позиций успешности деятельности обучаемого при выполнении задания, являющегося оценочным средством. Такой подход становится возможным, исходя из следующих соображений.

Универсальные и общепрофессиональные компетенции сформулированы в ФГОС ВО через понятие «способность» и имеют вид: «Выпускник способен к выполнению

деятельности......». Для характеристики этого понятия обратимся к его трактовке в

классическом определении способностей, которое сформулировано Б.М. Тепловым. Центральным признаком способностей, по мнению Б.М. Теплова, является успешность выполнения деятельности [26]. Такой взгляд на способности обучающегося позволяет высказать предположение, что оценить достижение обучающимся образовательных результатов означает оценить успешность тех видов деятельности, которые описаны в требованиях ФГОС ВО и Профессионального стандарта педагога. Поскольку выше было показано, что компетенции в сочетании с трудовыми действиями можно рассматривать как образовательные результаты, то в качестве уровней их достижения могут выступать уровни успешности деятельности, выполненной обучающимися. В рамках нашего исследования использованы следующие уровни достижения образовательных результатов: оптимальный, допустимый, критический и недопустимый.

Представленная система критериального оценивания образовательных результатов разрабатывалась как подсистема системы независимой оценки качества подготовки обучающихся и выпускников бакалавриата, действующая в Нижегородском государственном педагогическом университете им. К. Минина. Она согласована с рейтинговой системой оценки качества подготовки обучающихся, что позволило установить следующие границы баллов для названных уровней успешности. Оптимальному уровню успешности выполнения

задания, являющегося оценочным средством, соответствуют не менее 86 баллов по стобалльной шкале. Допустимый уровень определяется с 71 балла, набранного обучаемым, а критический уровень соответствует не менее 55 баллам, полученным при выполнении заданий [21].

Заключение

Подводя итоги, отметим, что суть критериального подхода к оцениванию состоит в сопоставлении результатов деятельности обучающихся в процессе выполнения заданий, являющихся оценочными средствами, с заранее заданными критериями и показателями оценивания. Критериальное оценивание осуществляется на этапах текущей и промежуточной аттестации обучающихся по учебной дисциплине. Завершается этап оценивания установлением уровня достижения обучающимся образовательных результатов на основе определения степени успешности его деятельности при выполнении всех контрольных мероприятий, предусмотренных в рейтинг-плане изучения дисциплины.

Таким образом, анализ исследований, связанных с критериальным подходом к оцениванию, и накопленный нами опыт реализации такого подхода к оцениванию в рамках учебной дисциплины и итоговой государственной аттестации выпускников бакалавриата педагогического образования показал, что в технологии построения системы критериального оценивания образовательных результатов можно выделить следующие ключевые этапы:

1. Описание образовательных результатов обучения для этапов текущей и промежуточной аттестации обучаемых по учебной дисциплине.

2. Согласование планируемых результатов, представленных в рабочей программе по дисциплине с образовательными результатами в ОПОП, с требованиями ФГОС ВО и Профессионального стандарта.

3. Разработка оценочных средств в виде рейтинговых заданий, адекватных образовательным результатам для всех этапов аттестации обучаемых, и создание фонда оценочных средств.

4. Описание критериев и показателей оценивания, в качестве которых выступают индикаторы достижений образовательных результатов.

5. Представление показателей оценивания в виде описания действий обучающегося при выполнении рейтинговых заданий по дисциплине, входящих в банк оценочных средств.

6. Определение шкалы оценки для каждого показателя в соответствии с уровнями достижения образовательных результатов, в качестве которых выступают уровни успешности деятельности, выполненной обучающимся.

Список использованных источников

йзенштат Г.В., Стеблева Н.Н. Формирование фондов оценочных средств как необходимое условие реализации основной профессиональной образовательной программы // ИНФОРМИО. Современные образовательные технологии в образовании и культуре. URL: http://www.informio.ru/publications/id214 (дата обращения: 20.01.2021). ксенова Н.М. Международный опыт разработки национальных систем квалификаций // Образование и наука. 2014. №5. С.23-36.

езукладников К.Э., Краснобокова А.А., Крузе Б.А. Критериальное оценивание результатов образования: монография. 2-е изд. Пермь: Пермский государственный педагогический университет, 2012. 127 с.

ершадская М.Д., Серова А.В., Чепуренко А.Ю., Зима Е.А. Компетентностный подход к оценке образовательных результатов: опыт российского социологического образования // Высшее образование в России. 2019. Т. 28, №2. С. 38-50.

еспалько В.П. Опыт разработки и использования критериев качества усвоения знаний // Советская педагогика. 1968. №4. С. 52-69.

еспалько В.П. Слагаемые педагогической технологии. М.: Педагогика, 1989. 192 с. лум Б. Таксономия педагогических целей. М.: «Новая школа», 1997. 62 с. рмаков Д.С., Кириллов П.Н., и др. Шкалирование учебных целей в персонализированной модели образования / под ред. Е.И. Казаковой. М.: АНО «Платформа новой школы», 2019. 48 с.

фремова Н.Ф. Формирование и оценивание компетенций в образовании: монография. Ростов н/Д.: Аркол, 2010. 386 с.

агвязинский В.И., Закирова А.Ф., Строкова Т.А. и др. Педагогический словарь: учебное пособие для студентов высших учебных заведений. М.: Издательский центр «Академия», 2008. 352 с.

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

азакова Е.И., Тарханова И.Ю. Оценка универсальных компетенций студентов при освоении образовательных программ // Ярославский педагогический вестник. 2018. №5. С. 127-135.

аиров И.А. Педагогика: учебное пособие для педагогических вузов. М.: Учпедгиз, 1948. 464 с.

аражигитова Т.А., Айтпукешев А.Т. Критериальное оценивание в системно-деятельностном подходе в образовании // Психология и педагогика: методика и проблемы практического применения. 2015. №45. С. 64-69.

аспржак А.Г., Калашников С.П. Приоритет образовательных результатов как инструмент модернизации программ подготовки учителей // Психологическая наука и образование. 2014. Т. 19, №3. C. 87-104.

узьминский А.Е. Отношение преподавателей к компетентностному подходу // Педагогика и психология образования. 2019. №1. С. 208-217.

ернер И.Я. Качества знаний учащихся. Какими они должны быть? М.: Знание, 1978. 47 с. (Сер. «Педагогика и психология»).

ипатникова И.Г. Оценивание как диагностическая процедура формирования конечных результатов обучения по математике // Педагогическое образование в России. 2016. №7. С. 172-177.

акарова О.Н. Независимая оценка как средство формирования профессиональных компетенций будущих учителей // Материалы "УШ межрегиональной научно-практической конференции имени И. К. Шалаева / сост. И.И. Дранникова. Барнаул: КГБУ ДПО АКИПКРО, 2017. С. 199-200.

ялкина Е.В. Диагностика качества образования в вузе // Вестник Мининского университета. 2019. Т. 7, №3. С. 4.

еревощикова Е.Н., Стафеева А.В., Кудряевцев В.А. и др. Модернизация образовательного процесса: технология конструирования оценочных средств для оценки образовательных результатов: учебно-методическое пособие. Н. Новгород: Мининский университет, 2016. 70 с.

еревощикова Е.Н. Рейтинг-план как механизм оценивания степени сформированности компетенций // Вестник Мининского университета. 2018. Т. 6, №2. C. 9.

оташник М.М. Управление качеством образования. М.: Педагогическое общество России, 2000. 448 с.

аев К.В., Якимчук О.Н., Тимошина Е.Н. Первые шаги по реализации модели независимой оценки качества образования // Вестник Чувашского государственный педагогический университет им. И.Я. Яковлева. 2018. №2(98). С. 263-274. ебрин О.И. Использование результатов обучения при проектировании образовательных программ. Екатеринбург, 2014. 28 с.

околова Е.В. Критериальное внутреннее оценивание учебных достижений учащихся 7-9 классов в обучении геометрии: дис. ... канд. пед. наук. М., 2017. С. 37-47. еплов Б.М. Избранные труды: в 2-х томах. Том 1. М.: Изд-во Педагогика, 1985. 652 с. имошенко А.Ю. Критериальное оценивание как средство формирования самоконтроля и самооценки обучающихся // Материалы VШ межрегиональной научно-практической конференции имени И.К. Шалаева / сост. И.И. Дранникова. Барнаул: КГБУ ДПО АКИПКРО, 2017. С. 84-89.

скова С.А. Подходы к реализации профессионального стандарта педагога: трудовые действия и системные смыслы // Психолого-педагогические исследования. 2020. Т. 12, №1. С. 3-15.

29. Akopova M., Chernyavskaya V. Evaluation of Academic Science: Analizing Experience of St. Petersburg State Politechnical University. Perspectives and Challenges // Zeitschrift fur Evaluation. 2014. No. 2. Pp. 348-357.

30. Marzano R. J. Classroom assessment and grading that work. Alexandria, Virginia: Association for supervision and curriculum development, 2006.189 p.

31. Marzano R., Kendall J. The new taxonomy of educational objectives. XIV. Thousand Oaks, CA: Corwin Press, 2007. 193 p.

32. World Conference on Higher Education: the New Dynamics of Higher Education and Research for Societal Change and Development: communiqué. Paris, 2009. Available at: https://unesdoc.unesco.org/ark:/48223/pf0000183277 (accessed: 20.06.2021).

33. Gruzdev M., Kasakova E., Kuznetsova I., Tarkhanova I. University graduates' soft skills: the employers' opinion // European journal of contemporary education. 2018. Vol. 7(4). Pp. 690698.

34. The Future of Education and Skills: Education 2030. Available at: https://www.oecd.org/education/2030/E2030 Position Paper (05.04.2018).pdf(accessed: 21.06.2021).

35. Faganel A., Dolinsek S. Quality Management Systems in Higher Education. Available at: https://www.fm-kp.si/zalozba/ISBN/961-6486-71-3/245-252.pdf (accessed: 21.06.2021).

References

1. Ajzenshtat G.V., Stebleva N.N. Formation of funds of appraisal means as a necessary condition for the implementation of the main professional educational program. INFORMIO. Sovremennye obrazovatel'nye tekhnologii v obrazovanii i kul'ture. Available at: http://www.informio.ru/publications/id214 (accessed: 20.01.2021). (In Russ.)

2. Aksenova N.M. International experience in the development of national qualifications systems. Obrazovanie i nauka, 2014, no. 5, pp. 23-36. (In Russ.)

3. Bezukladnikov K.E., Krasnobokova A.A., Kruze B.A. Criteria assessment of educational results: monograph. 2nd ed. Perm, Permskij gosudarstvennyj pedagogicheskij universitet Publ., 2012. 127 p. (In Russ.)

4. Bershadskaya M.D., Serova A.V., CHepurenko A.YU., Zima E.A. Competence-based approach to assessing educational results: the experience of Russian sociological education. Vysshee obrazovanie vRossii, 2019, vol. 28, no. 2, pp. 38-50. (In Russ.)

5. Bespal'ko V.P. Experience in the development and use of criteria for the quality of knowledge assimilation. Sovetskaya pedagogika, 1968, no. 4, pp. 52-69. (In Russ.)

6. Bespal'ko V.P. Components of pedagogical technology. Moscow, Pedagogika Publ., 1989.192 p. (In Russ.)

7. Blum B. Taxonomy of pedagogical goals. Moscow, Novaya shkola Publ., 1997. 62 p. (In Russ.)

8. Ermakov D.S., Kirillov P.N., i dr. Scaling of educational goals in a personalized model of education / ed. E.I. Kazakova. Moscow, ANO «Platforma novoj shkoly» Publ., 2019. 48 p. (In Russ.)

9. Efremova N.F. Formation and assessment of competencies in education: monograph. Rostov-on-Don, Arkol Publ., 2010. 386 p. (In Russ.)

10. Zagvyazinskij V.I., Zakirova A.F., Strokova T.A. i dr. Pedagogical dictionary: a textbook for students of higher educational institutions. Moscow, Publishing Center "Academy", 2008. 352 p. (In Russ.)

11. Kazakova E.I., Tarhanova I.YU. Assessment of universal competencies of students in the development of educational programs. YAroslavskij pedagogicheskij vestnik, 2018, no. 5, pp. 127-135. (In Russ.)

12. Kairov I.A. Pedagogy: a textbook for pedagogical universities. Moscow, Uchpedgiz Publ., 1948. 464 p. (In Russ.)

13. Karazhigitova T.A., Ajtpukeshev A.T. Criteria assessment in the system-activity approach in education. Psihologiya i pedagogika: metodika i problemy prakticheskogo primeneniya, 2015, no. 45, pp. 64-69. (In Russ.)

14. Kasprzhak A.G., Kalashnikov S.P. Priority of educational results as a tool for modernizing teacher training programs. Psihologicheskaya nauka i obrazovanie, 2014, vol. 19, no. 3, pp. 87104. (In Russ.)

15. Kuz'minskij A.E. The attitude of teachers to the competence-based approach. Pedagogika i psihologiya obrazovaniya, 2019, no. 1, pp. 208-217. (In Russ.)

16. Lerner I.YA. The quality of students' knowledge. What should they be? Moscow, Znanie Publ., 1978. 47 p. (Ser. "Pedagogy and Psychology"). (In Russ.)

17. Lipatnikova I.G. Assessment as a diagnostic procedure for the formation of the final results of teaching in mathematics. Pedagogicheskoe obrazovanie v Rossii, 2016, no. 7, pp. 172-177. (In Russ.)

18. Makarova O.N. Independent assessment as a means of forming professional competencies of future teachers. Materialy VSH mezhregional'noj nauchno-prakticheskoj konferencii imeni I. K. SHalaeva / sost. I.I. Drannikova. Barnaul, KGBU DPO AKIPKRO Publ., 2017. Pp. 199-200. (In Russ.)

19. Myalkina E.V. Diagnostics of the quality of education in the university. Vestnik Mininskogo universiteta, 2019, vol. 7, no.3, p. 4. (In Russ.)

20. Perevoshchikova E.N., Stafeeva A.V., Kudryaevcev V.A. i dr. Modernization of the educational process: the technology of constructing evaluative tools for assessing educational results: teaching aid. Nizhny Novgorod, Mininskij universitet Publ., 2016. 70 p. (In Russ.)

21. Perevoshchikova E.N. Rating plan as a mechanism for assessing the degree of competence formation. Vestnik Mininskogo universiteta, 2018, vol. 6, no. 2, p. 9. (In Russ.)

22. Potashnik M.M. Quality management of education. Moscow, Pedagogicheskoe obshchestvo Rossii Publ., 2CCC. 44B p. (In Russ.)

23. Raev K.V., YAkimchuk O.N., Timoshina E.N. The first steps to implement the model of an independent assessment of the quality of education. Vestnik CHuvashskogo gosudarstvennyj pedagogicheskij universitet im. I.YA. YAkovleva, 2C1B, no. 2(98), pp. 263-274. (In Russ.)

24. Rebrin O.I. The use of learning outcomes in the design of educational programs. Yekaterinburg, 2C14. 28 p. (In Russ.)

25. Sokolova E.V. Criteria internal assessment of educational achievements of 7-9 grades in teaching geometry: dissertation of the candidate of pedagogical sciences. Moscow, 2C17. Pp. 37-47. (In Russ.)

26. Teplov B.M. Selected works: in 2 volumes. Volume 1. Moscow, Pedagogika Publ., 1985. 652 p. (In Russ.)

27. Timoshenko A.YU. Criteria assessment as a means of forming self-control and self-assessment of students. Materialy VSH mezhregional'noj nauchno-prakticheskoj konferencii imeni I.K. SHalaeva / sost. I.I. Drannikova. Barnaul, KGBU DPO AKIPKRO Publ., 2C17. Pp. 84-89. (In Russ.)

28. Uskova S.A. Approaches to the implementation of the professional standard of a teacher: labor actions and systemic meanings. Psihologo-pedagogicheskie issledovaniya, 2C2C, vol. 12, no. 1, pp. 3-15. (In Russ.)

29. Akopova M., Chernyavskaya V. Evaluation of Academic Science: Analizing Experience of St. Petersburg State Politechnical University. Perspectives and Challenges. Zeitschrift fur Evaluation, 2C14, no. 2, pp. 348-357.

3C. Marzano R. J. Classroom assessment and grading that work. Alexandria, Virginia: Association for supervision and curriculum development, 2CC6.189 p.

31. Marzano R., Kendall J. The new taxonomy of educational objectives. XIV. Thousand Oaks, CA, Corwin Press, 2CC7. 193 p.

32. World Conference on Higher Education: the New Dynamics of Higher Education and Research for Societal Change and Development: communiqué. Paris, 2CC9. Available at: https://unesdoc.unesco.org/ark:/48223/pfCCCCl83277 (accessed: 2C.C6.2C21).

33. Gruzdev M., Kasakova E., Kuznetsova I., Tarkhanova I. University graduates' soft skills: the employers' opinion. European journal of contemporary education, 2018, vol. 7(4), pp. 690-698.

34. The Future of Education and Skills: Education 2C3C. Available at: https://www.oecd.org/education/2C3C/E2C3CPositionPaper(C5.C4.2Cl8).pdf (accessed: 21.C6.2C21).

35. Faganel A., Dolinsek S. Quality Management Systems in Higher Education. Available at: https://www.fm-kp.si/zalozba/ISBN/96l-6486-7l-3/245-252.pdf (accessed: 21.C6.2C21).

© Перевощикова Е.Н., 2021

Информация об авторах Перевощикова Елена Николаевна - доктор педагогических наук, профессор, кафедра математики и математического образования, Нижегородский государственный педагогический университет имени Козьмы Минина (Мининский университет), Нижний Новгород, Российская Федерация, ORCID: https://orcid.org/CCCC-CCC2-27ll-9744, e-mail: perevoshikovaen@mail.ru.

Information about the authors Perevoshikova Elena N. - DPhil (Pedagogics), Professor, Department of Mathematics and Mathematical Education, Minin Nizhny Novgorod State Pedagogical University (Minin University), Nizhny Novgorod, Russian Federation, ORCID: https://orcid.org/0000-0002-2711-9744, e-mail: perevoshikovaen@mail.ru.

Поступила в редакцию: 22.05.2021 Принята к публикации: 28.07.2021 Опубликована: 06.09.2021

i Надоели баннеры? Вы всегда можете отключить рекламу.