CC BY
217
фгратота
ISSN 2686-8725 (online) ISSN 2500-0039 (print)
RU
Критериальное оценивание образовательных достижений студентов вуза
Землянская Е. Н.1, д. пед. н., проф. 1 Московский педагогический государственный университет
Аннотация. Цель исследования - раскрыть психолого-педагогические основы формативного критериального оценивания в высшей школе. В статье на основе анализа модернизационных изменений в высшей школе раскрываются предпосылки введения новой формы оценивания образовательных результатов - критериального оценивания. Выявлен психолого-педагогический смысл критериального оценивания как студентоцентрированной технологии. Определены трудности, возникшие при внедрении критериального оценивания в высшей школе. Представлены ход и результаты экспериментальной работы по внедрению формативного критериального оценивания. Приводится методика критериального оценивания. Научная новизна исследования заключается в том, что структурированы и описаны многоинструментальные характеристики формативного критериального оценивания (назначение, участники, результаты, содержание и требования). В результате обоснована необходимость специальной многоступенчатой коллективной разноформатной процедуры оценивания. Ключевые слова и фразы: оценивание; критериальное оценивание; суммативное оценивание; формативное оценивание; педагогическое образование; модернизация высшего образования; компетентностно-деятельностный подход.
EN
Criteria-Based Assessment
of Higher School Students' Educational Achievements
Zemlyanskaya E. N.1, Dr
1 Moscow Pedagogical State University
Abstract. The article aims to reveal psychological and pedagogical foundations of formative criteria-based assessment in higher education. Relying on the analysis of modernization trends at higher school, the paper reveals prerequisites for introducing a new procedure for assessing educational results - criteria-based assessment. Psychological and pedagogical meaning of criteria-based assessment as a student-centred technology is identified. The difficulties arising in the process of introducing criteria-based assessment in higher education are described. Results of an experiment on introducing formative criteria-based assessment are presented. Methodology of criteria-based assessment is proposed. Scientific originality of the study involves classification and description of integrated characteristics of formative criteria-based assessment (purpose, participants, results, content and requirements). The conclusion is made about the necessity to introduce a special multi-stage, multi-format collective assessment procedure.
Key words and phrases: assessment; criteria-based assessment; summative assessment; formative assessment; pedagogical education; modernization of higher education; competence-based and activity-based approach.
Введение
Магистральная цель происходящих изменений в образовательных программах подготовки педагогов -их переориентация на новые образовательные результаты, выраженные в компетенциях, определяемых профессиональными стандартами [14]. Проблема оценочной деятельности - одна из актуальнейших проблем как в педагогической теории, так и в педагогической практике. Существующая сегодня система оценивания формировалась в рамках знаниевой парадигмы образования и поэтому отражает результат усвоения знаний. В условиях компетентностно-деятельностной парадигмы обучения в высшем профессиональном образовании сформировался новый взгляд на содержание и результат образования, а значит, изменились значение, место, содержание оценочной и контрольной деятельности всех участников образовательного процесса. В свою очередь, это повлекло модификацию технологий, приемов и организационных процедур оценивания.
Е-mail: 1 enz_888@maiL.ru
Научная статья (original article). Дата поступления рукописи (received): 06.03.2020; опубликовано онлайн (published online): 21.04.2020 УДК 378.146 | https://doi.org/10.30853/pedagogy.2020.2.2
Педагогика. Вопросы теории и практики Pedagogy. Theory & Practice
2020. Том 5. Выпуск 2. С. 142-147 / 2020. Volume 5. Issue 2. P. 142-147
Материалы журнала доступны на сайте / Articles and issues available at: pedagogy-journal.ru
© 2020 Авторы. ООО Издательство «Грамота» (© 2020 The Authors. GRAMOTA Publishers). Статья открытого доступа. Распространяется в соответствии с лицензией CC BY 4.0 (open access article under the CC BY 4.0 License): https://creativecommons.org/licenses/by/4.0/
Критериальное оценивание в профессиональном образовании мы понимаем как процесс, основанный на сравнении образовательных достижений обучающихся с чётко определёнными, коллективно выработанными, заранее известными всем участникам образовательного процесса критериями, соответствующими целям и содержанию профессионального образования.
Теоретическая база статьи. Проблемам оценивания в современном образовании сегодня уделяется огромное внимание, однако эти исследования по большей части относятся к общему образованию. Так, принято различать оценивание по его роли - формативное (внутренняя оценка) и суммативное (итоговая оценка) [8; 15]. Научные основы критериального оценивания как школьной технологии подробно исследованы в диссертации А. А. Красноборовой [12]. В многочисленных публикациях учителей-практиков представлен их опыт по использованию критериев в текущем оценивании на уроках и в рубежном оценивании. Особого внимания заслуживают работы наших коллег из Республики Казахстан [16], Республики Молдовы и других стран, где необходимость критериального оценивания закреплена законодательно и широко обсуждается в методической литературе, на форумах и конференциях. Многоуровневая система критериев с выделением дескрипторов - составная часть методической документации школ, работающих на основе куррикулумов [13].
Что касается системы высшего образования, то важно отметить, что требование о разработке фондов оценочных средств и критериальной базы аттестаций различного рода (с выделением показателей, уровней и шкал) содержится в документах министерств, а также прописано практически во всех соответствующих положениях вузов. Выполнен ряд научно-методических исследований и предлагаются рекомендации по разработке критериальной основы суммативного оценивания (итоговой аттестации выпускников вузов) [2; 4; 19].
Сущность, содержание и методика формативного оценивания в высшем и профессиональном образовании продолжают оставаться недостаточно изученными, эти вопросы все еще находятся в стадии постановки проблем исследования. Так, в ряде работ доказывается, что в нынешних условиях в вузе требуется переход: от оценивания для контроля к оцениванию для развития, от оценочных процедур контролирующей направленности к таким, которые формируют мотивацию обучающихся и развитие у них потребности и навыков профессионального саморазвития [17; 18]. Известны немногочисленные работы, в которых авторами предлагаются современные технологии формирующего оценивания образовательных достижений студентов [3; 10] -кейс-метод, рейтинговое оценивание, портфолио и др. Однако научно обоснованных рекомендаций и методических разработок по проблемам критериального оценивания в вузовском образовании крайне мало. Отметим в этой связи работы Е. Н. Землянской [6], К. Э. Безукладникова [1].
Таким образом, можно выделить противоречия:
- между потребностью общества, работодателей и обучающихся в новой объективной системе оценивания образовательных достижений в профессиональной подготовке, с одной стороны, и сложившейся традиционной практикой оценивания в высшей школе, недостаточной разработанностью критериальных систем оценивания в логике компетентностного подхода - с другой;
- между усилением студентоцентрированности высшего образования, с одной стороны, и отсутствием научно обоснованных деятельностных технологий критериального оценивания учебных достижений студентов - с другой.
Согласно поставленной цели были обозначены следующие задачи исследования:
1) выявить предпосылки введения новых форм оценивания образовательных результатов;
2) раскрыть структуру, сущность, содержание и условия критериального оценивания в вузе;
3) определить болевые точки внедрения критериального оценивания;
4) апробировать и описать методику критериальных оценочных процедур.
Исследовательские методы - конструктивно-генетический метод выявления специфики и закономерностей критериальных оценочных средств; анализ методических материалов; опрос участников образовательного процесса вуза; анализ нарративов и продуктов деятельности обучающихся; педагогический эксперимент.
Практическая значимость. Приводятся оценочные средства критериального оценивания и описывается методика их использования в образовательном процессе вуза.
Основная часть
1. Методологической основой для проектирования и разработки модернизационных продуктов в высшей школе является компетентностно-деятельностный подход [6; 11]. Компетентностный характер образовательной программы означает ориентацию на результат, который должен быть детально описан на этапе проектирования программы. То есть представление о результате образования в операционном выражении и средствах его оценивания становится запускным механизмом всего образовательного процесса вуза.
Важность деятельностного подхода обусловлена тем, что деятельность студента как раз и является тем механизмом, который позволяет преобразовывать совокупность внешних влияний в новообразования, в развивающиеся изменения личности. Деятельностная организация образования предполагает субъектное участие студента в реализации образовательной программы, обращение внимания на процесс образования, студенто-центрированный характер обучения.
Компетентностно-деятельностная основа образования актуализирует двуединый подход и к оцениванию образовательных результатов. Сегодня принято различать суммативное и формативное оценивания.
Формативное («формирующее оценивание», «внутренняя оценка» - в отечественной педагогической традиции) оценивание (Formative Assessment) еще называют «оценкой для обучения» (Assessment for Learning). Формативное оценивание понимается как процесс поиска учащимися и их учителями фактических данных о достижениях в процессе учения для их последующей интерпретации для того, чтобы определить, что уже достигнуто учениками в процессе учения, направления их дальнейшей учебной работы, оптимальные способы достичь планируемых образовательных целей. Формативное оценивание - новый педагогический инструмент, полностью соответствующий современным образовательным ценностям, задачам и идеологии деятельностно-го подхода, основан на адресной поддержке обучения, актуализирующей учебную самостоятельность каждого обучающегося, помогает ему самому находить наилучшие стратегии и способы своей учебной деятельности.
Инструментарий формативной оценки для обучения первоначально был задуман как инструментарий формирования в противовес итоговой, или суммативной, оценке. Суммативная оценка (в отечественной психолого-педагогической литературе используем термин «внешняя» или «итоговая» оценка) направлена на установление уровня освоения компетенции или планируемого результата [8; 9].
Теоретические исследования и опыт ряда стран в применении формирующего оценивания показали, что оно оказалось одним из самых эффективных способов повысить образовательные достижения каждого ученика, а также сократить дистанцию между наиболее успевающими учащимися и учащимися, имеющими серьезные трудности в обучении [8].
И суммативное, и формативное оценивания сегодня, как правило, организуются на критериальной основе, поскольку предметом оценивания является сложная многомерно структурированная система образовательных результатов. При этом критериальное оценивание используется по-разному на различных этапах образовательного процесса высшей школы: стартовое - текущее - рубежное, промежуточное - итоговое.
2. Основной смысл критериального оценивания - не только оценить результат учебно-профессиональной деятельности обучающихся, но и задать направление этой деятельности. Средством является система критериев и показателей - разносторонних количественных и качественных характеристик планируемого продукта (результата) работы.
Требования к организации критериального оценивания:
- до начала выполнения задания студенты должны быть ознакомлены с системой критериев и конкретизирующих их показателей, а также (если это предусматривается заданием) с балльной шкалой;
- студенты должны самостоятельно разработать систему критериев, исходя из желаемого уровня профессионального требования;
- обсуждение содержания критериев и обоснование необходимости каждого из критериев должны предшествовать работе студентов над заданием;
- критерии и показатели должны быть зафиксированы и доступны всем обучающимся постоянно. Для этого можно, например, использовать электронные обучающие среды или доску объявлений;
- при выполнении объемного задания должно быть предусмотрено промежуточное сопоставление деятельности студентов с системой критериев для совершенствования их учебно-познавательной деятельности или ее своевременной коррекции;
- набор критериев должен анализироваться/создаваться исходя из задач работы, задания, личностных особенностей обучающихся (он является уникальным для каждого вида оцениваемых работ);
- критерии должны быть конкретны, однозначны и понятны всем студентам, посильны для достижения [7].
3. Опрос 30 преподавателей и более 150 студентов бакалавриата и магистратуры Московского педагогического государственного университета, проведенный в 2019 г. на основе анкетирования, а также анализ фондов оценочных средств (ФОС) текущей аттестации позволили выявить болевые точки внедрения критериальной системы оценивания в высшей школе.
Практически все фонды оценочных средств текущей аттестации различных дисциплин и практик разработаны на критериальной основе. Однако обнаружился формальный подход педагогов к разработке, использованию необходимых материалов для критериального оценивания и проведения анализа результатов. 15% преподавателей не используют критерии для оценивания. Как правило, преподаватель обращается к перечню критериев в том случае, если возникает спорная ситуация со студентом по поводу баллов.
Те преподаватели, которые используют критериальное оценивание, лишь иногда привлекают студентов к разработке системы критериев. Многие преподаватели недопонимают систему критериального оценивания, не знают, что студент может принимать участие в производстве оценки, в выработке ее критериев, в применении этих критериев к оцениванию работ других студентов.
Анкетирование студентов показало, что они в подавляющем числе случаев не знакомы с системой критериев заданий, затрудняются вспомнить и назвать критерии, по которым была оценена их работа. Однако многие хотели бы, чтобы их задания оценивались на основе критериев - «тогда я буду понимать, что у меня не так», и считают, что магистрантов с разным базовым образованием надо оценивать по различным критериям. 35% студентов старших курсов и магистратуры хотели бы, чтобы их мнения учитывались при разработке критериев. Студенты младших курсов бакалавриата, наоборот, полагают, что преподаватель «лучше знает, что именно должен знать студент». Студенты-педагоги также считают, что освоение системы работы с критериями на собственном опыте затем поможет им в профессии в школе.
4. Рассмотрим методику критериальных оценочных процедур на примере формирующей процедуры критериального оценивания: лабораторный практикум и аналитические работы.
Защита выполненных студентами аналитических и лабораторных работ является оценочной процедурой. Пример критериев оценивания работы «Аналитический продукт в виде презентации сравнительных таблиц» приведен в Таблице 1.
Таблица 1
Критерии Баллы
Качество и полнота включенной информации 1 балл
Грамотное выделение и отражение важнейших позиций 1 балл
Логичность структуры 1 балл
Терминологическая четкость, научность 1 балл
Подкрепление необходимыми комментариями, примерами и поясняющими цитатами, ссылками или выдержками из документов 1 балл
Использование флипчарта в виде сравнительных таблиц 2 балла
Наличие рефлексивных выводов 1 балл
Обоснованность выводов 2 балла
Максимальный балл 10 баллов
Традиционная процедура проверки организуется следующим образом: работы студентов прочитываются преподавателем, который единолично оценивает их. Далее на семинаре преподаватель делает «обзор» работ, отмечая лучшие и худшие, сообщая о типичных ошибках, некоторые из них «дорабатываются» студентами, затем предъявляются преподавателю для оценки. При такой организации процедуры оценки, действительно, смысл выделения критериев практически теряется, поскольку они «не работают» на профессиональное развитие, а могут служить лишь средством разрешения конфликтов относительно выставленных баллов.
Опишем процедуру формативного оценивания. Исходным методологическим основанием ее организации является гипотеза культурно-исторической теории Л. С. Выготского о том, что по большому счету любое учение есть переход или перевод того, что накоплено в деятельности и общении людей, в сознание обучающегося. Ученый писал: «...задача анализа - показать, как из форм коллективной жизни возникает индивидуальная реакция» [5, с. 145]. Другими словами, формирующее оценивание работ студентов 1-2 курсов, находящихся в начале профессионального образования, реализуется через взаимодействие студентов в процессе коллективных обсуждений выполненных работ.
Студенческая группа разбивается на мини-группы из четырех или пяти человек, и их работа организуется в несколько этапов. На первом этапе студенты мини-групп «по вертушке» обмениваются своими работами и оценивают их на основе критериев. Оценка скрепляется подписью проверяющего. Проверяющие (эксперты) также формулируют развернутое, обоснованное и аргументированное оценочное суждение о работе. Помимо фиксации достоинств и недостатков работы эксперты составляют комментарий: советы, рекомендации относительно того, как исполнители могут улучшить представленную работу [7].
Следующий шаг предполагает, что работа возвращается исполнителям, которые должны спокойно принять или аргументировано отклонить критические замечания экспертов, а также детализировать предложенные ими рекомендации.
Далее участникам мини-группы предлагается выбрать «лучшие» работы - то есть такие, которые в наибольшей степени удовлетворяют системе критериев. Как правило, в лабораторную работу включается несколько заданий - в этом случае «лучшая» работа выбирается по каждому заданию. Далее происходит публичное выступление представителей каждой группы, в котором спикер сообщает о «лучших» работах, при необходимости -демонстрирует их, а также обобщает выявленные промахи и предлагает способы их устранения.
Преподаватель оценивает работы студентов уже после устранения ими замечаний экспертов. Оценка преподавателя сопоставляется с оценкой эксперта, на основании чего также может быть сделан вывод о компетентности эксперта.
Центральным элементом процедуры является набор критериев. Он служит базой для организации многошаговой дискуссии в студенческой группе. Однако психологическая значимость критериев значительно шире. Критерии работы здесь - те самые опосредующие элементы, знаки (центральное понятие в теории Л. С. Выготского), которые являются образом опосредования действия через окружающих людей. В самом деле, элементы профессиональной компетенции у студента в данной процедуре сначала формируются как действия, которые окружающие применили к нему, оценивая или анализируя его работу. Потом студент применил аналогичные действия к оценке работ других студентов, вычленяя элементы профессиональных компетенций. И наконец, действия оценки он уже стал применять по отношению к самому себе, причем дифференцированно к отдельным составляющим профессиональной компетенции. Тем самым формируется механизм освоения, усвоения и присвоения того или иного профессионального действия в деятельности.
Экспериментальная работа по внедрению формативного критериального оценивания была организована следующим образом. Были выбраны 3 параллельные группы студентов, обучающиеся по одной и той же образовательной программе и выполняющие одинаковые задания. В группе А преподаватель единолично оценивал лабораторные работы студентов без предъявления критериев (традиционное оценивание). В группе Б преподаватель
подробно обсуждал со студентами систему критериев оценки работ, однако оценивал работы единолично. В группе В реализовывалась деятельностная многоступенчатая процедура, описанная выше. При работе с этой группой студентов обнаружилось, что одно и то же задание различные эксперты оценивают по-разному. Результаты эксперимента с достаточной очевидностью показали, что студенты группы В при выполнении последующих работ, а также на промежуточной аттестации продемонстрировали умение обосновывать свои выводы, развернуто и доказательно формулировать ответы, подкрепляя ответ уверенными комментариями, примерами, пояснениями. Удивительным стало то, что студенты группы Б через некоторое время потребовали от своего преподавателя, чтобы тот организовал коллективное обсуждение работ «как в другой группе, а то непонятно». Студенты группы А, в которой критериальное оценивание не применялось, такой просьбы не высказали.
Заключение
Формативное критериальное оценивание предполагает организацию специальной многоступенчатой процедуры применения критериев, интегрирующей в различных сочетаниях коллективные, парные способы взаимодействия обучающихся, предполагающей сопоставление мнений различных людей о работе студента и самооценивание своей работы. Критерии при этом являются знаками, опосредующими существенные признаки профессиональных действий. Обсуждение каждого критерия с другими людьми позволяет студенту проникнуть в суть критерия и увидеть его с разных точек зрения через восприятие и отношения других.
Таким образом, критериальное оценивание является динамичной процедурой самооценивания студентами учебно-профессиональной деятельности, обеспечивающей индивидуальный прогресс и мотивацию. Оно организует самостоятельную работу студентов в удобном для них темпе и исходя из их образовательных потребностей. Назначение критериального оценивания состоит в выявлении прогресса в обучении и областей для коррекции процесса освоения компетенции [9].
Критериальная оценка применима практически ко всем видам продуктов учебной деятельности обучающихся (эссе, реферат, доклад, проект, деловая игра, кейс, отчет, портфолио, аналитический текст, отчет по практике и т.п.). Критериальное оценивание может быть: прогностическим (до начала выполнения задания), ретроспективным (после выполненного), рефлексивным, рефлексивно-исследовательским (изучаются условия успешности выполнения задания).
Источниками для выбора критериев являются: планируемые результаты программы, образовательные дефициты студентов, индивидуальные предпочтения в профессиональном самоопределении. Участниками разработки критериев являются преподаватели и студенты.
Кроме того, такое оценивание обеспечивает преемственность и согласованность в работе преподавателей различных учебных дисциплин и практик и делает возможным компетентное участие в реализации образовательной программы супервизоров, школьных учителей и других заинтересованных лиц.
Проблема ждет дальнейших исследований в области педагогической психологии, экспериментальной педагогики и методики обучения в высшем профессиональном образовании. Нуждается в исследовании уровневое критериальное оценивание обучающихся, не выявлены подходы к разработке систем дескрипторов для оценки различных видов образовательных результатов и разных типов заданий. Белым пятном представляется нам методика разработки критериев для индивидуального обучения студента, например, в дистанционном формате обучения. Насущной проблемой исследования является проблема критериального оценивания разноуровневого старта в магистратуре, в программах профессиональной переподготовки.
Список источников
1. Безукладников К. Э. Формирование лингводидактических компетенций будущего учителя иностранного языка: монография. Пермь: Пермский гос. пед. ун-т, 2008. 270 с.
2. Блинов В. И., Батрова О. Ф., Есенина Е. Ю., Факторович А. А. Современные подходы к оцениванию квалификаций // Высшее образование в России. 2013. № 5. С. 100-106.
3. Бордовская Н. В., Кошкина Е. А., Тихомирова М. А., Бочкина Н. Кейс-метод как средство оценивания и развития терминологической компетентности будущего педагога // Интеграция образования. 2018. Т. 22. № 4 (93). С. 728-749. DOI: 10.15507/1991 -9468.093.022.201804.728- 749.
4. Волков П. Б., Наговицын Р. С. Варианты диагностики ключевых компетенций студентов педагогических специальностей при оценке результатов обучения [Электронный ресурс] // Непрерывное образование: XXI век. 2017. Вып. 4 (20). URL: https://lll21.petrsu.ru/journal/article.php?id=3725 (дата обращения: 15.02.2020).
5. Выготский Л. С. Собрание сочинений: в 6-ти т. М.: Педагогика, 1983. Т. 3. Проблемы развития психики. 369 с.
6. Землянская Е. Н. Инновационная начальная школа: подготовка магистров по педагогике в условиях сетевого взаимодействия: монография. М.: МПГУ, 2015. 216 с.
7. Землянская Е. Н. Новые формы оценивания образовательных результатов студентов // Психолого-педагогические исследования. 2015. Т. 7. № 4. С. 103-114. DOI: 10.17759/psyedu.2015070410.
8. Землянская Е. Н. Формирующее оценивание (оценка для обучения) образовательных достижений обучающихся // Современная зарубежная психология. 2016. Т. 5. № 3. С. 50-58. DOI: 10.17759/jmfp.2016050305.
9. Землянская Е. Н., Галямова Э. М., Безбородова М. А. Нелинейная педагогическая система университетской подготовки учителя в информационном обществе // Образовательное пространство в информационную эпоху: сб. науч. тр. Междунар. науч.-практ. конф. (International Conference "Education Environment for the Information Age") (EEIA-2018) / под ред. С. В. Ивановой. М.: ФГБНУ «Институт стратегии развития образования РАО», 2018. С. 800-811. DOI: 10.15405/epsbs.2018.09.02.99.
10. Землянская Е. Н., Ситниченко М. Я. Модель углубленной профессионально-ориентированной практики магистрантов психолого-педагогического образования // Преподаватель XXI век. 2015. Т. 1. № 2. С. 107-139.
11. Зимняя И. А. Ключевые компетенции - новая парадигма результата образования // Высшее образование сегодня. 2003. № 5. С. 34-42.
12. Красноборова А. А. Критериальное оценивание как технология формирования учебно-познавательной компетентности учащихся: автореф. дисс. ... к. пед. н. Н. Новгород, 2010. 23 с.
13. Критериальное оценивание через дескрипторы в начальном образовании. Классы I-IV [Электронный ресурс]. URL: http://singerei.educ.md/Wp-content/uploads/sites/383/2019/12/MECD_I-IV_rus_09.12.2019.pdf (дата обращения: 12.03.2020).
14. Об утверждении профессионального стандарта «Педагог (педагогическая деятельность в сфере дошкольного, начального общего, основного общего, среднего общего образования) (воспитатель, учитель)» [Электронный ресурс]: приказ Минтруда России от 18.10.2013 № 544н (ред. от 05.08.2016): зарегистрировано в Минюсте России 06.12.2013 № 30550 // КонсультантПлюс. URL: http://fgosvo.ru/uploadfiles/profstandart/01.001.pdf (дата обращения: 15.09.2016).
15. Пинская М. А. Формирующее оценивание: оценивание в классе: учеб. пособие. М.: Логос, 2010. 264 с.
16. Сыздыкбаева А. Д. Критериальное оценивание учебных достижений младших школьников: сущность, проблемы // Педагогика начального образования: традиции и инновации: материалы Междунар. науч.-практ. конф. (27-28 апреля 2017 г.) / под общ. ред. Е. Н. Землянской; Моск. пед. гос. ун-т; Ин-т детства. М.: МПГУ, 2017. С. 250-255.
17. Чандра М. Ю., Байкина Е. А. Стратегии оценивания компетенций студентов в процессе освоения образовательной программы вуза // Известия Волгоградского государственного педагогического университета. 2018. № 7 (130). С. 10-15.
18. Beregovaya E. B., Zemlyanskaya E. N., Larionova I. A., Yakushevskaya K. N., Timirov F. F., Medzhidova K. O., Ignatov S. B. Pedagogical Technologies for Social and Cultural Reflection Formation in Modern Students // Modern Journal of Language Teaching Methods. 2018. Vol. 8. № 1. P. 195-211.
19. Platonova R. I., Zaitseva N. A., Zemlyanskaya E. N., Bezborodova M. A., Stepanov P. A., Mikhina G. B. Nonlinear development of university pedagogical system: Permanence of didactic tasks // Man in India. 2017. Vol. 97. № 14. P. 159-171.
