Научная статья на тему 'Оценочная компетенция вузовского преподавателя: содержание и смысл'

Оценочная компетенция вузовского преподавателя: содержание и смысл Текст научной статьи по специальности «Науки об образовании»

CC BY
567
127
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
КОМПЕТЕНТНОСТНЫЙ ПОДХОД / КОМПЕТЕНЦИИ ВУЗОВСКОГО ПРЕПОДАВАТЕЛЯ / ОЦЕНОЧНАЯ КОМПЕТЕНЦИЯ / ФОНДЫ ОЦЕНОЧНЫХ СРЕДСТВ / ТЕСТИРОВАНИЕ / UNIVERSITY TEACHER'S COMPETENCES / COMPETENCE-BASED APPROACH / EVALUATION COMPETENCE / ASSESSMENT FUND / TESTING

Аннотация научной статьи по наукам об образовании, автор научной работы — Исаева Татьяна Евгеньевна

В статье обосновывается необходимость выделения в структуре профессиональной культуры преподавателя оценочной компетенции, значимость которой значительно возросла в последние годы в связи с потребностью в разработке фондов оценочных средств, ориентированных на выявление уровней сформированности компетенций студентов и проведение процедур оценки их достижений.

i Надоели баннеры? Вы всегда можете отключить рекламу.

Похожие темы научных работ по наукам об образовании , автор научной работы — Исаева Татьяна Евгеньевна

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

EVALUATION COMPETENCE OF A UNIVERSITY TEACHER: CONTENTAND PURPOSES

The article proves the necessity of singling out the evaluation competence in the structure of the university teacher’s professional culture. The significance of this competence has enhanced lately due to the requirement of working@out the assessment funds, aimed at identifying the levels of students’ competencies and conducting evaluation procedures of students’ achievements assessment. The author considers the evaluation competence to be the key teacher’s competence as it finally defines his pedagogical culture. This competence characterizes teacher’s acquaintance withassessment methods for measuring students’ learning outcomes, his ability to master technologies for stimulating students to further progress in learning. The evaluation competence includes five units: knowledge, technology, reflexion, development and assessment.

Текст научной работы на тему «Оценочная компетенция вузовского преподавателя: содержание и смысл»

106

Высшее образование в России • № 10, 2014

References

1. Mikeshina L. A. (2009) Dialog kognitivnykh praktik. Iz istorii epistemologii i filosofii [A dialogue

of cognitive approaches, based on epistemic and philosophy history]. Moscow: Rossiiskaya politicheskaya entsiklopediya Publ.

2. Kasavin I.T. (2008) [Discussion about notions and principal difference]. Epistemologiya i filosofiya

nauki [Epistemology and science philosophy]. No. 17, pp. 78-79. (in Russ., abstract in Eng.)

3. Antonovskiy A.Yu. (2008) [Communicative rationality: internal and external]. Epistemologiya i

filosofiya nauki [Epistemology and science philosophy]. No. 17, pp. 71-83. (in Russ., abstract in Eng.)

4. Porus V.N. (2008) [Rational communication as an epistemology problem]. Vysshee obrazovanie v

Rossii [Higher education in Russia]. No. 1, pp. 133-141. (in Russ.)

5. Galitskikh E.O. (2004) Dialog v obrazovanii kak sposob stanovleniya tolerantnosti [Dialogue in

education as a way of tolerance formation]. Moscow: Akademicheskiy project Publ.

6. Popkov V.A., Korzhuev A.V. (2004) Refleksivnye strategii poznavatel’noi deyatel’nosti v vysshem

professional’nom obrazovanii [Reflexive strategies of cognitive activity in higher professional education]. Moscow: Institute of educational management REA Publ.

7. Korzhuev A.V., Sadykova A.R. (2014) Pedagogicheskiy poisk: teoriya, metodologiya, prikladnye

aspekty [Pedagogic research: theory, methodology and practice aspects]. Moscow: LIBROKOM Publ.; Korjuev A.V., Babaskin V.S., Sadykova A.R. (2014) [Analysis of pedagogical text as a strategy of scientific research]. Vyssee obrazovanie v Rossii [Higher education in Russia]. No. 1, pp. 124129. (in Russ., abstract in Eng.)

Authors:

TRET’YAKOVA Kira A. - Senior lecturer, Moscow State Industrial University, Moscow, Russia, pushkar@msiu.ru

KORZHUEV Andrey V. - Dr. Sci. (Pedagogy), Prof., First Moscow State medical university named after I.M. Sechenov, Moscow, Russia, akorjuev@mail.ru

SADYKOVA Albina R. - Dr. Sci. (Pedagogy), Assoc. Prof., Moscow State University of Technology and Management named after K. Razumovskiy, Moscow, Russia, albsad2008@yandex.ru

Т.Е. ИСАЕВА, профессор Ростовский государственный университет путей сообщения

Оценочная компетенция вузовского преподавателя: содержание и смысл

В статье обосновывается необходимость выделения в структуре профессиональной культуры преподавателя оценочной компетенции, значимость которой значительно возросла в последние годы в связи с потребностью в разработке фондов оценочных средств, ориентированных на выявление уровней сформированности компетенций студентов и проведение процедур оценки их достижений.

Ключевые слова: компетентностный подход, компетенции вузовского преподавателя, оценочная компетенция, фонды оценочных средств, тестирование

За последнее десятилетие в научно-педагогических исследованиях были предприняты значительные усилия по определению содержания и структурированию профессионально-личностных компетенций пре-

подавателя высшей школы [1-3]. Многие ученые разрабатывали свои классификации компетенций с целью выявления особенностей педагогической культуры вузовского преподавателя, другие фокусировали свое

Педагогика высшей школы

107

внимание на компетенциях и их компонентах для определения эффективности его педагогических усилий. Еще одно направление исследований многогранной деятельности вузовского преподавателя в терминах компетенций было предпринято в связи с попытками разработки профессионального стандарта [4].

Существует компетенция преподавателя, значимость которой сегодня заметно возросла. Мы предлагаем называть её оценочной. До перехода к компетентностно-ориентированному образованию задачи преподавателя вуза в области оценки успеваемости студентов состояли в определении их знаний, умений и навыков по отдельным дисциплинам, и для этого существовали системы критериев, обширные базы контрольных работ, проверочных и экзаменационных материалов, апробированные годами работы и широким педагогическим опытом. Ситуация коренным образом изменилась за последние два-три года. После того как вузовские работники получили возможность более глубоко изучить задачи ФГОС ВО и ознакомиться с теоретическими аспектами компетентностного обучения, они осознали, что «зуновские» контрольно-измерительные материалы не могут быть использованы для оценки уровня сформированности компетенций. Поэтому сегодня все вузы озабочены разработкой в кратчайшие сроки фондов оценочных средств (ФОС), под которыми понимаются «комплекты методических и оценочных материалов, методик и процедур, предназначенных для определения соответствия или несоответствия уровня достижений студентов планируемым результатам обучения, которые должны быть полным и адекватным отображением требований ФГОС ВПО и обеспечивать решение оценочной задачи - установление соответствия общих и профессиональных компетенций студентов и выпускников этим требованиям» [5, с. 120].

По мере приобретения вузовскими пре-

подавателями опыта в формировании компетенций студентов и разработке учебнометодического обеспечения становится все более очевидным, что тестовые контрольно-измерительные материалы, на которые возлагались большие надежды, не могут решать задачи выявления компетент-ностной структуры выпускника вуза. О критической ситуации в области оценки компетенций студентов и выпускников вуза свидетельствуют многочисленные публикации [6; 7].

Все большее число исследователей сходятся во мнении, что тестирование не может и не должно оставаться единственной формой контроля при оценке уровня сфор-мированности компетенций студентов. Они считают, что при создании ФОС следует сочетать традиционные формы контроля с разработкой междисциплинарных компе-тентностно-ориентированных заданий [5,

с. 121]. Ввиду того, что у тестирования имеется целый ряд положительных качеств, его можно продолжать использовать для проверки остаточных знаний студентов [8], для проведения блиц-опросов с целью выявления степени усвоения темы/ раздела, входного контроля по дисциплине, проверки самостоятельного изучения материала и

т. д. или путем создания тестов более высокого уровня сложности, т.е. так называемых интегрированных тестов [6, с. 116]. В других случаях, когда ставится задача проверки уровня сформированности компетенций, должны использоваться компе-тентностно-ориентированные методы контроля, которые будут осуществлять преподаватели, обладающие достаточной оценочной компетенцией для составления или выбора заданий, а также выявления разнообразных компетенций студентов в процессе решения ими профессиональных ситуаций, определения соответствия их деятельности критериям модели выпускника в соответствии с ФГОС ВО и профессиональным квалификационным характеристикам (табл. 1).

108

Высшее образование в России • № 10, 2014

Таблица 1

Сравнение эффективности тестовых и компетентностно-ориентированных методов контроля при оценке сформированности компетенции

Параметры сравнения Тестовые методы Компетентностно-ориентированные методы

Контролируемые компоненты компетенции В основном знания, умения по изученной дисциплине. В редких случаях - совокупность умений при решении задач, состоящих из ряда последовательных действий Готовность личности решать сложные профессиональные задачи на основе полученных знаний, умений в различных областях, а также личностных качеств

Полнота охвата содержания оцениваемой компетенции Выборочные, поверхностные; позволяют охватить ЗУН по всей дисциплине Достаточно полные. Степень полноты зависит от качества контрольных заданий

Цели и функции контроля Контрольно-оценочная, обучающая Оценочная, обучающая, развивающая и саморазвития

Объективность контроля Объективны по отношению к испытуемым, так как все находятся в равных условиях. Свободны от субъективизма преподавателя Оценка выносится преподавате-лями/экспертами в соответствии с их пониманием задания и оцениваемой компетенции

Корректность определения правильного ответа Ответ должен быть выбран из ряда предложенных или же заранее запрограммированных Нет и не может быть единственно правильного ответа. Проверяется правильность нахождения решения для конкретной ситуации, с учетом совокупности условий и параметров

Возможность внешней фиксации результатов контроля Результаты поддаются внешней фиксации и могут быть статистически обработаны Не все проявления компетентности могут быть внешне зафиксированы

Субъекты и средства проведения оценивания Преподаватель, компьютерные средства и технологии Преподаватель, преподаватели разных предметных областей, студенты, работодатели, самооценка

Оперативность, частота проведения контроля и обработки результатов Оперативно оцениваются группы и потоки студентов. Тестирование имеет фиксированную длительность. Частота обусловлена процедурами сессионного контроля Длительность не фиксирована. Может иметь системный, длительный, непрерывный характер. Обработка результатов требует рецензирования ответов

Возможность повышать результаты Практически отсутствует возможность повышения результатов, только если это не предусмотрено структурой учебного плана Достижение более высокого уровня компетенций поощряется, что основывается на субъ-ект-субъектной вовлеченности в процесс личностного совершенствования

Возможность случайной ошибки Присутствует. Обусловлена невнимательностью студентов, техническим несовершенством КИМ Присутствует. Обусловлена психологическими причинами и факторами организационного характера

Возможность выявления нестандартного, креативного мышления студентов Отсутствует Позволяют выявить

Сегодня разработке нового поколения оценочных материалов уделяется большое внимание, ведь одно из преимуществ ком-петентностного подхода заключается в

том, что он дает возможность более полно и системно оценить готовность выпускника вуза к выполнению тех функций, которые будут входить в сферу его будущей

Педагогика высшей школы

109

профессиональной деятельности. Поэтому оценивание, наравне с модернизацией содержания обучения и внедрением инновационных технологий в учебный процесс, рассматривается в качестве важнейшего компонента обновления российского высшего образования [5, с. 119].

Поскольку фонды оценочных средств предстоит составлять рядовым преподавателям вузов, а не специализированным центрам, то встает правомерный вопрос: все ли преподаватели обладают специальными знаниями по различным технологиям измерения и оценивания компетенций студентов, имеют ли они представление обо всех сложностях, связанных с неоднозначным характером проявления компетенций, с их многомерной структурой, наличием показателей, не поддающихся внешней фиксации и т.д.? [9].

В зарубежных университетах оценочной компетенции (evaluation competence) в системе требований к профессиональной подготовленности университетского преподавателя уже давно отводится весомая роль. Так, в австралийской национальной системе определения качества высшего профессионального образования (The Australian Quality Training Framework, AQTF) в разделе «Базовые стандарты регистрации» (AQTF Essential Standards for Registration, Standard 1, Element 1.4.)ука-зано, что право на преподавание в университете имеют лица, которые:

• обладают компетенциями обучения и оценивания, определенными Национальным комитетом по качеству;

• в случае, если преподавателю вменяется в обязанность проведение оценивания студентов, то он должен обладать следующими тремя компетенциями:

- планирование и организация оценивания;

- компетенция оценивания;

- участие в проверке достоверности оценивания [10].

В отечественной педагогической литера-

туре, несмотря на стабильный интерес к проблеме измерения и оценивания компе-тенций,количество исследований, посвященных оценочной компетенции преподавателя как разработчика контрольно-измерительных материалов и реализатора процедуры контроля, крайне ограниченно. До введения термина «оценочная компетентность» в педагогический тезаурус умения осуществлять оценивание в учебной деятельности обычно рассматривались в качестве обязательных компонентов педагогического мастерства или педагогической культуры преподавателя, однако не выделялись в отдельную компетенцию. В своих предыдущих работах мы также включали такие умения в состав компетенции, именуемой у разных авторов психолого-педагогической, профессиональной, рефлексивной, предметной, методической и пр. Между тем при разработке проекта профессионального стандарта педагогической деятельности В.Д. Шадриков выделил отдельную компетенцию - «компетенцию в педагогическом оценивании», в состав которой с позиций деятельностного подхода были включены: «знание функций педагогической оценки; знание видов педагогической оценки; знание того, что подлежит оцениванию в педагогической деятельности; владение методами педагогического оценивания; умение продемонстрировать эти методы на конкретных примерах; умение перейти от педагогической оценки к самооценке» [4]. В свою очередь, коллектив исследователей из Томского политехнического университета разработал документ «Паспорт преподавателя» для выявления составляющих педагогического профессионализма и, наряду с другими ключевыми профессионально-педагогическими компетенциями преподавателя вуза, обозначил компетенцию, проявляющуюся в «применении объективных методов и средств для контроля и оценки достижения студентами результатов обучения и целей образовательных программ [11, с. 22].

110

Высшее образование в России • № 10, 2014

Действительно, оценочная компетенция преподавателя высшей школы относится к разряду ключевых, в конечном счете определяющих его педагогическую культуру. Она характеризуется наличием у педагога знаний о различных методах проведения процедур измерения фактических достижений студентов, постоянной сензитивнос-тью к происходящим в сфере образования изменениям, которые могут повлиять на содержание оценочно-коррегирующей деятельности, владением им эффективными технологиями, использование которых позволяет не только зафиксировать объем имеющихся у обучаемых знаний, уровень развития их профессионально-личностных компетенций, но и создать у них на основе педагогической рефлексии мотивацию к дальнейшему совершенствованию. Таким образом, в составе оценочной компетенции четко выделяются пять блоков: знаниевый, технологический, рефлексивный, развивающий и контрольно-оценочный.

Перед тем как приступать к формированию своей оценочной компетентности, преподавателю следует иметь в виду ряд объективных ограничений, характерных для любой технологии контроля.

1) Выборочный характер содержания контроля по сравнению с системностью обучения. Выбор типа контрольно-измерительных заданий, их содержания, «плотности покрытия» той или иной темы зачастую отражает субъективное видение самого преподавателя, ту степень значимости, которую он придает изученному разделу или теме, нежели реальную картину продвижения студента.

2) Субъективность преподавателя или тестолога при выборе объектов и содержания контрольно-измерительных материалов. Известно, что в большинстве случаев преподаватели не имеют специальной подготовки для составления КИМов. Кроме того, возможность продемонстрировать компетенции в полном объеме зависит от особенностей каждой учебной

дисциплины, их отнесенности к фундаментальным или практико-ориентированным знаниям, от этапа обучения студента, места данной дисциплины и формируемых ею компетенций в общей модели выпускника вуза и др.

3) Психологический дискомфорт, который создаёт для обучающегося любой процесс контроля. Следует учитывать, что один и тот же студент в разных условиях, при возникновении особых ситуаций, может демонстрировать различный уровень проверяемых знаний, умений, компетентностей. Поэтому следует очень осторожно относиться к таким критериям оценки компетенции, как незамедлительность реакций на поставленную задачу, умение выполнять задания без задержки, быстро и четко, что иногда называют «стрессоустойчивостью», «гибкостью », «креативностью ».

4) Наличие значительных несовпадений, иногда даже противоречий между тем, как оценивает свои компетенции и качество выполнения задания обучающийся, и тем, какую оценку его деятельности дает преподаватель/эксперт. Обычно преподаватели производят оценку компетенций студентов на основе сравнения внешне фиксируемых проявлений их деятельности с заранее разработанными критериями, паттернами, индикаторами или моделями поведения. В то же время испытуемый больше внимания уделяет внутренним переживаниям, личной оценке степени удовлетворенности от выполнения определенного задания, наличию мотивации к выполнению деятельности и необходимости применять волевой потенциал. То есть обучающийся использует категории самооценки и самоописания. Естественным образом эти показатели различаются. Студенты часто недоумевают, почему преподаватель остался недоволен их ответом, ведь, по их мнению, они полностью выполнили задание, проявили необходимые умения, сделали все быстро и качественно. Между тем как, согласно точке зрения пе-

Педагогика высшей школы

111

дагога, такие ответы не отличались оригинальностью, в них не проявилась креативность, социально-организационные, управленческие качества, не был достигнут уровень искомого профессионализма. Как отмечает Е.И. Кудрявцева, «субъект деятельности старается указать на свою мотивацию, знания, навыки, установки - на все то, что ему дано в непосредственном наблюдении “изнутри”, в то время как субъект оценки (эксперт) предпочитает видеть комплексный эффект, то, что в устоявшейся отечественной практике именуется “владением”» [9]. Таким образом, преподаватель/ эксперт ориентирован на оценку достижений студентов на основе имеющихся критериев, а студенты в большей степени отдают приоритет потраченным усилиям, своим переживаниям в процессе преодоления трудностей.

Преподаватель высшей школы должен учитывать эти ограничения оценочной компетенции при реализации компетентностно-ориентированного обучения студентов.

Литература 1

1. Исаева Т.Е. Компетенции студентов и пре-

подавателей высшей школы: способы формирования и оценивания. Монография / Ростовский гос. ун-т путей сообщения. Ростов н/Д, 2010. 152 с.

2. Исаева Т.Е. Компетенции субъектов уни-

верситетского образования. Проблемы формирования и оценивания компетенций в информационном образовательном пространстве. Монография. Deutschland: Palmarium Academic Publishing, 2013. 247 s.

3. Ким И.Н., Лисиенко С.В. Формирование

базовых составляющих профессиональ-

ной компетентности преподавателя в рамках ФГОС // Высшее образование в России. 2012. № 1. С. 16-24.

4. Шадриков В.Д. Базовые компетенции пе-

дагогической деятельности // Сибирский учитель. 2007. № 6 (54). С. 5-15.

5. Ефремова Н.Ф. Качество оценивания как

гарантия компетентностного обучения студентов // Высшее образование в России. 2012. № 11. С. 119-125.

6. Прахова М.Ю., Коловертнов Г.Ю., Шалов-

ников Э.А. О месте тестирования как инструмента оценки знаний в вузе // Высшее образование в России. 2012. № 7. С. 113-116.

7. Вербицкий А.А., Пучкова Е.Б. Возможно-

сти текста как средства диагностики качества образования: мифы и реальность // Высшее образование в России. 2013. №6. С. 33-44.

8. ГитманМ.Б., Данилов А.Н., Столбов В.Ю.

Об одном подходе к контролю уровня сформированности базовых компетенций выпускников вуза // Высшее образование в России. 2012. № 4. С. 13-18.

9. Кудрявцева Е.И. Методологические осно-

вы измерения и оценки компетенций // Компетентности и компетенции персонала отраслевых организаций: Сб. науч. ст. II Международной научно-практической конференции. Екатеринбург: Изд-во Урал. гос. пед ун-та, 2011.

10. Training and Assessment Qualifications and Competencies // Site of Federation University. Australia. URL: http://policy.ballarat.edu.au/ tafe/ teacher_qualifications_competence/ ch01.php

11. Минин М.Г., Бенсон Г.Ф., Беломестнова

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

Э.Н., Папанова В.С. Педагогическая подготовка преподавателя инженерного вуза // Высшее образование в России. 2014. №4. С. 20-29.

Автор:

ИСАЕВА Татьяна Евгеньевна - д-р пед. наук, профессор, Ростовский государственный университет путей сообщения, isaeva.te@yandex.ru

ISAEVA T.E. EVALUATION COMPETENCE OF A UNIVERSITY TEACHER: CONTENT AND PURPOSES

Abstract. The article proves the necessity of singling out the evaluation competence in the structure of the university teacher’s professional culture. The significance of this competence

112

Высшее образование в России • № 10, 2014

has enhanced lately due to the requirement of working-out the assessment funds, aimed at identifying the levels of students’ competencies and conducting evaluation procedures of students’ achievements assessment. The author considers the evaluation competence to be the key teacher’s competence as it finally defines his pedagogical culture. This competence characterizes teacher’s acquaintance with assessment methods for measuring students’ learning outcomes, his ability to master technologies for stimulating students to further progress in learning. The evaluation competence includes five units: knowledge, technology, reflexion, development and assessment.

Keywords: competence-based approach, university teacher’s competences, evaluation competence, assessment fund, testing

References

1. Isaeva T.E. (2010) Kompetentsii studentov i prepodavatelei vysshei shkoly: sposoby formirovaniya

i otsenivaniya [Competences of students and teachers of a higher school: methods of forming and evaluation]. Rostov-on-Don: Rostov State Transport University Publ., 152 p.

2. Isaeva T.E. (2013) Kompetentsii sub’ektov universitetskogo obrazovaniya. [Competences of the

subjects of university education. Problems of competences’ formation and evaluation in the informative educational area]. Deutschland: Palmarium Academic Publishing. 247 p.

3. Kim I.N., Lisienko S.V. (2012) [Formation of the basic components of the professional competency

of the university teacher according to the Federal State Educational Standards]. Vysshee obrazovanie v Rossii [Higher Education in Russia]. No. 1, pp. 16-24. (in Russ., abstract in Eng.)

4. Shadrikov V.D. (2007) [The basic competences of the pedagogical activity]. Sibirskii uchitel’ [The

Siberian teacher]. No. 6 (54), pp. 5-15. (in Russ.)

5. Efremova N.F. (2012) [Evaluation quality as a guarantee of the students’ competence-based

education]. Vysshee obrazovanie v Rossii [Higher Education in Russia]. No. 11, pp. 119-125. (in Russ., abstract in Eng.)

6. Prakhova M.Y., Kolovertnov G.Y., Shalovnikov E.A. (2012) [On the role of testing as an instrument

of knowledge evaluation at the university]. Vysshee obrazovanie v Rossii [Higher Education in Russia]. No. 7, pp. 113-116. (in Russ., abstract in Eng.)

7. Verbitsky A.A., Puchkova E.B. (2013) [The potential of tests as a means of education quality

diagnostics: myths and reality]. Vysshee obrazovanie v Rossii [Higher Education in Russia]. No. 6, pp. 33-34. (in Russ., abstract in Eng.)

8. Gitman M.B., Danilov A.N., Stolbov V.Yu. (2012) [On an approach to the assessment of development

level of the basic competences of the university graduate students]. Vysshee obrazovanie v Rossii [Higher Education in Russia]. No. 4, pp. 13-18. (in Russ., abstract in Eng.)

9. Kudryavtseva E.I. [Methodological fundamentals of competences measurement and evaluation]. II

mezhdunarodnaya konferentsiya "Kompetentnosti i kompetentsii personala otraslevykh organizatsii” [Competencies and competences of the personnel of the industry institutions. Proc. Sci. and practical. conf.]. Ekaterinburg: Ural. State Teachers’ Training University Publ., 2011. (in Russ.)

10. Training and Assessment Qualifications and Competencies. Site of Federation University. Australia. Available at: http:/ / policy.ballarat.edu.au/ tafe/ teacher_qualifications_competence/ ch01.php

11. Minin M.G., Benson G.F., Belomestnova E.N., Pakanova V.S. (2012) [Pedagogical training of a teacher of an engineering university]. Vysshee obrazovanie v Rossii [Higher Education in Russia]. No. 4, pp. 20-29. (in Russ., abstract in Eng.)

Author:

ISAEVA Tat’yana E. - Dr. Sci. (Pedagogy), Prof., Rostov State Transport University, Rostov-on-Don, Russia, isaeva.te@yandex.ru

i Надоели баннеры? Вы всегда можете отключить рекламу.