Научная статья на тему 'Эффективный мониторинг качества образования (из опыта Санкт-Петербургского гуманитарного университета профсоюзов)'

Эффективный мониторинг качества образования (из опыта Санкт-Петербургского гуманитарного университета профсоюзов) Текст научной статьи по специальности «Науки об образовании»

CC BY
587
76
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
МОНИТОРИНГ ВЫСШЕЙ ШКОЛЫ / МОНИТОРИНГОВЫЕ ИССЛЕДОВАНИЯ / ОРГАНИЗАЦИЯ МОНИТОРИНГА / ДЕЯТЕЛЬНОСТЬ ПРЕПОДАВАТЕЛЕЙ / КАЧЕСТВО ПРЕПОДАВАНИЯ / MONITORING IN HIGH SCHOOL / MONITORING RESEARCHES / ORGANIZATION OF MONITORING / ACTIVITY OF TEACHERS / EFFECTIVE TEACHING

Аннотация научной статьи по наукам об образовании, автор научной работы — Санкин Лев Абрамович, Викторенкова Светлана Владимировна

В статье дается сравнительный анализ характеристик внешнего и внутривузовского мониторингов системы гарантии качества преподавания. Рассматриваются система гарантии качества преподавания Санкт-Петербургского гуманитарного университета профсоюзов и поддерживающие ее мониторинговые исследования. Приводятся рекомендации по организации мониторинговых исследований в вузе для обеспечения гарантии качества преподавания.

i Надоели баннеры? Вы всегда можете отключить рекламу.

Похожие темы научных работ по наукам об образовании , автор научной работы — Санкин Лев Абрамович, Викторенкова Светлана Владимировна

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

Текст научной работы на тему «Эффективный мониторинг качества образования (из опыта Санкт-Петербургского гуманитарного университета профсоюзов)»

УДК 378.126

Л. А. Санкин, С. В. Викторенкова

ЭФФЕКТИВНЫЙ МОНИТОРИНГ КАЧЕСТВА ОБРАЗОВАНИЯ (ИЗ ОПЫТА САНКТ-ПЕТЕРБУРГСКОГО ГУМАНИТАРНОГО УНИВЕРСИТЕТА ПРОФСОЮЗОВ)1

Аннотация. В статье дается сравнительный анализ характеристик внешнего и внутривузовского мониторингов системы гарантии качества преподавания. Рассматриваются система гарантии качества преподавания Санкт-Петербургского гуманитарного университета профсоюзов и поддерживающие ее мониторинговые исследования. Приводятся рекомендации по организации мониторинговых исследований в вузе для обеспечения гарантии качества преподавания.

Ключевые слова: мониторинг высшей школы, мониторинговые исследования, организация мониторинга, деятельность преподавателей, качество преподавания.

Abstract. The comparative analysis of characteristics of external and intrahigh school monitoring of system of the quality assurance of teaching is given in the article. The system of the quality assurance of teaching of St. Petersburg University Of Humanities and Social Sciences and supporting monitoring researches are considered. Recommendations for the organization of research monitoring in high school for high quality of teaching are resulted.

Keywords: monitoring in high school, monitoring researches, organization of monitoring, activity of teachers, effective teaching.

Введение

Совершенствование образовательного процесса в вузе связано с организацией систематического наблюдения за его ходом, развитием, анализом и принятием управленческих решений, другими словами, - с организацией мониторинга как ресурса развития. Сегодня во многих странах реализованы полноценные системы мониторинга качества высшего образования. Вопросам мониторинга сферы высшего профессионального образования РФ посвящены работы В. Г. Наводного, Г. Н. Мотовой, И. Н. Молчанова, А. А. Охри-менко, А. П. Панкрухина, И. М. Кондакова и др. Анализ подходов к проведению этих мониторингов позволяет говорить о единстве принципов и методов их реализации. Однако в России ни в законе РФ «Об образовании» [1], ни в законе «О высшем и послевузовском профессиональном образовании» [2], ни в документах, связанных с процедурами лицензирования, аттестации, аккредитации вузов в Российской Федерации, понятие «мониторинг» не встречается. Целью данной работы является теоретическое осмысление путей повышения эффективности реализации мониторинговых исследований на основе опыта их проведения в Санкт-Петербургском гуманитарном университете профсоюзов.

1 Исследование выполнено при финансовой поддержке Российского гуманитарного научного фонда в рамках проекта 08-06-00263а «Разработка культуроцентристской модели высшего образования».

1. Анализ нормативных показателей гарантии качества преподавания в вузе

Законом Российской Федерации «О высшем и послевузовском профессиональном образовании» [2] одной из ведущих функций государственного управления высшим образованием установлена оценка качества подготовки выпускников в соответствии с требованиями ГОС ВПО. В ходе процедуры государственной аккредитации вуза проводятся экспертиза соответствия содержания и качества подготовки выпускников образовательного учреждения федеральным государственным образовательным стандартам и экспертиза показателей деятельности образовательного учреждения, которые необходимы для определения его вида. Система показателей, отражающая качество образования, изложена в приказе Рособрнадзора от 30.09.2005 г. № 1938 (редакция приказом Рособрнадзора от 25.04.2008 г. № 885) [3] и программных модулях по оценке деятельности вуза. В целом эти показатели скорее характеризуют внешний мониторинг деятельности вузов, чем внутривузовский мониторинг гарантии качества этой деятельности.

Проанализируем с точки зрения применения мониторинговых исследований один из показателей деятельности вуза, включенный в программный модуль «Комплексная оценка деятельности вуза» [4]. Модуль предназначен для сбора информации в Центральный банк данных государственной аккредитации и сопровождения работы экспертной комиссии Рособрнадзора в ходе проведения комплексной оценки деятельности образовательных учреждений, реализующих программы высшего профессионального образования. Критерии оценки качества преподавательской деятельности приведены в части 111-02 «Качество подготовки» в пункте 7.4. «Наличие и эффективность системы гарантии качества преподавания и компетенции преподавателей». В программном поле с наименованием «Наличие» ответ «Да» указывается при существовании в вузе механизмов и критериев оценки компетенций преподавателей. Для оценки ее эффективности по шкале от 0 до 10 баллов учитываются:

1) требования к квалификации преподавателей при приеме на работу;

2) наличие для преподавателей в вузе возможностей совершенствования и развития педагогического мастерства;

3) наличие мер по лишению сотрудника права на преподавательскую деятельность в случае демонстрации им низкого уровня квалификации.

Анализ пункта 7.4 программного модуля «Комплексная оценка деятельности вуза» показывает, что внешняя оценка качества преподавательской деятельности имеет четкие формальные критерии. Об эффективности же существующей системы в вузе экспертная комиссия Рособрнадзора при государственной аккредитации может судить по нормативным и организационным документам вуза. Так, например, наличие должностных инструкций преподавателей может подтвердить выполнение первого пункта требований, наличие курсов повышения педагогического мастерства - второго. Третий пункт также возможно подтвердить формальными положениями в документах вуза. Получается, что вуз путем формальных организационно-правовых действий может выполнить требования Рособрнадзора, фактически не имея эффективной системы гарантии качества преподавания и компетенции преподавателей.

2. Система обеспечения и гарантии качества преподавания СПбГУП

На наш взгляд, в условиях повышения открытости европейского образовательного пространства конкуренция заставит большинство вузов создать действительно эффективные системы качества образования, основанные на разноплановых мониторинговых исследованиях. Именно по такому пути идет Санкт-Петербургский гуманитарный университет профсоюзов.

Мониторинг условно можно разделить на мониторинг, направленный на реализацию задач функционирования, и мониторинг, направленный на решение задач развития [5]. Первый вид направлен на выявление конкретных проблем в функционировании чего-либо и может прекратить свое существование при выполнении конкретной задачи. Задачей этого мониторинга является предупреждение о том или ином неблагополучии, опасности для эффективной работы. Причем важна не просто констатация факта появления признаков, представляющих опасность, а именно предупреждение о ней до того, как ситуация становится критичной.

В Санкт-Петербургском гуманитарном университете профсоюзов (СПбГУП) организована система обеспечения и гарантии качества преподавания, которая сопровождается внутривузовским мониторингом функционирования.

Система обеспечения и гарантии качества преподавания СПбГУП предназначена:

- для получения объективной информации о качестве преподавания в

вузе;

- для установления степени соответствия фактического содержания и качества деятельности преподавателей требованиям, зафиксированным в законе РФ «Об образовании», в примерном Положении о высшем учебной заведении, в государственных образовательных стандартах высшего профессионального образования;

- для выявления положительных и отрицательных тенденций в деятельности преподавателей вузов на уровне кафедр, факультетов;

- для установления причин повышения или снижения качества деятельности преподавателей в различные периоды их работы;

- для повышения педагогического мастерства преподавателей.

3. Организация мониторингов системы обеспечения и гарантии качества преподавания СПбГУП

Мониторинг функционирования системы обеспечения гарантии качества преподавания СПбГУП включает следующие мероприятия, которые имеют также и самостоятельное значение:

- оценка качества деятельности преподавателя, осуществляемая студентами по методике «Преподаватель глазами студентов»;

- оценка качества деятельности преподавателя коллегами в составе экспертных комиссий. В университете создана оригинальная трехуровневая система экспертных комиссий. Комиссии по своему составу обязательно межфакультетские и состоят из высококвалифицированных преподавателей различных кафедр. В экспертные комиссии для оценки занятий заведующих кафедрами входят руководители подразделений. Экспертные комиссии, созданные на базе Методического совета, по результатам посещений готовят ме-

тодические рекомендации. Целью экспертных комиссий являются обмен опытом и оценка методики преподавания;

- оценка качества деятельности преподавателя независимыми экспертами инспекторской службы ректората;

- аттестационная оценка качества деятельности преподавателя по показателям аккредитации вуза;

- оценка качества деятельности преподавателя заведующим кафедрой по планам-заданиям кафедры;

- взаимные посещения занятий преподавателями, организуются в рамках кафедр и предназначены прежде всего для оценки содержания занятий;

- конкурс педагогического мастерства;

- курсы повышения квалификации преподавателей.

В СПбГУП при ректорате создана и эффективно функционирует на протяжении ряда лет кадровая комиссия, которая ежегодно анализирует и дает оценку итогам деятельности кафедр и каждого преподавателя за прошедший учебный год. Комиссию возглавляет ректор, в ее составе проректоры, курирующие основные вопросы, связанные с образовательной деятельностью, руководители таких подразделений, как департамент программ и управления качеством образования, департамент организации учебного процесса, департамент послевузовского образования, департамент научно-исследовательской работы, департамент информационных технологий. Мониторинг функционирования системы гарантии качества преподавания СПбГУП обеспечивает возможность обоснованного решения следующих вопросов на кадровой комиссии СПбГУП:

- о соответствии занимаемой преподавателем должности;

- о подтверждении или неподтверждении правомочности притязаний преподавателя на новую должность или звание;

- о поощрениях, награждениях и применении различных средств морального и материального стимулирования деятельности преподавателей;

- о необходимости оказания профессиональной помощи конкретным преподавателям, содействия повышению их квалификации и т.п.

На кадровой комиссии уделяется пристальное внимание уровню квалификации всех преподавателей. При этом важно отметить, что в СПбГУП качество образования является главным приоритетом, и поэтому решения кадровой комиссии бывают жесткими, но всегда объективными благодаря четкой работе системы мониторинга.

Сложность оценки качества деятельности преподавателя вуза заключается в том, что, кто бы ни оценивал эту деятельность - сам преподаватель, его коллеги, руководители, студенты или эксперты, практически невозможно избежать субъективизма этих отдельно взятых оценок. Снизить субъективизм оценки можно лишь за счет сопоставления оценок разных субъектов, разграничения их компетенций и обоснованности системы критериев и показателей.

Созданная система обеспечения и гарантии качества и ее мониторинг позволяют выявлять проблемы в режиме реального времени и оперативно их решать. Например, в ходе работы экспертных университетских комиссий установлено низкое качество проведения учебных занятий конкретного преподавателя. В этом случае его можно направить на курсы повышения квалификации, предложить поработать с наставником, принять участие во взаимных посещениях учебных занятий с целью обмена опытом и др., таким образом

предупредив ситуацию, когда решение вопроса будет вынесено на кадровую комиссию.

Организация мониторинга функционирования системы обеспечения и гарантии качества преподавания создает возможность предотвратить или минимизировать возможное деструктивное развитие событий и обеспечить неформальное выполнение показателя «Наличие мер по лишению сотрудника права на преподавательскую деятельность в случае демонстрации им низкого уровня квалификации».

Однако мониторинг функционирования не может решить задач, требующих непрерывного развития. В этих случаях необходимо использовать мониторинг развития, который сам по себе представляет одновременно обучающую систему. Из приведенных выше критериев, влияющих на оценку эффективности системы обеспечения и гарантии качества преподавания вуза, наиболее сложным с точки зрения обеспечения качества преподавания является требование наличия для преподавателей в вузе возможностей совершенствования и развития педагогического мастерства. Решить эту задачу можно с помощью мониторинга развития. Рассмотрим основные недостатки при применении традиционных подходов к системе повышения педагогического мастерства:

1. После прохождения традиционных курсов повышения квалификации сами преподаватели в большинстве случаев отмечают, что изменений в структуре их педагогической деятельности практически не происходит и что основную «ценность» составляет документ о прохождении курсов, который формирует портфолио преподавателя.

2. Необходима направленность на решение задач формирования педагогического мастерства преподавателей. Учитывая, что большая часть преподавателей вузов имеет значительный стаж педагогической деятельности, то нужно, скорее, не формировать педагогическое мастерство, а преодолевать уже сложившиеся стереотипы в преподавании, что является более сложной задачей, а также и осваивать новые методы педагогической деятельности.

3. Отсутствие направленности на формирование у преподавателей устойчивой потребности в самообразовании и самосовершенствовании. Наличие выпусков на курсах повышения квалификации профессорско-преподавательского состава (что является одним из критериев внешней оценки качества деятельности вуза) не адекватно наличию системы гарантии качества преподавания.

Для повышения педагогического мастерства преподавателей вуза нужна эффективная система, сопровождаемая мониторингом, направленным на решение задач развития системы гарантии качества преподавания, мониторинга как обучающей системы. Важнейшим ресурсом высшей школы является высококвалифицированный профессорско-преподавательский состав. От его мотивации к творческому характеру преподавания зависит успешное решение задачи повышения качества подготовки специалистов.

В основу системы совершенствования педагогической деятельности преподавателей в Санкт-Петербургском гуманитарном университете профсоюзов положен принцип включения преподавателей в совместную деятельность по овладению ими педагогическим мастерством. Организация совместной деятельности как бы встраивается в учебный процесс вуза. В основе ор-

ганизации системы повышения педагогического мастерства преподавателей СПбГУП лежит анализ конкретной деятельности коллег и студентов. Рассогласование, обнаруживаемое при сравнении себя с другими коллегами, оказывает управляющее воздействие на преподавателя и приводит к тому, что сам преподаватель корректирует свою деятельность. Формы совместной деятельности преподавателей весьма разнообразны: организация работы экспертных комиссий, взаимопосещение занятий, проведение научно-методических конференций с общей проблематикой для вуза, организация в ходе конкурса педагогического мастерства открытых защит выдвинутых на конкурс работ и др.

Благодаря участию преподавателей коллектива вуза в различных формах совместной деятельности по совершенствованию их педагогического мастерства в преподавательской среде ослабляется сопротивление новому, снимаются многие стереотипы. Как показал мониторинг, который постоянно проводился в СПбГУП, совместная деятельность преподавателей в этом направлении является универсальным средством совершенствования всего образовательного процесса вуза.

В высших учебных заведениях, как правило, факультеты живут своей обособленной жизнью, со временем формируя свои специализированные стереотипы в содержании, методах и приемах преподавания. В СПбГУП удалось организовать совместную деятельность преподавателей всех факультетов, что позволило сломать часть стереотипов, познакомиться с деятельностью коллег с других факультетов.

При проведении измерений в социальных системах, к которым относятся и вузы, получаемые оценки достаточно часто неточно отражают реальное состояние дел. И если при внешней оценке системы гарантии качества преподавания критерии легко формализуемы и данные программного модуля показывают направление формального изменения в вузе, то при внутренней оценке системы гарантии качества преподавания очень сложно выделить легко формализуемые критерии, так как существуют факторы, которые оказывают влияние на смещение оценок.

4. Анализ факторов смещения оценок при организации мониторинговых исследований в вузе

Опыт проведения мониторингов совершенствования педагогического мастерства преподавателей, уровня сформированности их компетенций в Санкт-Петербургском гуманитарном университете профсоюзов показывает, что наиболее существенными факторами смещения оценок являются:

1. Изменение людей в процессе измерения. Причиной изменений может служить научение, появление опыта, согласование мнений. Причем изменяются не только те люди, чей уровень мастерства анализируется, но и эксперты. Как мнение авторитетного эксперта может сместить оценки остальных экспертов, так и мнение сложившейся оппозиции может влиять на качество оценки.

2. Эффекты повторного измерения. Причиной может являться желание выглядеть лучше, привыкание к определенным обстоятельствам, как того, кто проводит измерение, так и преподавателей, чье педагогическое мастерство оценивается.

3. Естественное развитие. Причиной является естественное развитие как отдельных преподавателей, так и всего коллектива или групп этого коллектива, например, кафедр.

4. Экспериментальное или управленческое воздействие. Дает различный эффект, который зависит от скорости адаптации людей, от их личностных особенностей. Существует, например, возможность зафиксировать то, что желаемого результата нет, а он просто еще не проявился, в силу того, что преподавателю требуется время, чтобы избавиться от стереотипов в преподавании или обучиться пользоваться, например, инновационными технологиями.

5. Интерференция воздействий. Причиной является то, что в вузе проходит множество различных процессов, влияние которых затрудняет выделение эффекта только от данного эксперимента.

При анализе любой деятельности также есть неконтролируемые и неучитываемые факторы. Например, как учесть влияние погодных условий на самочувствие преподавателя при проведении открытого занятия. Задача хорошего измерения - минимизировать эти влияния, что при формальном подходе сделать сложно.

Таким образом при проведении мониторинга нужно помнить, что возможный наблюдаемый эффект может объясняться приведенными выше и другими факторами. Мониторинг должен предусматривать это влияние в случае, если действительно есть желание решить проблему, например, качества преподавания, повышения педагогического мастерства и др.

При организации мониторингов также необходимо учитывать периодичность и цикличность учебного процесса. Измеряемые показатели подвержены влиянию протекания этих циклов, например: начало учебного года, приближение экзаменов и др. Внедряемые инновации также имеют свои этапы развития. Каждое нововведение имеет свое начало (идею), затем происходит начальный период становления в борьбе с оппонентами (консерваторами, скептиками, формалистами), после чего нововведение входит в стадию стабилизации и распространения. При достаточно длительном использовании новшества оно становится обычным явлением, нормой, в результате чего в определенный момент наступает кризис, связанный с исчерпанием возможностей нововведения. Нововведение либо становится обычным регламентом, либо поглощается более эффективной системой. Так, в начале 80-х гг. прошлого столетия в СПбГУП было внедрено инновационное мониторинговое исследование «Преподаватель глазами студента» [6]. Многолетние исследования, постоянный поиск, использование возможностей развития информационных технологий способствовали трансформации анкетного опроса с повышением объективности результатов опроса. Автоматизация процесса анкетирования не только позволила быстро осуществлять компьютерную обработку данных, статистически обрабатывать результаты по различным аспектам оценки, но и сделала раздел исследования «Отзывы студентов о преподавателях университета» одним из значимых, доступным для анализа. Таким образом, с одной стороны, нововведение стало обычным ежегодным регламентом, а с другой - оно все время совершенствовалось. Сейчас мониторинговое исследование «Преподаватель глазами студента» находится в очередной стадии стабилизации, уже в течение пяти лет студентам предлагается устоявшаяся анкета, которая предоставляет возможность проводить сравни-

тельный анализ, исследовать динамику и судить о достоверности результатов анализа, а главное - принимать грамотные управленческие решения.

При организации мониторинговых исследований может сложиться впечатление, что чем чаще проводятся измерения, тем лучше. Частые замеры оправданы в случае, например, биологических, экологических систем. Для социальных, в том числе и образовательных, систем при частых измерениях возможен эффект привыкания респондентов к вопросам, что может привести к формированию стереотипа ответа, а значит, к искажению результатов [5]. Большое количество измерений требует и больших затрат. Наш опыт проведения мониторингов в СПбГУП говорит, что лучше для сравнимости результатов, чтобы это соответствовало циклам, например: учебный год, семестр.

При разработке мониторинговых исследований необходимо определить, на каком уровне будет производиться его реализация. Так, например, при организации мониторинга педагогического мастерства преподавателей силами кафедр и факультетов в СПбГУП основной сложностью было наличие стремления показать лучшие результаты кафедральных преподавателей (даже неосознанно), предубежденность, непрофессионализм. К плюсам можно отнести - хорошее знание ситуации, возможность быстрого поиска решений. Со временем мониторингом педагогического мастерства преподавателей стал заниматься Методический совет СПбГУП, что привело к получению более объективных результатов, возможности получить сравнительные и сравниваемые результаты, обеспечить профессиональный подход к оценке, необходимую конфиденциальность. Недостаток, связанный с незнанием внутренней ситуации, компенсируется непрерывным взаимодействием Методического совета СПбГУП с кафедрами для оперативного решения проблем.

Особое значение для мониторинга в образовании имеют вопросы распространения информации. Нужная информация должна попадать к лицу, принимающему решения. Полный и открытый доступ к информации вряд ли целесообразен. Информация, которая попала в руки руководителей родственных подразделений или подразделений более высокого уровня, может быть использованы во вред. Важно, чтобы сохранялось доверие между исследователями и респондентами, иначе в дальнейшем получение достоверных данных чрезвычайно затрудняется. Для принятия же грамотных управленческих решений нужна объективная информация. Информация, полученная в ходе проведения мониторинга, может быть использована в качестве инструмента для формирования общественного мнения.

Заключение

1. Для обеспечения неформального подхода к изучению качества образовательного процесса недостаточно обеспечить в вузе показатели, используемые при внешнем мониторинге качества образования, проводимом службами Министерства образования и науки РФ, необходим внутренний мониторинг, который организует сам вуз и который дает возможность принимать управляющие решения, направленные на совершенствование образовательного процесса вуза.

2. Проблема эффективной реализации мониторинга в образовании решается как на уровне практической реализации, так и на уровне одновременного теоретического осмысления.

3. Даже грамотно организованный мониторинг и объективно полученная информация не всегда позволяют принять эффективное управленческое решение в силу того, что по объективным причинам это еще невозможно сделать на данном этапе развития коллектива или образования. Также в последнее время намечается тенденция к увеличению информации одновременно с постоянным дефицитом необходимой информации для принятия решения.

Список литературы

1. Закон РФ «Об образовании» от 10.07.1992 г. № 3266-1 (ред. от 24.04.2008 г.).

2. Федеральный закон «О высшем и послевузовском профессиональном образовании» от 22.08.1996 г. № 125-ФЗ (ред. от 15.07.2008 г.).

3. Об утверждении показателей деятельности и критериев государственной аккредитации высших учебных заведений (приказ Рособрнадзора от 30.09.2005 г. № 1938) // Вестник образования России. - 2005. - № 24.

4. Программный модуль «Комплексная оценка деятельности вуза». Руководство пользователя. - М., 2006. - 59 с.

5. Когут, А. Е. Информационные основы регионального социально-экономического мониторинга / А. Е. Когут, В. Е. Рохчин. - СПб. : ИЭСП РАН, 1995. - 143 с.

6. Преподаватель глазами студента: об изучении мнений студентов о качестве педагогической деятельности преподавателя / А. С. Запесоцкий, Л. А. Санкин, С. В. Викторенкова // Высшее образование сегодня. - 2007. - № 9. - С. 28-32.

Санкин Лев Абрамович

кандидат педагогических наук, профессор, первый проректор, Санкт-Петербургский гуманитарный университет профсоюзов

E-mail: viktorial1@yandex.ru

Викторенкова Светлана Владимировна

кандидат технических наук, доцент, директор департамента программ и управления качеством образования, Санкт-Петербургский гуманитарный университет профсоюзов

E-mail: viktorial1@yandex.ru

Sankin Lev Abramovich Candidate of pedagogic sciences, professor, first vice-rector, Saint-Petersburg University of Humanities and Social Studies

Viktorenkova Svetlana Vadimirovna Candidate of engineering sciences, associate professor, director of department of educational programmes and quality control, Saint-Petersburg University of Humanitarian and Social Studies

УДК 378.126 Санкин, Л. А.

Эффективный мониторинг качества образования (из опыта Санкт-Петербургского гуманитарного университета профсоюзов) / Л. А. Санкин, С. В. Викторенкова // Известия высших учебных заведений. Поволжский регион. Гуманитарные науки. - 2010. - № 1 (13). - С. 168-176.

i Надоели баннеры? Вы всегда можете отключить рекламу.