CC BY
211
YAK 378.1 ББК 74.489.4я
СОВРЕМЕННЫЕ TEHAEHUMM МОНИТОРИНГА УАОВЛЕТВОРЁННОСТИ ОБУЧАЮЩИХСЯ КАЧЕСТВОМ ОБРАЗОВАНИЯ. ПРАКТИКА ЗАРУБЕЖНЫХ И ОТЕЧЕСТВЕННЫХ ОРГАНИЗАиИЙ
MODERN TENDENCIES IN ASSESSING STUDENTS' SATISFACTION WITH HIGHER EDUCATION QUALITY. THE EXPERIENCE OF FOREIGN AND RUSSIAN EDUCATIONAL ESTABLISHMENTS
В статье проводится анализ современных тенденций и проблем в оценке студентами качества образования. Сравнивается опыт отечественных и зарубежных организаций, представлен опыт мониторинга удовлетворённости студентов качеством образования в Сургутском государственном педагогическом университете.
In the article the modern tendencies and problems of assessing students' satisfaction with education quality are analyzed. The experience of foreign and Russian educational establishments is compared, the experience of assessing students' satisfaction with education quality in Surgut State Pedagogical University is presented.
Ключевые слова: менеджмент качества, оценка качества высшего образования, внешняя оценка, внутренняя оценка, самооценка, удовлетворённость студентов качеством преподавания, удовлетворённость студентов качеством организации учебного процесса, анкетирование.
Key words: quality management, quality assessment of higher education, external assessment, internal assessment, self-assessment, students' satisfaction with teaching quality, students' satisfaction with university activities, questionnaire survey.
Интеграция России в мировое образовательное пространство, реализация принципов Болонского соглашения, новые социально-экономические реалии выдвинули новые требования к качеству высшего образования. Россия присоединилась к Болонским соглашениям в 2003 году, официально закрепив своё участие подписанием Берлинского коммюнике Конференции Министров. В этой связи в российском образовании меняются приоритеты, структура и содержание образования, вводятся новые стандарты, формируется независимая система оценки результатов обучения и качества образования в целом. Именно обеспечение высокого качества образования на основе сохранения его фундаментальности и соответствия потребностям личности, общества и государства продолжает оставаться основной задачей политики государства в образовательной сфере. Задача повышения уровня качества образования является многоаспектной, особенно в условиях развития конкуренции на рынке образовательных услуг.
В мировой практике применяются различные подходы к оценке качества образования. Система оценки высшего образования в тех странах, где имеются соответствующие государственные структуры, регулирующие развитие высшей школы, например, Министерства образования, Министерства просвещения и т. д., базируется на приоритете государственных органов или структур, финансируемых правительством. При этом самооценке придаётся номинальное значение, а основные усилия прилагаются к проведению эффективной внешней оценки государственными органами или общественными организациями. Такие системы оценок часто связаны с правительственным контролем, лицензированием, государственной аккредитацией, сравнением различных высших учебных заведений, распределением финан-
Е.Я. КОРМИНА, А.А. НАУМОВА
E.YA. KORMINA, A.A. NAUMOVA
совых ресурсов и оказанием влияния на университеты. К странам, имеющим органы государственного управления высшей школой, относятся европейские страны (Германия, Франция), а также страны СНГ, воспринявшие европейские традиции высшего образования.
В системе оценки высшего образования, принятой в тех странах, где, по существу, органов государственного управления высшим образованием нет, преобладает процесс самооценки высших учебных заведений, оценка вузов профессиональными экспертами и оценка через специализированную аккредитацию, направленные на внутренний анализ, на улучшение деятельности университетов. Основой оценки и контроля высшего образования в данном случае является саморегуляция. К таким странам относятся, в первую очередь, США, а также те страны, которые стали следовать американским образцам высшей школы (Филиппины, Тайвань) [2].
Однако по мнению некоторых экспертов в современном мире имеет место тенденция к большему развитию и распространению процессов самооценки. Так, в той же Франции наблюдается тенденция перехода от оценки, первоначально построенной на принципах централизации, к процессу самооценки, тесно связанному с самим учебным заведением. В скандинавских странах, где оценка всегда являлась требованием правительства, процесс развития оценки высшего образования также идёт в сторону самооценки и вовлечения в процесс оценки самого высшего учебного заведения. В Финляндии процесс оценки высшего образования все больше сдвигается в сторону полной ответственности учебных заведений за регуляцию собственной деятельности, при которой правительство играет вспомогательную роль. В Испании на основе экспериментов, проводившихся в течение нескольких лет, в 90-е годы начато применение системы оценки, базирующейся на самооценке, где особое внимание уделяется анализу образовательного процесса, организации управления на уровне университета. Такой перенос центра тяжести с процедур внешнего контроля качества образовательного процесса и его результатов в сторону внутренней самооценки (самообследования) вузов обеспечивает перенос ответственности за качество и оценку качества туда, где она должна быть - в высшее учебное заведение, и приводит к существенной экономии материальных и временных ресурсов, выделяемых на проведение внешней экспертизы [4].
В России в настоящее время действует система государственного контроля качества высшего профессионального образования, поддерживаемая процедурой комплексной оценки деятельности вузов, совмещающей процедуры лицензирования, аттестации и государственной аккредитации. Согласно Федеральному закону от 29.12.2012 № 273-Ф3 «Об образовании в Российской Федерации» к полномочиям федерального органа исполнительной власти в сфере образования относится лицензирование образовательной деятельности и государственная аккредитация образовательной деятельности организаций, осуществляющих образовательную деятельность. Основой объективной оценки качества образования являются Федеральные государственные образовательные стандарты и федеральные государственные требования, а также образовательные стандарты, устанавливаемые университетами. Система контроля базируется на перечне показателей деятельности вузов, используемом при аттестационной экспертизе и государственной аккредитации. Данный перечень также включает показатель, отражающий наличие и эффективность внутривузовской системы контроля качества образования.
Показатели самообследования вуза, предшествующего аттестационной экспертизе, существенно дополняют и расширяют области и глубину оценки, охватываемой показателями государственной аттестации и аккредитации, и непосредственно связаны с базовыми принципами менеджмента качества. Первым принципом менеджмента качества, положенным в основу стандарта ИСО 9000-2008, является ориентация на потребителя. Данный принцип, помимо прочего, подразумевает установление обратной связи с потребителя-
ми, оценку их удовлетворённости с целью улучшения деятельности предприятия. К потребителям деятельности высшего учебного заведения относят как внешних (работодатели, государство и общество в целом) так и внутренних (студенты, преподаватели, руководство вуза).
В связи с этим все заинтересованные стороны должны предъявлять требования к оценке качества профессионального образования, участвовать в образовательном процессе и осуществлять контроль. Мониторинговая деятельность в сфере образования означает наблюдение за образовательными процессами и за результатами образования. Очевидно, что основное предназначение мониторинга заключается в получении полной и объективной информации о качестве образования и своевременном принятии адекватных управленческих решений.
Сама процедура оценки качества многогранна. Некоторые стороны этой процедуры освещены достаточно полно и применяются давно в системе образования (оценка информационных ресурсов, материально-технической базы, обеспеченности кадровым потенциалом и т.п.). Но есть и определённые стороны, которые слабо представлены в методических разработках, рекомендациях и других материалах по оценке качества образования. Речь идёт о привлечении к оценке качества студентов. Студенты являются непосредственными потребителями образовательных услуг и изнутри способны заметить недостатки образовательного учреждения, незаметные для внешней среды. Если студентами систематически проводится оценка организации учебного процесса и деятельности преподавателей, то сам факт осуществления мониторинга обеспечивает управленческое влияние. Администрация и преподаватели начинают корректировать свою деятельность соответственно критериям, по которым они оцениваются.
Для руководства университета результаты подобных исследований могут стать основой разработки концепции дальнейшего развития образовательной организации в целом, а также оптимизации управления качеством образования на каждом факультете. Мнение студентов важно учитывать в процессе создания эффективного механизма устойчивого социального развития коллектива университета, отражающего взаимосвязь и взаимовлияние студенческого актива, профессорско-преподавательского состава и администрации вуза.
Кроме того, данные исследования позволяют оперативно реагировать и на потребности потенциальных абитуриентов, наиболее полно интегрировать вуз в социально-экономическую жизнь региона, способствовать продвижению положительного имиджа и повышению конкурентоспособности университета на рынке образовательных услуг.
В ряде зарубежных стран студенты входят в руководство независимых национальных органов по качеству. В основном выбирают от одного до трёх представителей либо из списка кандидатов, отвечающих разработанным заранее критериям, либо из членов студенческого профсоюза. В Шотландии первоочередными направлениями повышения качества являются «оценка» и «удовлетворение запросов студентов». Совет по финансированию высшего образования Шотландии в сотрудничестве с высшими учебными заведениями разработал метод институциональной проверки, предусматривающий более широкое вовлечение студентов в процесс оценки. Этот подход, применяемый только в Шотландии, включает в себя национальную студенческую службу развития для студентов, желающих принять участие в мероприятиях по обеспечению качества, и национальную тематику в области повышения качества. В высших учебных заведениях США важными средствами получения полезной информации и обратной связи являются опросы мнений, интервью студентов, оценка работы преподавателей, анализ успеваемости студентов по результатам тестов, изучение деятельности выпускников, их мнений о качестве полученного в вузе образования. Существенное значение имеет и анкетирование, в процессе которого студентами оценивается содержа-
ние курсов и качество преподавания, степень удовлетворённости качеством образовательной программы, степень личного развития, степень участия в образовательных программах, степень участия в академических и дополнительных мероприятиях [13, 14, 15].
В этой связи интересен опыт привлечения к оценке качества обучения в высших учебных заведениях студентов США, где существуют специальные центры, предлагающие услуги анкетирования студентов. Например, Центр исследований в области высшего образования (The Center for Postsecondary Research - CPR) в г. Блумингтон, США, проводит два вида анкетирования: опрос студентов на предмет удовлетворённости обучением в колледже (CSEQ -The College Student Expreiences Questionnaire) и опрос студентов на предмет их ожиданий от обучения (The College Student Expectations Questionnaire -CSXQ). Первый вид исследования направлен на выявление уровня качества обучения, условий проживания в студенческом городке и успехов, которых студенты достигли в процессе обучения. Второй вид исследования проходят первокурсники в начале учебного года, описывая свои цели, мотивацию и ожидания от предстоящего обучения в вузе [16].
Анкеты схожи по содержанию и включают достаточно широкий спектр критериев для оценки организации учебного процесса. В начале анкеты студенты предоставляют общую информацию о себе: возраст, пол, семейное положение, этническая или расовая принадлежность, специальность. Студенты также указывают, где и с кем они проживают в течение учебного года, имеют ли они доступ к компьютеру на месте проживания, сколько единиц учебной нагрузки они планируют в предстоящем году, сколько часов в неделю они уделяют самостоятельной работе. Здесь же студенты предоставляют информацию о том, совмещают ли они работу с учёбой, сколько часов в неделю им приходится проводить на работе, и влияет ли это на учёбу, какие у них основные источники дохода, и как они покрывают свои расходы на обучение.
Содержательная часть анкеты состоит из семи разделов. В первом разделе «Оценка видов деятельности в вузе» студентам необходимо отметить, как часто они выполняли то или иное действие в течение учебного года по следующим критериям:
1. «Работа в библиотеке» - обращение к персоналу библиотеки за помощью в поиске необходимой информации, использование алфавитного каталога и базы данных, создание библиографического списка для курсовой и других видов работ.
2. «Компьютерные и информационные технологии» - использование компьютера для анализа данных, подготовка докладов и наглядных пособий (графиков, таблиц), использование обучающих компьютерных программ для усвоения учебного материала, электронной почты для связи с преподавателем или сокурсниками, интернет для поиска необходимой информации по предмету.
3. «Освоение предмета» - выполнение заданий по домашнему чтению, написание подробных конспектов на занятиях, выделение главной информации и ключевых моментов в конспектах, участие в дискуссиях, разработка ролевых игр и обучающих кейсов, выполнение групповых заданий, подготовка проектов и презентаций с другими студентами, применение изученного материала в других сферах деятельности (на работе, практике, занятиях по другим дисциплинам, в общении с членами семьи, друзьями, коллегами) и использование информации из других сфер деятельности на занятиях.
4. «Взаимодействие с работниками факультета» - обсуждение выбора курса или программы обучения с преподавателем, консультации по вопросам написания курсовой работы или исследовательского проекта, по изучаемым курсам, по вопросам отработки пропущенных занятий и другим организационным моментам, консультации с работниками факультета по вопросу трудоустройства и карьеры, взаимодействие с сотрудниками вуза во внеучебное время.
5. «Выполнение письменных заданий» - использование словарей и тезаурусов для уточнения значений слов, тщательный подбор грамматических конструкций и лексики в процессе написания работы, использование справочников и пособий по грамматике и стилистике.
6. «Искусство, музыка, театр» - посещение художественных выставок, галерей, концертов, просмотр пьес или других театрализованных представлений, обсуждение искусства, театра и музыки с другими студентами, друзьями и членами семьи, участие в художественной деятельности или в театрализованном представлении, чтение рецензий искусствоведов, театральных и музыкальных критиков.
7. «Условия проживания в студенческом городке» - оценка удобств и материально-технической базы, использование учебных лабораторий, посещение культурных и социальных мероприятий на территории университета, посещение мест отдыха и развлечений (бассейна, фитнес-центра, площадок), участие в спортивных играх.
8. «Работа в клубах и организациях» - посещение собрания университетского клуба или клуба студенческого самоуправления, работа в комитете университета или других комитетах (общественных мероприятиях, церковных группах).
9. «Личностное развитие» - обсуждение с другом или членом семьи своих реакций на те или иные события, обращение к другу за помощью по личным вопросам, чтение статей и книг по личностному развитию и самосовершенствованию, тестирование на выявление способностей и интересов, обсуждение личных проблем с преподавателем, советником или другим работником вуза;
10. «Взаимодействие с окружающими людьми» - взаимодействие с представителями различных групп людей, общение со студентами другого социального круга, возраста, этнической и расовой принадлежности, религии, а также иностранцами.
11. «Обработка научной и количественной информации» - чтение статей о научных и математических теориях дополнительно к обозначенным в учебной программе, запоминание формул, определений, технических терминов и понятий, использование научных методов при выполнении эксперимента или проекта.
Второй раздел анкеты содержит вопросы, выявляющие, насколько часто студенты обсуждали за пределами университета определённые темы и проблемы с сокурсниками, членами семьи или коллегами. В качестве тем даны следующие варианты: текущие события в новостях, социальные проблемы (мир, справедливость, права человека, равенство, расовые отношения), разнообразные стили жизни и традиции, идеи известных людей, искусство, науку, технологии, социальные и этические проблемы (загрязнение окружающей среды, использование оружия и химикатов), экономику, международные отношения. В этом же разделе студенты отмечают, использовали ли они в обсуждениях информацию, полученную на занятиях.
Первый и второй разделы студенты оценивают по словесной шкале («никогда», «иногда», «часто», «очень часто»), исходя из того, как часто они выполняют ту или иную деятельность.
В третьем разделе «Чтение и письмо» студенты отмечают, сколько книг они прочитали в течение учебного года согласно учебному плану и вне его, а также отмечают выполненные письменные работы (курсовые работы, рефераты и эссе). Оценивать необходимо по цифровой шкале в зависимости от прочитанных книг и выполненных письменных работ.
В четвёртом разделе «Ваше мнение об университете» требуется указать, нравится ли студентам университет и повторили бы они свой выбор, если бы у них был шанс поступать снова.
В пятом разделе «Университетская среда» респондентам предлагается оценить по цифровой шкале от 1 до 7 насколько, по их мнению, университет
уделяет внимание следующим аспектам: формированию академических, интеллектуальных, оценочных, аналитических и творческих способностей, профессиональных компетенций, эстетического вкуса, способности критически мыслить, толерантности, компьютерной грамотности, способам самовыражения, практической направленности изучаемых дисциплин. В этом же разделе студенты оценивают свои взаимоотношения с администрацией, преподавателями и другими студентами.
Шестой раздел «Оценка собственных достижений» предполагает оценку уровня достижения целей в различных видах деятельности. Оценка проводится по следующим пунктам:
- освоение базовых знаний для дальнейшего обучения и будущей карьеры;
- приобретение умений и навыков, применимых к специальному виду деятельности (профессиональные компетенции);
- освоение навыков самостоятельной работы;
- умение логически осмысливать и анализировать информацию;
- работа с учебной литературой;
- освоение новых направлений в науке и технологиях;
- умение представлять информацию;
- использование современных информационных технологий;
- приобретение знаний о других народах и частях света;
- знакомство с философией, культурой и образом жизни представителей других культур;
- умение контактировать с разными людьми и работать в команде;
- способность адаптироваться к изменяющимся условиям;
- определение собственных ценностей, убеждений, способностей и интересов;
- стремление придерживаться здорового образа жизни.
Студенты оценивают достижение целей по словесной шкале «в небольшой степени», «в некоторой степени», «в достаточной степени», «очень хорошо».
В последнем разделе анкеты «Дополнительные вопросы» каждый вуз может добавить до 20 вопросов в соответствии со своей спецификой.
Практически все ведущие вузы страны в разное время пользовались данной анкетой для выявления уровня удовлетворённости студентов качеством образовательных услуг и учебным процессом. Как правило, анкетирование проводится на территории университета. Студенты заполняют электронный вариант анкеты или бумажный вариант, направленный центром в университет. Сотрудники центра собирают и обрабатывают данные, после чего направляют отчёт с результатами в университет.
Особенность данной анкеты заключается в том, что она не только позволяет определить степень удовлетворённости студентов качеством организации учебного процесса и предоставить эти данные руководству университета, но и даёт возможность самим студентам оценить и проанализировать уровень достижения учебных целей за прошедший год.
Практическая деятельность российских вузов показывает отсутствие единой общепринятой и утверждённой системы мониторинга качества образования. В целом не сложились традиции учёта мнения студенческой среды относительно качества преподавания или в более широком смысле качества образования в том или ином вузе, хотя определённые положительные примеры имеются. Одним из путей привлечения студентов к оцениванию качества образования является опрос студентов-выпускников после завершения государственных экзаменов и защиты дипломных работ относительно качества преподавания тех или иных учебных дисциплин.
Информация о существующих потребностях и ожиданиях студентов также может быть получена с помощью их анкетирования через определённые промежутки времени или по окончании изучения определенных дисци-
плин. Используя данную форму обратной связи, можно проследить, как студенты оценивают социальные условия, психологическую атмосферу, доступность изложения материала, условия проживания в общежитии, доступность информационных ресурсов, состояние материальной базы и т. д.
Некоторые вузы систематически проводят самооценку по критериям конкурсов в области качества, организуемых Министерством образования и науки РФ. Один из таких конкурсов «Системы качества подготовки выпускников образовательных учреждений профессионального образования» проводился Рособрнадзором до 2014 года ежегодно с целью стимулирования вузов к поиску современных методов управления, установления ориентиров в области развития систем обеспечения качества подготовки специалистов [9]. Руководство для участников конкурса содержит рекомендации по проведению самооценки и подготовке отчёта по критериям, характеризующим возможности и результаты деятельности образовательных учреждений в части обеспечения качества подготовки выпускников. Модель конкурса включает две группы критериев: первая группа критериев характеризует, как организация добивается результатов в области качества и что делается для этого («возможности»); вторая группа критериев характеризует то, что достигнуто («результаты»). Вторая группа включает, среди прочих, критерий удовлетворённости преподавателей, сотрудников и обучающихся работой и учёбой. Под критерием удовлетворённости обучающихся понимаются результаты, достигнутые образовательным учреждением в отношении удовлетворённости студентов. Приводятся количественные данные, полученные через обратную связь от студентов на основе опросов, анкетирования и других методов изучения непосредственного мнения. В содержание критерия входят следующие составляющие:
- удовлетворённость содержанием образовательных программ, методами обучения и организацией учебного процесса;
- удовлетворённость обслуживанием обучающихся (библиотечное, информационное, социальное, организационное и т. д.);
- удовлетворённость отношением со стороны преподавателей и сотрудников;
- удовлетворённость отношениями в студенческом коллективе;
- удовлетворённость взаимоотношениями с администрацией;
- удовлетворённость информированностью о реализуемой политике, стратегии, целях и задачах образовательного учреждения;
- удовлетворённость вовлечением в процессы образовательного учреждения и их обсуждение;
- удовлетворённость достигнутым уровнем освоения образовательной программы;
- удовлетворённость предоставляемыми дополнительными образовательными и другими услугами;
- удовлетворённость признанием успехов в учебной, научно-исследовательской и внеучебной (спортивной, культурно-массовой) деятельности;
- удовлетворённость соответствием реального образовательного процесса ожиданиям на основе рекламы образовательного учреждения.
Победителями конкурса признаются образовательные учреждения, которые развивают свою систему обеспечения качества подготовки выпускников, достигают наилучших результатов и эффективно применяют на практике подходы современного менеджмента.
При составлении анкет для выявления уровня удовлетворённости студентов качеством организации образовательного процесса многие вузы берут за основу вышеуказанные критерии. Так, например, Владимирский государственный университет, неоднократно принимавший участие в конкурсе, при составлении анкеты для студентов использовал данные критерии, дополнив её вопросами о ценностях выбранной профессии, о влиянии образовательного процесса на реализацию индивидуальных способностей студентов [1].
Специалисты Московского государственного университета печати при разработке анкетирования «Осознание профессии: оценка качества образования» также брали за основу критерии конкурса, добавив к ним критерий объективности существующей системы оценки знаний и критерий удовлетворённости доступностью информации о жизни вуза. Студентам также предлагалось ответить на вопросы о том, приходится ли им совмещать работу с учёбой, связана ли их работа с получаемой специальностью, достаточно ли хорошо вуз готовит их к жизни и труду в современных условиях, и как они оценивают свои перспективы на рынке труда.
В социологическом исследовании «Качественный вуз глазами студентов», проведённом в Тюменском государственном университете, студенты оценивали качество образования в вузе по следующим основным критериям: качество преподавания дисциплин по блокам (математические и естественнонаучные дисциплины, гуманитарные и социально-экономические дисциплины, общепрофессиональные дисциплины), контроль за учебным процессом, качество образовательных программ, участие студентов в жизни вуза, моральный климат в коллективе, компетентность управления учебным процессом, возможности для саморазвития, доступность информации, условия учёбы (санитарное состояние, освещение, отопление, шум), техническая оснащённость учебного процесса, качество лабораторного оборудования, качество организации практики, возможности для совмещения учёбы и работы [6].
Армавирский государственный педагогический университет в процессе мониторинга качества подготовки студентов включил в критериальный комплекс два блока оценки качества: критерий качества результата и критерий качества функционирования образовательного процесса. По критерию качества результата студенты оценивали свои учебные достижения и личностное развитие. По критерию качества функционирования образовательного процесса предлагалось оценить различные виды обеспечения учебного процесса: целевое, содержательное, технологическое, ресурсное, кадровое, информационное, учебно-методическое, организационное [8].
Одним из университетов, который регулярно проводит социологические опросы студентов на предмет удовлетворённости качеством образовательного процесса, является Санкт-Петербургский государственный электротехнический университет «ЛЭТИ» имени В.И. Ульянова (Ленина). В рамках модели совершенствования деятельности вуза, основанной на Бельгийско-нидерландской модели улучшения качества высшего образования и модели конкурса Рособрнадзора, отделом развития образования проводился анкетный опрос студентов 3-5 курсов очной формы обучения. Анкета состояла их четырёх блоков: выбор вуза и удовлетворённость студенческой жизнью, оценка морально-нравственной атмосферы в вузе, учебный процесс глазами студента и внеучебная деятельность. Каждый блок включал вопросы с вариантами ответов. Анкета интересна тем, что помимо оценки деятельности университета по критериям, обозначенным в конкурсе, в содержание были включены вопросы, выявляющие отношение студентов к актуальным студенческим проблемам (поиск будущего места работы, дороговизна и недостаточно комфортные условия проживания в студенческом общежитии, распространение наркотиков и т.д.). Анкета также включала ряд вопросов на выявление мнения студентов относительно некоторых аспектов организации работы вуза: что должно быть улучшено при увеличении доли самостоятельной работы, какие направления необходимо развивать в вузе, способствуют ли условия в вузе здоровому образу жизни [7].
Большое внимание участию студентов в оценке и управлении качеством учебного процесса уделяется в Российском университете дружбы народов, в котором была создана система участия студентов в совершенствовании сферы образования университета. На начальном этапе создания этой системы университетом было проведено социологическое исследование «Оценка студентами качества обучения в РУДН». Предметом исследования
являлось качество обучения, которое рассматривали на двух уровнях: уровне организации учебного процесса и уровне передачи и контроля знаний. Каждый уровень включал ряд критериев качества обучения. К уровню организации процесса обучения были отнесены такие критерии, как материально-техническое обеспечение, составление расписания занятий, работа учебно-вспомогательного персонала, обеспечение учебной литературой и учебно-вспомогательными материалами, информирование студентов. Уровень передачи и контроля знаний содержал следующие критерии: знания, получаемые на аудиторных и практических занятиях, работа преподавателей и контроль знаний. По каждому критерию студентам также предлагалось внести предложения по улучшению качества организации учебного процесса [5].
Как следует из перечисленных примеров, во многих зарубежных и российских вузах студенты принимают активное участие в оценке качества организации образовательного процесса. Студенты входят в состав советов по качеству, дают интервью, принимают участие в социологических опросах, тестировании. Одним из наиболее распространённых видов опроса студентов является анкетирование, которое позволяет выявить удовлетворённость студентов различными аспектами обучения в вузе: качеством преподавания, материально-техническим обеспечением, расписанием занятий, работой учебно-вспомогательного персонала, социальной средой. Результаты проводимых исследований позволяют администрации вузов выявить степень удовлетворённости студентов качеством организации учебного процесса и корректировать свою деятельность в соответствии с выявленными проблемами.
В Сургутском государственном педагогическом университете мониторинг удовлетворённости студентов качеством образования выстроен в рамках одного из процессов системы менеджмента качества, относящегося к группе процессов мониторинга и измерения. В структуре данного процесса «Мониторинг удовлетворённости потребителей качеством образовательной деятельности СурГПУ» реализуется несколько направлений мониторинга или измерения уровня удовлетворённости: удовлетворённость студентов качеством обучающей деятельности профессорско-преподавательского состава, удовлетворённость студентов качеством организации образовательного процесса, удовлетворённость выпускников и работодателей качеством профессиональной подготовки в СурГПУ, удовлетворённость сотрудников качеством условий организации профессиональной деятельности в СурГПУ. Назначение данного процесса - выявление оснований для постоянного улучшения качества образования, принятия оптимальных управленческих решений в сфере подготовки специалистов, повышения удовлетворённости потребителей. Исследование удовлетворённости студентов качеством образовательной деятельности осуществляется в университете с 2003 года и проводится по двум направлениям: удовлетворённость студентов качеством обучающей деятельности профессорско-преподавательского состава и оценка качества организации учебного процесса. В первом исследовании студенты оценивают профессиональную деятельность преподавателей по критериям, характеризующим совпадение его индивидуального профессионального стиля преподавания действующим в вузе требованиям и ожиданиям студентов. Второе исследование проводится с целью выявления степени удовлетворённости студентов качеством организации образовательного процесса.
В рамках проводимых в университете исследований удовлетворённости студентов качеством организации образовательного процесса, как правило, выявляется обобщённый уровень восприятия качества преподавания групп дисциплин - общекультурного или общепрофессионального блока, удовлетворённость организационными аспектами учебного процесса, удовлетворённость социально-психологическими аспектами организации образовательного процесса, удовлетворённость взаимодействием с администрацией и преподавателями, а также уровень личностного и профессионального саморазвития.
В качестве метода исследования удовлетворённости студентов качеством организации образовательного процесса используется анкетный опрос студентов 1-5 курсов всех факультетов. В основу содержания анкеты положено содержание критерия «Удовлетворённость обучающихся в образовательном учреждении» руководства для участников конкурса Рособрнадзора «Системы качества подготовки выпускников образовательных учреждений профессионального образования».
В анкете 4 содержательных блока оценки: качество преподавания, материально-техническое и информационное обеспечение учебного процесса, социальная среда в вузе и организация учебного процесса. В разделе «Качество преподавания» студентам предлагается оценить обобщённое качество преподавания дисциплин, уровень компетентности и профессионализма преподавателей, систему оценки знаний в вузе. Содержание данного раздела различается в зависимости от курса: студенты 1-2 курсов оценивают качество преподавания дисциплин общекультурного и естественнонаучного блока учебного плана, студенты 3-5 курсов - качество преподавания специальных дисциплин. Раздел «Материально-техническое и информационное обеспечение учебного процесса» включает оценку учебно-вспомогательных материалов и электронно-информационных ресурсов, технических средств обучения, специализированных лабораторий и аудиторий, качества работы библиотеки. В разделе «Социальная среда в вузе» студенты оценивают морально-психологический климат в университете, условия для занятий физической культурой и спортом, бытовые условия проживания в общежитии, качество медицинского обслуживания, качество работы студенческой столовой. В последнем разделе «Организация учебного процесса» студенты дают оценку работы деканата, качества организации практики, организации научно-исследовательской работы.
Содержание второй и третьей частей анкеты составлено на основе методико-диагностического комплекса организации обратной связи в системе «Преподаватель-студент», разработанного Сибирским федеральным университетом. В данном разделе анкеты создана возможность оценить наиболее часто используемые преподавателями формы, приёмы, технологии обучения, виды учебной деятельности, а также степень влияния вуза на личность студента и его профессиональное развитие. В рамках анкетирование предполагается также изучение особых мнений студентов по разным аспектам организации образовательного процесса.
Обработка собранной информации по анкетированию студентов проводится путём анализа полученных ответов и построения диаграмм по каждому пункту, а также обзора пожеланий, высказанных в конце каждого раздела анкеты.
Каждое утверждение оценивается по пяти категориям ответов (5 - да, 4 - скорее да, 3 - скорее нет, 2 - нет, 1 - затрудняюсь ответить). Процент полученных ответов по каждой категории вычисляется по следующей формуле:
$(%) = АО /(2 х АО х 100% ,
где S - количество полученных ответов определённой категории, 2 - наибольшая возможная сумма ответов, N - цифра, обозначенная для категории.
Использование данной формулы можно показать на следующем примере:
Допустим, утверждение «В процессе обучения я обеспечен(а) необходимыми учебно-вспомогательными материалами и электронно-информационными ресурсами» 699 студентов из 1075 оценили, выбрав вариант ответа «да». Применяя формулу, мы получаем следующий результат:
5 (%) = (699 х 5) /(1075 х 5) х 100% = (3495 / 5375) х 100% = 0,65 х 100% = 65%.
Таким образом, 65% респондентов при оценке данного утверждения выбрали вариант ответа «да».
Удовлетворённость студентов определённым аспектом вычислялась по следующей формуле:
У С = ((^ДА Х 5) /(2 ДА Х 5)) + ((¿¡СКОРЕЕ ДА Х 4) /(^СКОРЕЕ X 4)) X 100% # где S - количество ответов «да», S - количество ответов «скорее да», Z - наи-
"да 1—1' скорее да 1 " да
большая возможная сумма ответов «да», J. - наибольшая возможная сумма отве-
скорее да
тов «скорее да».
Вычисление процента удовлетворённости студентов определённым аспектом организации образовательного процесса можно показать на следующем примере:
Допустим, при оценке утверждения «Меня устраивает расписание занятий в целом» 466 студентов из 1075 выбрали вариант ответа «да», 271 студент - вариант ответа «скорее да». Применяя формулу, мы получаем следующий результат:
ус = ((466 х 5) /(1075 х 5)) + ((271 х 4) /(1075 х 4)) х 100% = (2330/5375) + + (1084 / 4300) х 100% = (0,43 + 0,25) х 100% = 0,68 х 100% = 68%.
Таким образом, 68% респондентов удовлетворены расписанием занятий.
Аналогичным образом высчитывается процент неудовлетворённости студентов, а также процент нейтральных ответов (вариант «затрудняюсь ответить»).
Исследование удовлетворённости студентов качеством организации учебного процесса и качеством преподавания обеспечивается в рамках сотрудничества отдела управления качеством с работниками факультетов (заместители деканов по учебной по воспитательной работе, тьюторы, специалисты по учебно-методической работе и др.) Организация и проведение анкетирования административно поддерживается приказом проректора по учебной работе. Студенты привлекаются для участия в анкетировании в компьютерные классы университета по заранее составленному расписанию для заполнения электронных форм анкет, которые в дальнейшем подвергаются обработке с использованием программных ресурсов пакета SPSS. Обработку полученных в ходе анкетирования данных и подготовку служебной публикации по результатам исследования осуществляют специалисты отдела управления качеством. Обсуждение результатов анкетирования студентов по полученным в публикации данным осуществляют на разных уровнях заинтересованные в повышении качества образования должностные лица и сотрудники. Публикации рассылаются также в библиотеку университета для обеспечения доступа к результатам исследования его участников - студентов.
Обработка полученных данных предполагает выявление уровня удовлетворённости студентов по каждому вопросу анкеты как в обобщённом виде, так и для каждого отдельного факультета и курса. Это позволяет более детально видеть области низкой удовлетворённости, соотнести эти показатели с деятельностью конкретных лиц, обеспечивающих необходимые компоненты образовательного процесса.
По итогам обработки полученных в ходе исследования данных формируется ранжированный список обобщённых показателей удовлетворённости студентов по вопросам анкеты, в результате построения которого определяются критические области деятельности университета по организации образовательного процесса. После формирования ранжированного списка вычисляется индекс удовлетворённости студентов как среднее значение удо-
влетворённости. Таким образом, результаты исследования становятся данными для принятия соответствующих управленческих решений по критическим областям удовлетворённости.
Результаты последнего исследования, проведённого в 2013-2014 учебном году в Сургутском государственном педагогическом университете, показывают, что в целом уровень удовлетворённости студентов качеством организации образовательного процесса в СурГПУ достаточно высокий - средний процент удовлетворённости составляет 78,5%. Из таблицы с проран-жированным списком удовлетворённости студентов по всем показателям следует, что лишь по одному из них оценки не превышают 50% барьер. Более всего студенты довольны условиями для занятий физической культурой и спортом, отношениями в студенческом коллективе и отношением со стороны преподавателей, обеспеченностью учебно-вспомогательными и электронно-информационными ресурсами. Чуть меньший процент удовлетворённости отмечается при оценке качества преподавания специальных дисциплин, работы столовой, поощрений за достижения в учебной и внеучебной деятельности. Менее всего студенты удовлетворены текущими характеристиками организации учебного процесса (изменениями в расписании) и условиями проживания в общежитии (табл. 1).
Таблица 1
Рейтинг оценок студентов по удовлетворённости компонентами качества организации образовательного процесса
Критерии оценки % удовлетворённости Ранг
1 2 3
Вуз имеет необходимое спортивное оборудование, созданы условия для занятий физической культурой и спортом 95,7 1
Меня устраивает качество преподавания философии, а также уровень компетентности и профессионализма преподавателя данной дисциплины 95,5 2
Меня устраивает качество преподавания физической культуры, а также уровень компетентности и профессионализма преподавателя данной дисциплины 92,7 3
Отношения в студенческом коллективе доброжелательные 91,6 4
Читальные залы удобны для работы, имеют достаточное количество мест 90,8 5
Меня устраивает качество преподавания математики, а также уровень компетентности и профессионализма преподавателя данной дисциплины 88,3 6
В процессе обучения я имею доступ к современным информационным технологиям (возможность работы на компьютере, использование ресурсов интернета) 88,2 7
В целом меня устраивает организация учебного процесса 87,9 8
В процессе обучения я обеспечен(а) необходимыми учебно-вспомогательными материалами и электронно-информационными ресурсами 87,3 9
Отношение к студентам со стороны преподавателей доброжелательное 87,3
Продолжение табл. 1
1 2 3
Меня устраивает качество преподавания иностранного языка, а также уровень компетентности и профессионализма преподавателя данной дисциплины 86,8 10
Меня устраивает уровень компетентности и профессионализма преподавателей специальных дисциплин 85,7 11
Качество приготовления блюд в студенческой столовой высокое 85,2 12
Меня устраивает качество преподавания информатики, а также уровень компетентности и профессионализма преподавателя данной дисциплины 84,1 13
Санитарно-гигиеническое состояние столовой хорошее, соблюдаются санитарные нормы при обслуживании 84,7 14
Учебный рейтинг помогает управлять уровнем качества моей успеваемости по изучаемым дисциплинам 84,4 15
Места общего пользования общежития содержатся в удовлетворительном состоянии 84,1 16
В целом меня устраивает качество преподавания специальных дисциплин 83,9 17
Отношение к студентам со стороны администрации доброжелательное 83,9
Преподаватели специальных дисциплин ориентируют на использование изучаемого материала в будущей профессиональной деятельности 83,0 18
Администрация вуза поощряет студентов за достижения в учебной, научно-исследовательской и внеучебной деятельности 82,9 19
Я буду рекомендовать своим знакомым поступление в СурГПУ 82,9
Организация практики по специальности позволяет формировать профессиональные компетенции 80,8 20
Электронные каталоги библиотеки удобны для поиска необходимой учебной и научной литературы по специальности 80,8
Задания на самостоятельную работу по специальным дисциплинам сопровождаются методическими материалами и рекомендациями по их выполнению 80,1 21
Важная для учебной деятельности информация всегда доступна и своевременно доводится до сведения студентов 78,2 22
Компьютерное оснащение читальных залов обеспечивает удалённый доступ к информационным ресурсам других библиотек 77,6 23
Теоретическая подготовка по специальным дисциплинам формирует представление о современных требованиях к профессии 76,7 24
Бытовые условия проживания в общежитии удовлетворительные 76,1 25
Окончание табл.1
1 2 3
Мне оказывается помощь со стороны научного руководителя в подготовке и написании курсовых работ, выпускной квалификационной работы 75,6 26
Я считаю, что система оценки знаний в вузе справедлива и объективна 74,5 27
Я всегда могу найти нужного мне преподавателя или узнать о времени его работы 73,5 28
Мне оказывается активное содействие в научно-исследовательской работе: публикации научных статей, участии в олимпиадах и конференциях, конкурсах научно-исследовательских работ, проектов 73,5
В учебном процессе используются элементы наглядности и технические средства обучения 71,7 29
Медицинское обслуживание обеспечивает мои необходимые минимальные потребности, отличается качеством и систематичностью 70,7 30
Я информирован о миссии и политике университета в области качества 70,0 31
Количество учебных пар в расписании недели распределено оптимально 69,9 32
Для проведения лабораторно-практических занятий имеются специализированные аудитории и лаборатории 69,8 33
Меня устраивает качество преподавания истории, а также уровень компетентности и профессионализма преподавателя данной дисциплины 69,6 34
Руководитель практики курирует качество прохождения мною практики, оказывает консультативную помощь 69,5 35
Соотношение между теоретическим и практическим материалом по специальным дисциплинам оптимальное 69,3 36
Меня устраивает расписание занятий в целом 68,6 37
Ремонт сантехники, мебели, комнат осуществляется своевременно 67,4 38
Объем знаний и умений по специальным дисциплинам позволяет успешно проходить практику 66,5 39
Персонал общежития вежлив и отзывчив к просьбам студентов 65,9 40
В расписании я имею свободный день для подготовки курсовых работ, выпускной квалификационной работы 65,2 41
При организации учебного процесса учитывается мнение студентов 62,7 42
В расписании не бывает сбоев, незапланированных изменений 48,8 43
Средний % удовлетворённости 78,5
Из всех аспектов учебной деятельности наибольший процент удовлетворённости наблюдается при оценке студентами материально-технического и информационного обеспечения учебного процесса, однако и здесь необходимо отметить ряд проблем, обозначенных студентами. Это, прежде всего, недостаточное количество специализированных лабораторий для практических занятий и недостаточное техническое оснащение имеющихся аудито-
рий, отсутствие свободного доступа в интернет. Многие студенты также отмечают плохое качество техники либо её неисправность. Данную проблему следует принимать во внимание, поскольку от качества и исправности техники напрямую зависит возможность использования наглядности на занятиях. Так, оснащение большего количества аудиторий проекторами и интерактивными досками позволит преподавателям намного чаще применять на занятиях разнообразные формы и методы работы.
Ещё одна проблема, которую студенты достаточно часто отмечали при оценке организации учебного процесса, - сбои и незапланированные изменения в расписании, неравномерное распределение количества учебных пар в расписании недели, недостаточное количество времени, отводимое на подготовку курсовых работ и выпускной квалификационной работы. Исходя из этого, методистам и менеджерам специальностей необходимо учитывать мнение студентов при организации учебного процесса, информировать о времени работы конкретных преподавателей, а также заранее сообщать о возможных изменениях и проводимых мероприятиях.
Наименьший процент удовлетворённости и наибольшее количество пожеланий и предложений наблюдается при оценке студентами социальной среды в вузе. Большинство студентов недовольны условиями проживания в общежитии и отношением к ним персонала общежития. Проблему взаимодействия с сотрудниками вуза студенты также отмечали при оценке взаимоотношений с преподавателями - многие считают, что преподаватели предвзяты и субъективно оценивают студентов.
Степень удовлетворённости студентов качеством организации образовательного процесса выше средних значений, однако наряду с позитивными тенденциями отмечаются также и негативные, которые следует принимать во внимание администрации вуза, а также руководству факультетов и кафедр университета, преподавателям и другим сотрудникам для совершенствования образовательной деятельности вуза и формирования адекватного ожиданиям потребителей качества образования.
Проведение исследования удовлетворённости качеством обучающей деятельности профессорско-преподавательского состава Сургутского государственного педагогического университета проводится с учётом взаимодействия студента с конкретным преподавателем в рамках учебной дисциплины. В ходе анкетирования выявляется уровень удовлетворённости студента качеством преподавания по ряду совокупных компонентов его профессиональной деятельности и предусматривает оценку восприятия уровня культуры организации работы, профессиональной компетентности по читаемой дисциплине и качества преподавания (выбор технологий обучения, организация учебного процесса, учебно-методическое сопровождение дисциплины). Получаемые в ходе исследования данные о восприятии студентами качества преподавания генерируются и соотносятся с «моделью ожидаемой оценки удовлетворённости», выработанной с участием экспертов на основе статистической обработки их мнений о приемлемых границах удовлетворённости студентов по каждой группе вопросов (культура организации работы, профессиональная компетентность, качество преподавания).
Данные, получаемые в ходе сопоставления реального результата оценки удовлетворённости студентов и модели ожидаемой оценки позволяют выявить критические области восприятия и дают возможность преподавателю, которого оценивали студенты, увидеть себя их глазами, а также соответствующим образом отреагировать на их оценки. Однако случается, что критические оценки по качеству преподавания студенты высказывают в адрес требовательных и строгих преподавателей, не позволяющих студентам прогуливать занятия, не выполнять требования по учебной дисциплине.
Обобщая рассмотренный в настоящей публикации опыт организации мониторинга удовлетворённости обучающихся качеством образования, можно констатировать, что как в зарубежном, так и в отечественном образовательном пространстве не существует одинаковых подходов. Однако можно
с полной уверенностью утверждать, что мониторинг удовлетворённости обучающихся осуществляется в тех вузах, в которых существует и развивается система управления качеством образования, обеспеченная соответствующими организационными, кадровыми, нормативными и научными ресурсами. А в условиях, когда системной работы вуза по управлению качеством образования нет, а подобные исследования проводятся нерегулярно и эпизодически, нельзя гарантировать, что голос студента будет услышан, а качество образования будет совершенствоваться.
Возможно, именно по этой причине в России появились разнообразные гражданские инициативы, такие как общественное движение «Честный вуз», поднимающее вопросы участия общественных объединений студентов в противодействии коррупции и правонарушениям в образовательной среде, правовая поддержка студенчества по вопросам качества получения образовательных услуг, обеспечение безопасности студенческих общежитий [3].
Другим таким примером можно считать студенческое общественное движение «За качественное образование», в рамках деятельности которого обосновывается необходимость участия студентов в процедуре мониторинга удовлетворённости качеством образования, актуализируются вопросы формирования компетентности студентов в области проведения исследований удовлетворённости, обсуждаются аспекты качества образования, проекты документов, таких как «Студенческий стандарт качества образования» [10, 11, 12].
Развитию студенческой инициативы в вопросах управления качеством образования путём применения инструментов мониторинга удовлетворённости обучающихся его качеством необходимо повсеместно содействовать, однако нужно также принимать во внимание и то, как студенты видят себя в образовательной системе вуза. Рассматривая созданные общественными объединениями материалы, мы можем констатировать, что пока для студентов формируются «инспекционные» функции, в рамках которых позиционируются потребительские запросы обучающихся к качеству образовательной услуги и её составляющих характеристик. Нам же такой подход видится не совсем верным, поскольку большая часть студентов часто не осознают свою роль в формировании соответствующего уровня качества образования, и не имеют представлений о желаемом уровне своих собственных квалификационных характеристик. Отношение к обучению у студентов тоже нельзя считать идеальным, а академическая успеваемость является очень точным индикатором учебной мотивации студентов. При проведении исследований удовлетворённости этот аспект тоже играет важную роль: к примеру, при оценке качества преподавания, если студент посещает все занятия оцениваемого преподавателя, выполняет его требования по изучаемому курсу, в результате чего имеет определённые учебные достижения, то при оценивании качества преподавания он хорошо помнит не только имя преподавателя и название учебного курса, который он ведёт, но и индивидуальный стиль преподавателя, его подходы к преподаванию и оцениванию результатов обучения студента. Если же к оцениванию привлекается студент, не посещавший или изредка посещавший занятия, то его восприятие качества преподавания будет иным.
В этой связи нам представляется важным в рамках развития общественных инициатив по управлению качеством образования формировать, прежде всего, систему самооценки учебной деятельности студента, задачей которой будет повышение уровня осознанности учебной деятельности, уровня учебной мотивации, а уже потом включаться в инспекционную деятельность по оценке качества образования, предоставляемого образовательной организацией. При этом, создание вузовских студенческих структур по оценке качества образования, на наш взгляд, необходимо на основе сотрудничества интегрировать в вузовскую систему мониторинга удовлетворённости обучающихся, а уже потом, после формирования необходимого уровня компетентности в данных вопросах, переводить студенческие структуры в режим соуправления.
Литература
1. Анализ удовлетворённости студентов [Электронный ресурс]. - Режим доступа: http://smk.vlsu.ru/index.php?option=com_content&view=article&id=46 &Itemid=49.
2. Варламова, А.И. Сравнительный анализ подходов к оценке качества высшего образования в России и за рубежом [Текст] / А.И. Варламова // Вестник Московского государственного областного университета. Сер. «Педагогика». - М. : Изд-во МГОУ, 2009. - № 3. - С. 13-16.
3. Глава Рособрнадзора обсудил со студенческим сообществом качество образования в вузах РФ [Электронный ресурс]. - Режим доступа: http://obrnadzor. gov.ru/ru/press_center/news/index.php?id_4=4243).
4. Гринкруг, Л.С. Мониторинг качества образовательной деятельности вуза: грани проблемы [Текст] / Л.С. Гринкруг., Б.Е Фишман, И.В. Мусовской // Фундаментальные исследования. - 2007. - № 10 - С. 44-46.
5. Ефремов, А.П. Оценка студентами качества обучения в РУДН [Текст] / А.П. Ефремов [и др.] // Вестник российского университета дружбы народов. - 2005. - № 1 (2).
6. Качественный вуз глазами студентов [Электронный ресурс]. - Режим доступа: http://okko.utmn.ru/sec/874.
7. Модель самообследования ЛЭТИ [Электронный ресурс]. - Режим доступа: http://engec.ru/ka4estvo/sistema/self/leti.
8. Мониторинг качества подготовки студентов с учётом европейских подходов [Электронный ресурс]. - Режим доступа: http://expert-nica.ru/library/ sbornik2.
9. О конкурсе «Системы качества подготовки выпускников образовательных учреждений профессионального образования» [Электронный ресурс]. - Режим доступа: http://udsu.ru/official/kon_sis_kach.
10. Проект студенческого стандарта качества образования [Электронный ресурс]. - Режим доступа: http://www.studstandart.ru/images/docs/ Проект_сту-денческого_ стандарта_качества_образования.pdf.
11. Протокол совместного открытого заседания Комиссии по вопросам качества образования Совета Министерства образования и науки Российской Федерации по делам молодёжи и рабочей группы Федеральной службы по надзору в сфере образования и науки по координации общественных проектов и программ в области развития качества образования [Электронный ресурс]. - Режим доступа: http://www.studstandart.ru/images/docs/Protokol_ sovmestnogo_zasedania_23_09_2014.pdf.
12. Устав всероссийского общественного движения за качественное образование [Электронный ресурс]. - Режим доступа: http://www.studstandart.ru/ images/docs/%D0%A3%D1%81%D1%82%D0%B0%D0%B2.pdf.
13. Choon, L.K. Education Quality Process Model and Its Influence on Students' Perceived Service Quality [Текст] / L.K. Choon // International Journal of Business and Management. - Vol. 5. - 2010. - № 8. - Р. 167.
14. Constructing a Survey Questionnaire to Collect Data on Service Quality of Business Academics [Текст] // European Journal of Social Sciences. - Vol. 29. -2012. - № 2. - P. 209.
15. Erik, H. Cohen Student evaluations of course and teacher: factor analysis and SSA approaches [Текст] / H. Erik // Assessment & Evaluation in Higher Education. - Vol. 30. - 2005. - № 2. - P. 123.
16. The College Student Experiences Questionnaire Assessment Program [Электронный ресурс]. - Режим доступа: http://cseq.iub.edu/cseq_generalinfo.cfm.
