CC BY
97
DOI: 10.18287/2542-0445-2018-24-2-56-62 Дата поступления статьи: 12/IV/2018
УДК 978 Дата принятия статьи: 15/V/2018
Е.В. Кузнецова
МЕТОДИКА МОНИТОРИНГА УДОВЛЕТВОРЕННОСТИ СТУДЕНТОВ ВУЗА КАЧЕСТВОМ ОБРАЗОВАТЕЛЬНЫХ ПРОГРАММ
© Кузнецова Елена Васильевна — кандидат физико-математических наук, доцент, кафедра прикладной математики, Липецкий государственный технический университет, 398600, Российская Федерация, г. Липецк, ул. Московская, 30.
E-mail: [email protected]. ORCID: https://orcid.org/0000-0001-5408-2070
АННОТАЦИЯ
В настоящее время в связи с присоединением России к Болонскому процессу актуальной стала проблема комплексной оценки качества образования. Среди показателей, которые необходимо рассматривать вместе с другими критериями результативности учебного процесса, те, что отражают степень удовлетворенности студентов качеством образовательных услуг, предоставляемых вузом. Для организации студенческих опросов необходимы надежные и валидные оценочные инструменты, где надежность — один из признаков качества оценочного инструмента, характеризующий устойчивость к погрешностям измерения, валидность — способность инструмента измерять то, что планировали его разработчики. На основе анализа российского и зарубежного опыта проведения студенческих опросов на кафедре прикладной математики Липецкого государственного технического университета нами был разработан оценочный инструмент — методика мониторинга удовлетворенности студентов качеством образовательных программ. Целью данного исследования является анализ надежности и валидности данной методики. В качестве надежности разработанного оценочного инструмента рассматривалась внутренняя согласованность пунктов анкеты, оцениваемая с помощью расчета значений Альфа Кронбаха. В качестве степени валидности — содержательная валидность, то есть анализировалось, насколько полученные результаты согласуются с теорией и практикой обучения. Результаты опроса студентов четвертого курса направления «прикладная математика» обрабатывались посредством расчета значений Альфа Кронбаха и применения регрессионного анализа. Проведенное исследование позволяет сделать вывод, что разработанный нами оценочный инструмент обладает внутренней согласованностью и содержательной валидностью. Поэтому результаты студенческих опросов, проведенные посредством его применения, могут быть использованы для анализа качества образовательных программ в вузе.
Ключевые слова: оценка качества образования, опрос студентов, оценочный инструмент, надежность, валидность.
Цитирование. Кузнецова Е.В. Методика мониторинга удовлетворенности студентов вуза качеством образовательных программ // Вестник Самарского университета. История, педагогика, филология. 2018. Т. 24. № 1. С. 56-62. БОТ: https://doi.org/10.18287/2542-0445-2018-24-2-56-62.
© ®
This is an open access article distributed under the Creative Commons Attribution License Which permits unrestricted use, distribution, and reproduction in any medium, provided the original work is properly cited. (CC BY 4.0)
DOI: 10.18287/2542-0445-2018-24-2-56-62 Submitted: 12/IV/2018
UDC 978 Accepted: 15/V/2018
E.V. Kuznetsova
METHODOLOGY FOR MONITORING OF STUDENTS' SATISFACTION WITH THE QUALITY OF EDUCATIONAL PROGRAMS
© Kuznetsova Elena Vasilievna — Candidate of Physical and Mathematical Sciences, associate professor, Department of Applied Mathematics, Lipetsk State Technical University, 30, Moskovskaya Street, Lipetsk, 398600, Russian Federation.
E-mail: [email protected]. ORCID https://orcid.org/0000-0001-5408-2070
ABSTRACT
At present, in connection with the accession of Russia to the Bologna Process, the problem of a comprehensive assessment of the quality of education has become topical. Among the indicators that should be considered together with other criteria for the effectiveness of the educational process are indicators reflecting the degree of student satisfaction with the quality of educational programs provided by the university. Student interviews require reliable and validated evaluation tools, where reliability is one of the hallmarks of the quality of the evaluation tool, characterizing the resistance to measurement errors, validity is one of the hallmarks of the ability of the tool to measure what its developers planned. Based on the analysis of Russian and foreign experience in conducting student interviews, at the Department of Applied Mathematics of Lipetsk State Technical University we developed an evaluation tool - a methodology for monitoring students' satisfaction with the quality of educational programs. The purpose of this study is to analyze the reliability and validity of this technique. As reliability of the developed evaluation tool, the internal consistency of items of the questionnaire was considered and estimated by means of calculating Cronbach's Alfa values. As a degree of validity, the content validity was considered, that is analysis, how much the results obtained are consistent with the theory and practice of training. The results of the survey of the fourth year students of the direction «applied mathematics» were analyzed by applying the regression analysis and calculating the values of Cronbach's Alfa. The carried out research allows to draw the conclusion that the evaluation tool developed by us has internal consistency and substantial validity. Therefore, the results of student surveys conducted through the application of this evaluation tool can be used to analyze the quality of educational programs at a university.
Key words: assessment of the quality of education, student survey, evaluation tool, reliability, validity.
Citation. Kuznetsova E.V. Metodika monitoringa udovletvorennosti studentov vuza kachestvom obrazovatelnykh programm [Methodology for monitoring of students' satisfaction with the quality of educational programs]. Vestnik Samarskogo universiteta. Istoriia, pedagogika, filologiia [Vestnik of Samara University. History, pedagogics, philology], 2018, Vol. 24, no. 1, pp. 56-62. DOI: http://doi.org/10.18287/2542-0445-2018-24-2-56-62.
Сегодня не вызывает сомнения тот факт, что инновационное развитие образования невозможно без активного участия студентов в процессе обучения. Поэтому изучение удовлетворенности студентов качеством образовательных программ становится все более актуальным. Как показывает зарубежный опыт, практика проведения студенческих опросов получает широкое распространение с конца 1960-х, что, по мнению S. Darwin, вызвано ростом студенческих волнений и общим недовольством качеством образования в обществе [Darwin]. С тех пор учеными разных стран разработано большое количество оценочных инструментов, позволяющих выявить и проанализировать отношение студентов к изучению отдельных дисциплин и образовательных программ в целом. Термин «оценочный инструмент» применяется, как правило, для обобщающего понятия, обозначающего тест, опросник, методику оценивания [Тюменева, Яременко]. Различ-
ные аспекты, связанные с проведением студенческих опросов, отражены в многочисленных исследованиях. В работе [Benton, Cashin] обобщаются результаты исследований по данной проблеме за период с 1970 по 2013 год. Авторы отмечают, что, осуществляя поиск в онлайн-библиотеке исследований и информации в области образования ERIC (Education Resources Information Center) и используя такие ключевые слова, как student evaluation of teacher performance и higher education, они получили 1874 ссылок. Аналогичный поиск, проведенный нами в январе 2018 года, выявил наличие 56 185 ссылок на статьи, посвященные исследованию проблем студенческих опросов. Иными словами, данная тема по-прежнему остается актуальной среди исследователей.
В России Министерством высшего и среднего образования в конце 1980-х в вузах была введена практика опросов студентов с использованием ан-
кеты «Преподаватель глазами студента». Появление данной анкеты вызвало критику со стороны ученых-исследователей и преподавателей-практиков [Горбатенко; Зеленцов; Левченко]. В публикациях того времени отмечались отсутствие исследований психометрических свойств данного опросника, некорректная интерпретация и использование результатов анкетирования. Проведение регулярных опросов в вузах постепенно прекратилось. Сегодня в связи с присоединением России к Бо-лонскому процессу проблема оценки качества образования снова стала актуальной. Однако в настоящее время разработка анкет и их применение происходят на уровне отдельных вузов (например, диссертация [Марухина], статьи [Борычев; Запе-соцкий; Зеленев, Туманов; Кузнецова, 2011a]). И несмотря на то, что проведение студенческих опросов постепенно становится привычной процедурой, публикации, посвященные анализу применяемых оценочных инструментов, крайне редки.
Существуют различные мнения относительно достоверности результатов анкетирования студентов (например, [Benton, Cashin; Марухина, 2004]). Однако и сторонники, и критики проведения студенческих опросов сходятся во мнении, что к результатам студенческих оценок необходимо взвешенное отношение как к одному из показателей качества образования, который следует рассматривать в комплексе с другими показателями результативности учебного процесса.
На кафедре прикладной математики в Липецком государственном техническом университете (ЛГТУ) большое внимание уделяется организации обратной связи со студентами и мониторингу удовлетворенности студентов качеством образовательных программ [Кузнецова, 2011б]. Это обусловлено несколькими причинами. Во-первых, сегодня прикладная математика — это динамично развивающаяся отрасль науки, тесно связанная с разработкой и применением информационных технологий. Поэтому подготовка конкурентоспособных и востребованных на рынке труда специалистов данного направления требует постоянной коррекции учебного процесса. Во-вторых, карьеру математика выбирают математически одаренные молодые люди с высоким уровнем интеллекта. Как правило, они хотят быть активными участниками процесса обучения и предъявляют высокие требования к качеству обучения.
Целью данного исследования является анализ надежности и валидности методики, применяемой для мониторинга качества образовательных программ на кафедре прикладной математики ЛГТУ. Надежность — один из критериев качества оценочного инструмента, характеризующий устойчивость к погрешностям измерения. Валидность — способность инструмента измерять то, что планировали его разработчики [Тюменева, Яременко].
Как показал анализ инструментов для проведения студенческих опросов по оценке качества обучения, зарубежные опросники достаточно подробны (например, достаточно популярная анкета
Students Experience Questionnaire (SEQ)1). Так что оценка только одной учебной дисциплины требует около 20 минут. Анкета 1980-х «Преподаватель глазами студента» содержит 18 пунктов и предусматривает ответы по 9-балльной шкале Лайкерта. Среди критических замечаний было указание, что данная анкета содержит избыточное число субъективно сформулированных вопросов [Зеленцов]. И так как нам было необходимо провести анализ оценок учебных курсов в контексте исследования удовлетворенности студентов образовательной программой в целом (студентам предстояло дать оценку 32 учебным курсам, что требует усилий, внимания и затрат времени), было принято решение разработать более краткий вариант анкеты.
Предполагалось, что структура опросника должна отражать мнение студентов по следующим аспектам процесса обучения: качество организации учебного процесса; мастерство преподавателя; результаты процесса изучения учебной дисциплины.
Необходимость реформирования, сокращение аудиторных часов требуют оптимизации учебного процесса. В связи с этим студентам предлагалось оценить достаточность количества часов, отведенных на изучение учебной дисциплины (переменная 01 — Достаточность часов в целом). Кроме того, важно соотношение лекционных и практических занятий. Поэтому студентам предлагалось оценить, насколько, по их мнению, недостаточно времени на изучение теории (переменная 02 — Недостаточно теории) и насколько недостаточно времени на практические и лабораторные занятия (переменная 03 — Недостаточно практики). Важным показателем качества организации учебного процесса является обеспечение учебниками, учебными пособиями, методическими указаниями и другими материалами, поэтому студенты должны были оценить, насколько они ощущали недостаток учебных материалов при изучении той или иной учебной дисциплины (переменная 04 — Недостаточно учебников и пособий).
Не вызывает сомнения, что результаты учебного процесса во многом обусловлены профессиональными и личностными качествами преподавателя. Студентам предлагалось выразить свое мнение относительно того, насколько преподаватель владеет знаниями в той области, которую он преподает (переменная М1 — Квалификация-знание предмета). Данное качество преподавателя находит свое отражение в том, насколько глубоко дается фундамент идей и концепций, как преподаватель отвечает на вопросы студентов по содержанию предмета, какова его эрудиция в той области, где он преподает. Не менее важным является педагогическое мастерство преподавателя (переменная М2 — Педагогическое мастерство). Данное качество находит свое выражение в том, насколько ясно, четко и понятно излагается материал. И наконец, пункт, который предложили включить студенты: Объективность оценок (переменная М3). По мнению студентов, данный фактор имеет этическую окраску и отражает наличие взаимного уважения и
здоровой моральной атмосферы в классе. То, что студенты способны дать оценку квалификации преподавателя и качеству организации учебного процесса, доказано [Benton, Cashin; Kulik].
Студентам также предлагалось оценить сложность содержания учебной дисциплины (переменная Р1), свой интерес к предмету (переменная Р2), свой уровень знаний после изучения курса (переменная Р3) и свое мнение о необходимости внесения изменений в процесс преподавания оцениваемой дисциплины (переменная Р4). Валидность использования самооценок студентов доказана в ряде зарубежных исследований [Benton, Duchon, Pallett].
Для проведения оценки необходимо было выбрать шкалу. На этапе разработки анкеты студентам было предложено три варианта: 5-балльная шкала, 9-балльная шкала Лайкерта (анкета «Преподаватель глазами студента») или 100-балльная шкала. Студенты выбрали последний вариант. Возможно, это обусловлено тем, что в нашем вузе принята 100-балльная шкала оценки текущей успеваемости и, кроме того, в повседневной жизни для оценок часто используются проценты (например, «уверен на все 100 %»).
Как показывает опыт и подтверждают научные исследования [Benton, Cashin], информативность студенческих опросов во многом зависит от того, насколько серьезно воспринимают студенты свое участие в проведении анкетирования. Следовательно, для формирования мотивации важно иметь в виду, что студентов в большей мере вдохновляют возможность способствовать улучшению процесса обучения и понимание того, что их мнение будет учтено сотрудниками кафедры. Поэтому мы считаем более правильным смещение акцентов: не «Преподаватель глазами студента», а «Учебный процесс глазами студента».
В опросе принимали участие студенты IV курса направления «Прикладная математика». Мы считаем, что студенты, проходившие опрос, имеют достаточный опыт, чтобы дать оценку по предлагаемым вопросам, поскольку, в отличие от студентов
Результаты оценки внутрен
младших курсов, они имеют опыт учебной, научно-исследовательской и практической деятельности, полученный ими за четыре года обучения в университете. Данный вывод согласуется с мнением авторов статьи [Theal, Franclin], которые полагают, что студенты старших курсов в большей мере, чем студенты младших курсов, способны оценить ряд аспектов образовательной программы (в том числе знание преподавателем содержания преподаваемой учебной дисциплины). Опрос проводился анонимно.
В опросе приняли участие 49 студентов, из них 22 юноши и 27 девушек. Одна анкета была заполнена некорректно и удалена из дальнейшего рассмотрения. Каждый участник опроса, используя 100-балльную шкалу, оценил 11 параметров (табл. 1) для каждой из 32 учебных дисциплин, составляющих образовательную программу «Прикладная математика». Далее по результатам опроса была построена итоговая таблица, размер которой равен 32x11: для каждой учебной дисциплины было вычислено среднее значение каждой из 11 переменных. Процедуры оценки надежности и валидности инструментов измерений реализованы в ряде известных программных продуктов статистической обработки данных (SPSS, STATISTICA и др.). Полученные нами результаты опроса изучались посредством методов статистического анализа с использованием программного пакета STATISTICA.
Существует несколько подходов к оценке надежности оценочного инструмента. В данной статье мы рассматриваем надежность как внутреннюю согласованность. Для оценки надежности теста были рассчитаны значения а Кронбаха. Данный показатель является наиболее известным и популярным среди исследователей индикатором внутренней согласованности теста: группа вопросов считается внутренне согласованной, если рассчитанное для нее значение а Кронбаха не менее 0,7 [Kline]. Таким образом, результаты расчетов, приведенные в табл. 1, показывают, что исследуемый опросник является внутренне согласованным.
Таблица 1
[ей согласованности анкеты
Шкала Пункты Переменная а Кронбаха
1. Организация 1.1. Достаточность часов в целом 01 02 03 04
учебного процесса 1.2. Недостаточно теории
1.3. Недостаточно практики 0,784
1.4. Недостаточно учебников
и пособий
2. Мастерство 2.1. Квалификация (знание М1 М2 М3
преподавателя предмета) 0,896
2.2. Педагогическое мастерство
2.3. Объективность оценок
3. Результаты 3.1. Субъективная оценка сложности Р1
дисциплины
3.2. Интерес к предмету 3.3. Уровень знаний студента Р2 Р3 Р4 0,783
(самооценка)
3.4. Необходимость перемен
Существуют различные подходы к определению того, что такое «валидность оценочного инструмента». Это неизбежно, поскольку «оценочный инструмент» - обобщающее понятие для обозначения «общераспространенных форм стандартизированных процедур оценки, таких как тест, опросник, шкала, методика и т. д.» [Тюменева, Яременко]. В данной статье мы рассматриваем содержательную валидность: насколько полученные результаты согласуются с теорией и практикой обучения. Для этой цели было проведено исследование результатов опроса студентов посредством регрессионного анализа. При построении моделей множественной линейной регрессии применялся программный пакет 8ТЛТ18Т1СЛ.
Нами были построены три модели линейной регрессии, показывающие, как зависят результаты обучения (интерес к предмету — переменная Р2, уровень знаний студентов — переменная Р3 и удовлетворенность качеством образования — переменная Р4) от факторов, описывающих качество организации учебного процесса (переменные 01—04) и мастерство преподавателя (переменные М1—М3). Согласно мнению [КиИк], субъективная оценка сложности учебной дисциплины является внутренней характеристикой ее содержания. Поэтому переменная Р1 при построении моделей рассматривалась в качестве объясняющей переменной.
При построении регрессии в модель включались только переменные, значимые на уровне 5 %. Результаты расчетов коэффициентов линейной регрессии по методу наименьших квадратов представлены в таблицах 2—4.
В первой модели (табл. 2) объясняемой переменной является Р2 — интерес к изучаемому предмету. Объясняющие переменные 01—04 (качество организации учебного процесса) и Р1 (сложность изучаемой дисциплины) оказались незначимыми и были удалены из модели. Значение статистики Дар-бина-Уотсона для данной модели (DW = 1,809) свидетельствует об отсутствии автокорреляции остатков, то есть можно считать, что модель адекватна2.
Таблица 2
Регрессионная модель 1
Зависимая переменная Р2 - Интерес к предмету Коэффициент детерминации Я2 = 0 ,524 Статистика Дарбина-Уотсона БШ = 1,809
Переменные В 81(!Егг. !(30) Р-1еуе1
Сош! 45,917 28,644 1,603 0,119
М3 0,704 0,220 3,194 0,003
М2 0,828 0,330 2,504 0,018
М1 0,428 0,210 2,039 0,050
Полученные результаты позволяют сделать вывод, что такой важный для поддержания мотивации студентов фактор, как «интерес к изучаемому предмету», зависит не от сложности учебного материала и недостатков организации учебного процесса, а исключительно от профессиональных и личностных качеств преподавателя, причем наибольший вклад в формирование интереса к изучаемой дисциплине вносит фактор М2 — Педагогическое мастерство преподавателя (коэффициент при
переменной М2 равен 0,828). Коэффициент детерминации данного уравнения равен 0,524, то есть профессиональные и личностные качества преподавателя объясняют 52,4% вариации интереса студентов к изучаемому предмету. Этот результат позволяет предположить, что другим важным обстоятельством в формировании интереса к учебе являются личностные особенности самого студента: его способности, потребности, ценностные представления, что согласуется с теорией формирования мотивации в учебном процессе [Комусова].
Во второй модели исследуется зависимость субъективной оценки студентами собственных знаний, сформированных в результате изучения учебной дисциплины (объясняемая переменная Р3 — Уровень знаний), от факторов, описывающих недостатки организации учебного процесса (переменные 02—04), качество преподавания (переменные М1—М3) и сложность изучаемой дисциплины (переменная Р1). Результаты представлены в табл. 3.
Таблица 3
Регрессионная модель 2
Зависимая переменная Р3 - Уровень знаний Коэффициент детерминации Я2 = 0, 850 Статистика Дарбина-Уотсона БШ = 2,059
Переменные В 81(!Еп\ !(26) р-1еуе1
Сош! 65,667 13,870 4,734 0,000
О4 -0,223 0,133 -1,919 0,066
О2 -0,354 0,269 -1,975 0,059
О3 -0,185 0,126 -2,027 0,053
М1 0,648 0,222 2,918 0,007
М2 0,531 0,135 3,926 0,001
М3 0,436 0,074 5,877 0,000
Р1 -0,160 0,052 -3,061 0,005
Коэффициент детерминации равен 0,850. Уравнение объясняет 85 % вариации зависимой переменной от факторов, включенных в модель. Значение статистики Дарбина-Уотсона для данной модели, равно 2,059: автокорреляция остатков отсутствует. Итак, модель можно считать адекватной3. Полученные результаты свидетельствуют, что недостатки организации учебного процесса оказывают существенное отрицательное влияние на уровень знаний студентов (все коэффициенты при переменных 02—04 — отрицательны). Мастерство преподавателя, напротив, положительно влияет на уровень знаний (все коэффициенты при переменных М1—М3, описывающих мастерство преподавателя, положительны), причем наибольшее влияние оказывает фактор, описывающий квалификацию преподавателя, знание им предметной области преподаваемой учебной дисциплины (коэффициент при переменной М1 равен 0,648). Модель 2 — единственная из трех рассмотренных, где фактор Р1 существенно влияет на объясняемую переменную: полученный результат показывает, что сложные учебные дисциплины даются студентам труднее и уровень знаний по ним ниже (коэффициент при переменной Р1 равен -0,160). Полученные результаты согласуются с теорией обучения4.
Удовлетворенность студентов процессом обучения рассматривается в третьей модели (табл. 4). В качестве индикатора неудовлетворенности выступает показатель, характеризующий необходимость перемен: чем выше неудовлетворенность качеством образования, тем больше студенты ощущают потребность в переменах. Результаты расчетов показывают, что статистически значимое влияние на формирование потребности в переменах оказывают недостатки организации учебного процесса (переменные 02—04) и качество преподавания (переменные М1—М3). В большей мере это такие факторы, как «недостаток теории» (коэффициент при переменной 02 равен 0,686) и «объективность преподавателя при выставлении оценок» (коэффициент при переменной М3 равен -0,361). Заметим, что такой фактор, как «сложность содержания учебной дисциплины», не оказывает существенного влияния на неудовлетворенность студентов (переменная Р1 проявилась как статистически незначимая и не включена в модель). Коэффициент детерминации равен 0,928, то есть модель объясняет 92,8 % вариации переменной Р4 (необходимость перемен). Значение статистики Дарбина-Уотсона для данной модели равно 1,946: автокорреляция остатков отсутствует. Итак, модель является адекватной5.
Таблица 4
Регрессионная модель 3
Зависимая переменная Р4 - Необходимость перемен Коэффициент детерминации Я2 = 0, 928 Статистика Дарбина-Уотсона БШ = 1,946
Переменные B Std.Err. t(27) p-level
Const 80,776 11,880 6,799 0,000
О2 0,686 0,233 2,942 0,007
О3 0,160 0,079 2,092 0,046
О4 0,152 0,069 2,214 0,043
М1 -0,256 0,116 -2,207 0,036
М2 -0,186 0,075 -2,473 0,020
М3 -0,361 0,089 -4,058 0,000
Заметим, что переменная 01 (достаточность часов в целом) не вошла ни в одну из построенных моделей. Данный факт объясняется наличием значимой корреляции данной переменной и переменных 02 и 03, вследствие чего включение переменной 01 в модель порождает мультиколлинеар-ность6, что существенно ухудшает прогностические качества построенных моделей.
Проведенный анализ показывает, что наличие и направление влияния значимых объясняющих переменных в построенных регрессионных моделях согласуется с теорией обучения. Данный факт, а также то, что полученные результаты созвучны результатам других, в том числе и зарубежных исследований, свидетельствует о содержательной ва-лидности предлагаемой анкеты. Таким образом, можно сделать вывод, что исследуемый оценочный инструмент «Учебный процесс глазами студента» обладает внутренней согласованностью и содержательной валидностью. Поэтому результаты студенческих опросов могут быть использованы для анализа качества образовательных программ вуза.
Примечания
1 Students Experience Questionnaire (SEQ). URL: http:// www.nd.edu. au / downloads / qmad/ UNDA_CEQ_APR12_SAMPLE.pdf (дата обращения: 18.01.2018).
2 Бородич C.A. Эконометрика. Минск: Новое знание, 2004. 416 с.
3 Там же
4 Сластенин B.A., Исаев И.Ф., Шиянов Е.Н. Педагогика. М.: Академия, 2016. 543 с.
5 Бородич С.А. Указ. соч.
6 Там же.
Библиографический список
Benton S.L., Duchon, D., Pallett, W.H. (2013). Validity of student self-reported ratings of learning. Assessment Eval. High. Educ, 38(4), 377-388.
Benton S.L., Cashin, W.E. (2014). Student ratings of instruction in college and university courses. Higher education: Handbook of theory and research (M. B. Paulsen ed.). Vol. 29. Dordrecht, the Netherlands: Springer. P. 279326.
Darwin S. (2016). The Emergence of Student Evaluation in Higher Education. Student Evaluation in Higher Education (S. Darwin ed.). Switzerland: Springer International Publishing, 1-11.
Kline P. (2000). The handbook of psychological testing (2nd ed.). L.: Routledge.
Kulik J.A. (2001). Student ratings: Validity, utility, and controversy. New Direct Inst Res., 109, 9-25. DOI: https:// doi.org/10.1002/ir.1.
Theall M., Franklin J. (2001). Looking for bias in all the wrong places: a search for truth or a witch hunt in student ratings of instruction? New Direct. Inst Res., 109, 45-56. URL: https://www.academia.edu/418482/Looking_for_ Bias_In_All_the_Wrong_Places_a_Search_for_Truth_or_a_ Witch_Hunt_In_Student_Ratings_of_Instruction.
Борычев C.H. Анализ методов оценки образовательных программ потребителями образовательных услуг // Вестник Рязанского государственного агротехнологического университета им. П.А. Костычева. 2014. № 3 (23). C. 80-83. URL: https:// www.twirpx.com/file/1788458.
Горбатенко А.С. Анкета «Преподаватель глазами студента» глазами социального психолога -преподавателя вуза // Вопросы психологии. 1990. № 1. С. 184-186.
Запесоцкий А.С. Преподаватель глазами студентов. Об изучении мнения студентов о качестве педагогической деятельности преподавателя // Высшее образование сегодня. 2007. № 9. С. 28-32. URL: https:// elibrary.ru/item.asp?id=15179877.
Зеленев И.Р., Туманов С.В. Об оценке качества преподавания в вузе в контексте восприятия студентами своих преподавателей // Высшее образование в России. 2012. № 11. С. 99-105. URL: https:// elibrary.ru/item.asp?id=19052725.
Зеленцов В. Студенты о преподавателе: методика опроса // Высшее образование в России. 1999. № 11. С. 99-105.
Комусова Н.В. Развитие мотивации к овладению профессией в период обучения в вузе: дис. ... канд. психол. наук. Л., 1983. 265 с.
Кузнецова Е.В. Об оценке студентами качества образовательных программ вуза // Современное образование: содержание, технологии, качество. 2011 а. Т. 1. С. 106-108.
Кузнецова Е.В. Внутренний мониторинг качества образовательных программ в вузе // Сибирский педагогический журнал. 2011б. № 6. С. 81-88. URL: https:// socionet.ru/ d/ spz:cyberleninka:26126:14794723/http:// cyberleninka.ru/article/n/vnutrenniy-monitoring-kachestva-realizatsii-obrazovatelnyh-programm-v-vuze.
Левченко Е.В. О психологических проблемах, возникающих при проведении опроса «Преподаватель глазами студента» // Вопросы психологии. 1990. № 6. С. 181-182. URL: http://www.voppsy.ru/issues/1990/906/ 906181.htm.
Марухина О.В. Алгоритмы обработки информации в задачах оценивания качества обучения студентов вуза на основе экспертно-статистических методов: дис. ... канд. тех. наук. Томск, 2003.
Тюменева Ю.А., Яременко А.А. Руководство для авторов, публикующих результаты разработки оценочного инструмента // Вопросы образования. 2013. № 1. С. 301-305. URL: https://vo.hse.ru/2013--1/ 97717623.html.
References
Benton S.L., Duchon D., Pallett W.H. (2013). Validity of student self-reported ratings of learning. Assessment Eval. High. Educ, no. 38(4), pp. 377-388 [in English].
Benton S.L., Cashin W.E. Student ratings of instruction in college and university courses. Higher education: Handbook of theory and research (M. B. Paulsen (Ed.). Vol. 29. Dordrecht, the Netherlands: Springer, 2014, pp. 279-326 [in English].
Darwin S. The Emergence of Student Evaluation in Higher Education. Student Evaluation in Higher Education (S. Darwin (Ed.). Switzerland: Springer International Publishing, 2016, pp. 1-11 [in English].
Kline P. The handbook of psychological testing (2nd ed.). London: Routledge, 2000, 13 p. [in English].
Kulik J.A. Student ratings: Validity, utility, and controversy. New Direct. Inst. Res., 2001, no. 109, pp. 9-25. DOI: https://doi.org/10.1002/ir1 [in English].
Theall M., Franklin J. Looking for bias in all the wrong places: a search for truth or a witch hunt in student ratings of instruction? New Direct. Inst. Res., 2001, no. 109, pp. 45-56 [in English]. URL: https://www.academia.edu/ 41 8482/Looking_for_Bias_In_All_the_Wrong_ Places_a_Search_for_Truth_or_a_Witch_Hunt_In_ Student_Ratings_of_Instruction.
Borychev S.N. Analiz metodov otsenki obrazovatel'nykh programm potrebiteliami obrazovatel'nykh uslug [Analysis of methods for evaluating educational programs by the consumers of educational services]. Vestnik Riazanskogo gosudarstvennogo agrotekhnologicheskogo universiteta im. P.A. Kostycheva [Herald of Ryazan State Agrotechnological University Named after P.A. Kostychev], 2014, no. 3(23), pp. 80-83. Available at: https://www.twirpx.com/file/1788458 [in Russian].
Gorbatenko A.S. Anketa «Prepodavatel' glazami studenta» glazami sotsial'nogo psikhologa - prepodavatelia vuza [About the questionnaire «Teacher through the eyes
of students» through the eyes of a social psychologist, teacher of a high school]. Voprosy psikhologii [Voprosy psychologii], 1990, no. 1, pp. 184-186 [in Russian].
Zapesotsky A.S. Prepodavatel' glazami studentov. Ob izuchenii mneniia studentov o kachestve pedagogicheskoi deiatel'nosti prepodavatelia [Teacher through the eyes of students. On the study of the views of students on the quality of pedagogical activity of a teacher]. Vysshee obrazovanie segodnia [Higher Education Today], 2007, no. 9, pp. 28-32. Available at: https://elibrary.ru/ item.asp?id=15179877 [in Russian].
Zelenev I.R., Tumanov S.V. Ob otsenke kachestva prepodavaniia v vuze v kontekste vospriiatiia studentami svoikh prepodavatelei [On an estimate of the quality of teaching at the university in the context of perception of students of their teachers]. Vysshee obrazovanie v Rossii [Higher Education in Russia], 2012, no. 11, pp. 99-105. Available at: https://elibrary.ru/item.asp?id=19052725. [in Russian].
Zelentsov V. Studenty o prepodavatele: metodika oprosa [Students' assessment of teachers: survey procedure]. Vysshee obrazovanie v Rossii [Higher Education in Russia], 1999, no. 11, pp. 44-47 [in Russian].
Komusova N.V. Razvitie motivatsii k ovladeniiu professiei v period obucheniia v vuze: dis. ... kand. psikhol. nauk [Development of motivation to master the profession during the period of study at the university: Candidate's of Psychological Sciences thesis]. Leningrad, 1983, 265 p. [in Russian].
Kuznetsova E.V. Ob otsenke studentami kachestva obrazovatelnykh programm vuza [On the assessment of the quality of university's educational programs by the students]. Sovremennoe obrazovanie: soderzhanie, tekhnologii, kachestvo [Modern education: content, technology, quality], 2011 a, Vol. 1, pp. 106-108 [in Russian].
Kuznetsova E.V. Vnutrennii monitoring kachestva obrazovatelnykh programm v vuze [Internal monitoring of the quality of educational programs in the university]. Sibirskii pedagogicheskii zhurnal [Siberian Pedagogical Journal], 2011 b, no. 6, pp. 81-88. Available at: https:// socionet.ru/d/spz:cyberleninka:26126:14794723/http:// cyberleninka.ru/article/n/vnutrenniy-monitoring-kachestva-realizatsii-obrazovatelnyh-programm-v-vuze [in Russian].
Levchenko E.V. O psikhologicheskikh problemakh, voznikaiushchikh pri provedenii oprosa «Prepodavatel' glazami studenta» [On the psychological problems encountered in the survey «Teacher through the eyes of students»]. Voprosy psikhologii [Voprosy psychologii], 1990, no. 6, pp. 181-182. Available at: http://www.voppsy.ru/ issues/1990/906/906181.htm [in Russian].
Marukhina O.V. Algoritmy obrabotki informatsii v zadachakh otsenivaniia kachestva obucheniia studentov vuza na osnove ekspertno-statisticheskikh metodov: dis. ... kand. tekh. nauk [Algorithms for data processing tasks in evaluating the quality of teaching high school students on the basis of expert and statistical methods: Candidate's of Technical Sciences thesis]. Tomsk, 2003 [in Russian].
Tyumeneva Yu.A., Yaremenko A.A. Rukovodstvo dlia avtorov, publikuiushchikh rezultaty razrabotki otsenochnogo instrumenta [A guide for authors who publish the results of developing an evaluation tool]. Voprosy obrazovaniia [The Journal of Educational Studies], 2013, no. 1, pp. 301305. Available at: https://vo.hse.ru/2013--1/97717623.html [in Russian].
