CC BY
158
Инновации в образовании Вестник Нижегородского университета им. Н.И. Лобачевского, 2014, № 3 (4), с. 92-96
УДК 311.2
ОПЫТ СОЦИОЛОГИЧЕСКОГО ОПРОСА СТУДЕНТОВ ПРИ ОЦЕНКЕ КАЧЕСТВА ЛЕКЦИОННЫХ КУРСОВ
© 2014 г. А.Б. Корчагин, Н.Д. Мидовский
Нижегородский госуниверситет им. Н.И. Лобачевского
akorchag@yandex. т
Поступила в редакцию 13.11.2014
Представлена анкета опроса студентов для оценки лекционного курса и программа её обработки. Определены средние баллы и средние квадратические отклонения по вопросам анкеты, по каждому лекционному курсу и по радиофизическому факультету в целом. На основании анализа результатов анкетирования оценены содержание, организация и качество учебного процесса на факультете и работа отдельных преподавателей.
Ключевые слова: анкета, социологический опрос, пятибалльная система, средний балл, среднее квадратическое отклонение.
Студенческая оценка организации и качества учебного процесса высших учебных заведений является важным элементом контроля обучения. В зарубежных университетах эта оценка осуществляется в основном двумя способами.
Первый способ состоит в официальном анкетировании студентов, проводимом университетом по пятибалльной системе оценивания. Каждый преподаватель в конце каждого семестра перед экзаменами обязан получить приготовленный в деканате конверт (подписанный его именем) с анкетами, раздать их в конце своего занятия и покинуть аудиторию, чтобы исключить влияние своего присутствия на ответы студентов. Студенты анонимно заполняют анкеты в течение примерно трёх минут, собирают их в конверт и сдают в деканат. Таким образом, преподаватель не имеет доступа к анкетам. Анкеты являются стандартными в том смысле, что 16 вопросов, содержащиеся в них, не меняются со времени их создания и отработки по крайней мере более 10 лет. Эти 16 вопросов разделены на две группы: 10 вопросов касаются оценки работы преподавателя и 6 вопросов - оценки полезности курса. Анкеты с вопросами, едиными для всего университета, обрабатывают электронным считыванием в университетском центре по обработке информации, где компьютер подсчитывает средний балл по каждому вопросу. Результаты анкетирования сообщаются преподавателю после сессии в конфиденциальном письме. Информация о результатах анкетирования преподавателей представляется только декану и его заместителям, а также, возможно, заведующим кафедрами (если разделение фа-
культета на кафедры существует). Считается, что анкетирование позволяет получить информацию не только о качестве преподавания, но и о профессиональной пригодности преподавателя в целом. Важность анкетирования для преподавателя состоит в том, что, во-первых, средний балл за два семестра влияет на его ежегодное повышение оклада и, во-вторых, является одним из критериев при получении постоянной позиции на факультете в конце шестилетнего испытательного срока.
Второй, неофициальный, метод оценки преподавания является фактически способом морально-этической поддержки преподавателя. В каждом университете существуют общества студентов, дифференцированные по научным интересами. Каждый год к ежегодному собранию факультета, которое проходит во второй половине апреля, научные общества студентов выбирают лучшего преподавателя, присуждают ему звание «Профессор Года» и вручают награду, которая представляет собой дощечку с выгравированным по этому случаю текстом. При этом по существующим правилам в течение следующих 3 лет запрещается выдвигать лауреата в число соискателей этого звания.
В ННГУ анкетирование студентов не являлось обязательным и в прошлом проводилось время от времени. Оно держалось в основном на энтузиазме членов методической комиссии (далее - МК) или деканов. Нам известно о нескольких попытках анкетирования в прошлые годы. Между тем в п. 8.5 гл. VIII «Оценка качества основных образовательных программ бакалавриата» Федерального государственно-
го образовательного стандарта высшего профессионального образования по направлению подготовки 011800 Радиофизика (квалификация «бакалавр»), утверждённого Приказом Министерства образования и науки РФ № 51 от 18.01.2010, сказано: «Обучающимся должна быть предоставлена возможность оценивания содержания, организации и качества учебного процесса в целом, а также работы отдельных преподавателей». Интересно узнать, существуют ли документы об оценке качества программ на других факультетах.
Анкетирование на радиофизическом факультете (далее - РФФ) ННГУ было начато в весеннем семестре 2010 года. Были проанализированы найденные в Интернете анкеты студенческих опросов, проводившихся как в отечественных, так и в зарубежных университетах. На основе этого анализа МК РФФ поставила задачу сформулировать набор вопросов и предложить метод обработки результатов анкетирования, которые позволят определять качество лекционного курса. Студентам были предложены пять ответов на каждый вопрос с соответствующей оценкой по пятибалльной системе, при этом из ответов N студентов на К вопросов анкеты о лекционном курсе был сформирован массив информации в виде среднего балла Ьк и среднего квадратического отклонения (далее -СКО) <зк по к -му вопросу анкеты, а также
среднего балла Ь по лекционному курсу, кото- 1 N
рые вычисляются по формулам Ьк =— £ ЬЛ ;
N n=i
СТ =
1 N _
- 2 (bnk - bk )2
N n=i
- 1 Kb = - 2 bk N n=i
В опросах, найденных в Интернете, мы не встретили использование СКО. Однако СКО оказалось важным параметром при оценке полезности (уместности) каждого вопроса, включённого в анкету, и следующий пример показывает это.
Пусть в результате анкетирования 33 -х студентов по к -му вопросу было получено примерно равное число оценок разного достоинства: 6 пятёрок, 7 четвёрок, 7 троек, 7 двоек и 6 колов. В этом случае СКО < = 1,37, отложенное влево и вправо от среднего балла Ьк = 3,0, составило более половины интервала оценок. Вывод очевиден: либо студенты не понимали смысла вопроса, либо существует обстоятельство, требовавшее дополнительного внимания лектора и МК к такому тревожному результату. Большое значение СКО все-
гда означает, что вопрос нуждается в дополнительном анализе.
Первоначально МК утвердила анкету, состоявшую из 18 вопросов, и провела пробное анкетирование студентов первого и третьего курсов о качестве лекций, прочитанных в осеннем семестре 2010 г. После тщательного анализа пробного анкетирования с учётом стк и изучения нескольких вариантов анкеты, МК РФФ сократила число вопросов до 15 (см. табл. 1). Первые 10 вопросов анкеты позволяют оценить методическую сторону работы лектора, а также уровень поддержки курса методическими пособиями и практическими занятиями. Следующие 4 вопроса характеризуют морально-этические отношения лектора со студентами (по этим 14
вопросам вычисляется средний балл b по лекционному курсу.) В вопросе № 15 спрашивается об оценке, которую получил студент по этому предмету на экзамене.
В последние 3 года анкетирование на РФФ проводится в каждом семестре по результатам предыдущего семестра. Опрос проводится примерно по 33±2 лекционным курсам. Из анкетирования исключаются курсы, лекторы которых по каким-либо причинам выбыли из преподавательского состава факультета. Проводя анкетирование, члены МК (13 человек), обрабатывают около 1000 анкет и вводят в компьютер около 15000 оценок (по 15 вопросам). Для каждого лекционного курса готовится итоговая таблица. По данным таблицы компьютер в редакторе EXCEL вычисляет средний балл Ьк и СКО стк по каждому вопросу, а также средний балл преподавателя b . На рис. 1 представлена реальная таблица-программа, где в «подвале» числа мелким шрифтом являются обслуживающей частью программы редактора EXCEL. Результаты расчёта в конфиденциальной форме сообщаются лектору, а также заведующему кафедрой, на которой лектор работает. Вычисляется средний
балл b по РФФ и сообщается всем анкетированным преподавателям, чтобы каждый мог иметь некоторое представление о своём положении среди лекторов РФФ.
После получения персональных результатов составляются две сводные таблицы. Первая таблица упорядочивает список лекторов
по их среднему баллу b и, показывая место лектора среди коллег, может помочь декану в решении некоторых организационных вопросов. Во второй таблице средние баллы b по курсам разносятся по кафедрам, ответственным за их чтение, и подсчитывается средний
94
А.Б. Корчагин, Н.Д. Миловский
балл по каждой кафедре. Эта информация полезна для оценки вклада кафедр в качество учебного процесса РФФ.
Как использовались результаты анкетирования и как можно использовать их в дальнейшем? На что может повлиять анкетирование и что от него можно ожидать?
Разброс средних баллов лекционных курсов в весеннем семестре 2013 года оказался весьма большим: от 2.46 до 4.86 баллов. На факультете 23 лекционных курса (72%) имеют оценку выше средней по факультету, 6 курсов (18%) выглядят на твёрдую четвёрку, а в 3 случаях (10%) дело обстоит плохо и руководству следует принимать меры. «Плохие» курсы должны быть объектами пристального внимания декана и заведующих кафедрами.
Средний балл по РФФ в весеннем семестре 2013 года составил 4.34, что свидетельствует о высоком качестве лекционной составляющей учебного процесса. Положительным моментом анкетирования стал тот факт, что величина среднего балла по РФФ за год увеличилась на 0.05 балла (в 2012 году средний балл был 4.29). Многие лекторы, анкетированные во второй раз, «подтянулись» и увеличили свой средний балл Ь (некоторые на 0.50).
Анкета, как живой организм, зависит от текущего состояния учебного процесса и должна изменяться по мере его совершенствования. Если со временем по вопросу № 1 все лекторы будут иметь «пятёрку» («Абсолютно согласен»), то этот вопрос потеряет смысл. На промежуточной стадии среднее по нему можно корректировать уменьшающим коэффициентом, и наоборот, наиболее важные в методическом аспекте вопросы № 7-9 могут иметь повышающие коэффициенты.
Результаты анкетирования содержат значительное количество временно не востребованных или необработанных сведений о качестве каждого лекционного курса. Так, например, по среднему баллу Ь14 вопроса № 14 можно без проверочных посещений лекций получить полную корректную информацию о пунктуальности лектора при выполнении утверждённого расписания.
Другим примером может служить случай, когда большое СКО при дополнительном анализе может не вызывать большой тревоги. Так, отвечая на вопрос № 12 «Лектор беспристрастно относился к студентам до и во время сессии», студенты № 6 и № 17 поставили единицу - «Абсолютно не согласен» (табл. 1),
т.е., по их мнению, преподаватель не был объективен. Программа подсчитала средний балл Ь12 = 4.30 и СКО ст12 = 1.30. Так возникла
тревожная ситуация. Но если эти два «кола» гипотетически заменить хотя бы на «троечки», то компьютер подсчитает Ь12 = 4.48 и ст12 = 0.93, что фактически ликвидирует повод для беспокойства. Оказывается, что СКО -очень чувствительный параметр, сильно зависящий от мнения даже небольшой доли контингента (2/23 или 8.7%). Далее из строки 15 следует, что оба «обиженных» студента получили плохие оценки на экзамене, а 9 из 10 остальных двоечников оценили беспристрастность лектора на пятёрку. Таким образом, учёт строки 15 позволяет скорректировать первоначальный вывод об этике взаимоотношений лектора и студенческой аудитории, основанный на параметрах Ь12 и а12.
Результаты анкетирования содержат большие возможности для планомерного совершенствования учебного процесса. При всей конфиденциальности анкетирования его результаты широко обсуждаются на факультете. Есть все основания полагать, что каждый лектор, исходя из своих моральных принципов, постарается сделать выводы из полученных оценок и сможет что-то улучшить в своей профессиональной деятельности по отдельным слабым позициям. Заведующие кафедрами также должны быть внимательны к результатам работы сотрудников и, используя свои возможности, постараться улучшить кафедральные показатели. Декан РФФ поддержал идею материального стимулирования и премировал пять лучших лекторов по представлению МК.
Очевидно, что проведение студенческих опросов по разработанной методике позволит улучшить качество лекционных курсов. Заметные положительные сдвиги уже наблюдаются. Можно утверждать, что разумные меры морального и материального поощрения лекторов по результатам оценки их деятельности в студенческой аудитории, несомненно, приведут к улучшению качества учебного процесса и образования в целом.
Если анкетирование станет постоянной формой контроля работы преподавателя и методология «живой» анкеты в условиях новых реалий будет положительно воспринята на других факультетах, то качество образования в ННГУ будет постоянно расти, удовлетворяя высоким международным стандартам.
Таблица 1
Анкета опроса о лекционном курсе, применяемая на РФФ
Анкета опроса о лекционном курсе «Название курса», лектор Фамилия И.О. Абсолютно согласен 5 Почти согласен 4 Частично согласен 3 Почти не согласен 2 Абсолютно не согласен 1
1 Лектор предоставил студентам программу курса в начале семестра
2 Лектор формулировал разделы курса (теории) и постановки конкретных вопросов (задач) по программе курса
3 Формулировки экзаменационных вопросов совпадали с формулировками конкретных вопросов (задач) по программе курса
4 Курс хорошо обеспечен учебниками, учебно-методическими пособиями и электронными ресурсами
5 В лекциях курса использовались фундаментальные постулаты и утверждения, известные студентам из программ предварительного или школьного обучения
6 Практические (семинарские, лабораторные) занятия помогают усвоить содержание курса
7 Лектор чётко излагал концепции и доказывал теоремы (интерпретировал эффекты) с помощью формул, доступных для понимания и самостоятельного воспроизведения
8 Лектор чётко формулировал выводы, следующие из приведённых доказательств (изложенных разделов теории)
9 Лектор акцентировал внимание на концепциях (идеях), понятиях и наиболее важных моментах доказательств
10 Лектор приводил примеры практического использования доказанных утверждений
11 Лектор приветствовал и поощрял вопросы и замечания
12 Лектор беспристрастно относился к студентам до и во время сессии
13 Лектор уважительно относился к студентам до и во время сессии
14 Лектор был пунктуален: начинал и заканчивал лекции точно по расписанию, не заставляя студентов ждать или задерживаться
15 Экзаменационная оценка, полученная вами (отметьте кружочком) 5 или > 5 4.5 4 3 2 или < 2
96
А.Б. Корчагин, Н.Д. Мидовский
k bk ak 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23
1 4.74 0.44 5 5 5 5 4 5 5 5 5 5 5 4 5 5 4 4 4 4 5 5 5 5 5
2 4.74 0.61 5 5 5 5 5 5 5 5 5 4 5 5 5 5 4 5 3 3 5 5 5 5 5
3 4.65 0.76 5 5 5 4 5 5 5 5 5 5 5 5 5 5 5 5 3 2 4 5 5 5 4
4 4.65 0.70 5 5 4 5 5 5 5 5 5 5 5 5 5 5 5 5 3 3 4 5 5 5 3
5 4.26 0.74 4 5 4 4 3 5 5 5 5 5 4 4 4 3 5 5 4 3 4 4 5 5 3
6 4.57 0.82 5 4 3 5 5 5 5 5 5 5 5 5 5 5 5 5 3 2 4 5 5 5 4
7 4.78 0.41 5 5 4 4 5 5 5 5 5 5 5 5 4 5 5 5 4 5 5 5 5 5 4
CO 4.70 0.55 5 5 4 5 4 5 4 5 5 5 5 5 4 5 4 5 3 5 5 5 5 5 5
9 4.70 0.55 5 4 3 5 4 5 5 5 5 5 5 4 5 5 4 5 5 5 5 5 5 4 5
10 4.70 0.62 3 4 5 5 4 5 5 5 5 5 5 5 5 5 4 5 3 5 5 5 5 5 5
11 4.57 0.92 5 4 5 5 4 3 4 5 5 5 5 5 5 5 4 5 1 5 5 5 5 5 5
12 4.30 1.30 5 3 5 5 5 1 4 5 5 5 5 5 2 3 5 5 1 5 5 5 5 5 5
13 4.70 0.75 5 4 5 5 5 5 4 5 5 5 5 5 3 5 5 5 2 5 5 5 5 5 5
14 4.83 0.48 5 5 5 5 5 5 5 5 5 5 5 4 5 5 4 5 3 5 5 5 5 5 5
15 2.91 1.10 3 2 5 2 3 3 4 5 5 2 2 2 3 5 3 3 2 3 2 2 2 2 2
Ср. 4.63 0.69 0.07 0.07 0.07 0.07 0.55 0.07 0.07 0.07 0.07 0.07 0.07 0.55 0.07 0.07 0.55 0.55 0.55 0.55 0.07 0.07 0.07 0.07 0.07
Ср. балл
РФФ 4.34
0.12 0.12 0.12 0.43 0.12 0.12 0.12 0.12 0.12 0.12 0.12 0.12 0.12 0.12 0.12 0.12 2.73 7.03 0.43 0.12 0.12 0.12 0.43
0.12 0.12 0.43 0.12 0.12 0.12 0.12 0.12 0.12 0.12 0.12 0.12 0.12 0.12 0.12 0.12 2.73 2.73 0.43 0.12 0.12 0.12 2.73
0.07 0.55 0.07 0.07 1.59 0.55 0.55 0.55 0.55 0.55 0.07 0.07 0.07 1.59 0.55 0.55 0.07 1.59 0.07 0.07 0.55 0.55 1.59
0.19 0.32 2.45 0.19 0.19 0.19 0.19 0.19 0.19 0.19 0.19 0.19 0.19 0.19 0.19 0.19 2.45 6.58 0.32 0.19 0.19 0.19 0.32
0.05 0.05 0.61 0.61 0.05 0.05 0.05 0.05 0.05 0.05 0.05 0.05 0.61 0.05 0.05 0.05 0.61 0.05 0.05 0.05 0.05 0.05 0.61
0.09 0.09 0.48 0.09 0.48 0.09 0.48 0.09 0.09 0.09 0.09 0.09 0.48 0.09 0.48 0.09 2.88 0.09 0.09 0.09 0.09 0.09 0.09
0.09 0.48 2.88 0.09 0.48 0.09 0.09 0.09 0.09 0.09 0.09 0.48 0.09 0.09 0.48 0.09 0.09 0.09 0.09 0.09 0.09 0.48 0.09
2.88 0.48 0.09 0.09 0.48 0.09 0.09 0.09 0.09 0.09 0.09 0.09 0.09 0.09 0.48 0.09 2.88 0.09 0.09 0.09 0.09 0.09 0.09
0.19 0.32 0.19 0.19 0.32 2.45 0.32 0.19 0.19 0.19 0.19 0.19 0.19 0.19 0.32 0.19 12.71 0.19 0.19 0.19 0.19 0.19 0.19
0.48 1.70 0.48 0.48 0.48 10.92 0.09 0.48 0.48 0.48 0.48 0.48 5.31 1.70 0.48 0.48 10.92 0.48 0.48 0.48 0.48 0.48 0.48
0.09 0.48 0.09 0.09 0.09 0.09 0.48 0.09 0.09 0.09 0.09 0.09 2.88 0.09 0.09 0.09 7.27 0.09 0.09 0.09 0.09 0.09 0.09
0.03 0.03 0.03 0.03 0.03 0.03 0.03 0.03 0.03 0.03 0.03 0.68 0.03 0.03 0.68 0.03 3.33 0.03 0.03 0.03 0.03 0.03 0.03
0.01 0.83 4.36 0.83 0.01 0.01 1.18 4.36 4.36 0.83 0.83 0.83 0.01 4.36 0.01 0.01 0.83 0.01 0.83 0.83 0.83 0.83 0.83
Рис. 1. Таблица-программа для обработки анкетирования (курс «Теории вероятностей и математической статистки» - лект. А.Б. Корчагин)
THE EXPERIENCE OF STUDENT SOCIOLOGICAL SURVEY FOR LECTURE QUALITY EVALUATION
A.B. Korchagin, N.D. Milovsky
We propose a questionnaire for evaluation of lecture courses by students and an EXEL-based program for its processing. Academic averages and standard deviations for questionnaire items, lecture courses and the overall average for the Radiophysics Faculty were calculated. Based on the analysis of the survey results, the content, organization and quality of the teaching process were evaluated for the Faculty as a whole and for each individual lecturer.
Keywords: questionnaire, sociological survey, five-point system, academic average, standard deviation.
