Управление процессом обучения студентов в вузе на основе методов статистического анализа Текст научной статьи по специальности «Науки об образовании»

ление, 2007. - 336 с.

4. Постановление Правительства Санкт-Петербурга от 23.01.2008 № 42 «О комплексной программе мероприятий по реализации инновационной политики в Санкт-Петербурге на 20082011 годы».

5. Постановление Правительства Санкт-Петербурга от 11.11.2008 № 1401 «О премии

Правительства Санкт-Петербурга за лучший инновационный проект, реализуемый в рамках кластера».

6. Постановление Правительства Санкт-Петербурга от 17.02.2009 № 152 «О мерах по реализации инновационной политики в Санкт-Петербурге в 2009-2011 годах».

Л.Я. Ащепкова, К.И. Зимогляд, А.В. Поддубный

УПРАВЛЕНИЕ ПРОЦЕССОМ ОБУЧЕНИЯ СТУДЕНТОВ В ВУЗЕ НА ОСНОВЕ МЕТОДОВ СТАТИСТИЧЕСКОГО АНАЛИЗА

Любая продукция или услуга есть результат определенного процесса. В соответствии со стандартом на системы менеджмента качества ГОСТ Р ИСО 9000-2001, процесс - это совокупность взаимосвязанных и взаимодействующих видов деятельности, преобразующая входы в выходы [1]. Все процессы и их результаты подвержены вариабельности, и процесс обучения не исключение. В связи с этим, представляется исключительно важным поддерживать процесс в стабильном управляемом состоянии. Наиболее простым методом контроля за производственным процессом является оценка его выхода - соответствие произведенной продукции неким требованиям или допускам. Этот метод позволяет отделить «хорошие» изделия от «плохих», выявить и устранить несоответствия.

Современные методы оценки качества в большей степени направлены не на отбраковку несоответствующих изделий, а на получение надежной информации о качестве продукции или процесса, необходимой для принятия обоснованных управленческих решений. Это достигается путем применения различных статистических методов [2].

Анализ литературы показывает, что оценка процесса обучения в современном вузе строится преимущественно на основе массовых проверок знаний, умений и навыков студентов с целью их ранжирования по

успеваемости и последующего применения репрессивных мер воздействия.

Уйти от устаревшей, неэффективной модели «отбраковки» неуспевающих студентов и перейти к процессному подходу управления качеством подготовки специалистов с использованием статистических методов анализа, позволяет рейтинговая технология.

Рейтинговые оценки определяются регулярно, и по своему смыслу являются обобщенными показателями качества обучения студентов. Они дают богатый материал для анализа качества обучения отдельных студентов, академических групп и для сравнения способности студентов усваивать учебный материал разных дисциплин.

Рейтинговая технология оценивания результатов обучения студентов по дисциплине основана на учете накапливаемых ими оценок в баллах за выполнение различных учебных работ или регулярно проводимых контрольных мероприятий. В отличие от традиционного способа оценивания, рейтинговая технология предполагает последовательное суммирование оценок студента по данной дисциплине в течение некоторого периода времени. При этом, для оценки каждого вида текущей работы могут использоваться различные типы шкал.

Группой специалистов Дальневосточного государственного университета, в состав которой вошли авторы настоящей статьи,

разработана уникальная рейтинговая технология, включающая в себя проектирование содержания учебной дисциплины, планирование видов учебной деятельности с учетом их веса, организацию рейтингового оценивания успеваемости студентов, сбор результатов учебной деятельности и вычисление рейтинговой оценки, использование текущих достижений студентов для анализа качества процесса обучения [3].

Предложенная рейтинговая технология использует понятие «идеальный студент». «Идеальный студент» - это модель студента, который осваивает учебный план во всей полноте. Сравнивая с его «достижениями» достижения настоящих студентов, появляется возможность оценить, насколько полно они усвоили содержание учебной дисциплины. Эта простая идея воплощена в формуле вычисления структурированной рейтинговой оценки:

k si

P(t) = if-n ,

i =1 St

где i - номер учитываемого в рейтинговой оценке вида учебной деятельности (i=1, 2,... k), k - число учитываемых видов учеб-

t

ной деятельности, s't = i Ot - сумма бал-

t=l

лов за учитываемые в рейтинге виды учебных достижений, полученные студентом в

t

ходе t проверок; S't = i 0™х - сумма бал-

t=i

лов студента, максимально активно работающего на всех занятиях и отлично выполняющего все учебные работы («идеального студента») за i-ый вид учебной деятельности, vi - весовой коэффициент, в процентном выражении, показывающий, какую долю в рейтинговой оценке «идеального студента» должен занимать i-ый вид учебной деятельности. Сумма весовых коэффициентов должна быть равна 100%, то есть требуется, чтобы удовлетворялось условие:

t n = 100%.

i=l

Относительная структурированная рейтинговая оценка, выражается в процентах и показывает, какую часть того объема учебного материала, который студент должен был усвоить за данный период, он действительно усвоил.

Последовательность значений относительной структурированной рейтинговой оценки студента в течение семестра показывает, насколько устойчиво и регулярно студент выполнял все виды учебных работ.

Относительная структурированная рейтинговая оценка может изменяться в течение семестра в интервале от 0 до 100%, и ее значения могут не только увеличиваться, но и уменьшаться.

Основным показателем работы студента в семестре является совокупная рейтинговая оценка, которая определяется по всему множеству дисциплин, изучаемых в семестре как средневзвешенная величина SP(t) рейтинговых оценок по дисциплинам. Например, если для т дисциплин подсчитаны относительные структурированные рейтинговые оценки Р, то совокупная рейтинговая оценка по этим дисциплинам вычисляется по формуле:

т

I -]Р]

SP = 11-,

т

I а1

1=1

где номер дисциплины, т - число дисциплин, Р, - рейтинговая оценка студента по 1-ой дисциплине, определенная к моменту расчета совокупной рейтинговой оценки, а, -весовой коэффициент дисциплины, который может быть установлен, исходя из таких ее характеристик, как число часов в учебном плане, число аудиторных занятий, сложность учебного материала, зачетные единицы (кредиты) и т.д.

Если рейтинговые оценки студента по всем дисциплинам к концу семестра достигнут максимально возможных величин 100%, то его совокупная рейтинговая оценка к концу этого же периода достигнет величины 100%. С другой стороны, тот, кто ничего не

делал для своего образования, будет иметь совокупную рейтинговую оценку, равную 0%. Таким образом, совокупная рейтинговая оценка SP студента, может, как и структурированная рейтинговая оценка, изменяться от 0 до 100%.

Вычисление относительных структурированных рейтинговых оценок, а также совокупных рейтинговых оценок выполняется автоматически посредством разработанной информационно-аналитической системы поддержки рейтинга WEBRATE ДВГУ [4]. Система WEBRATE ДВГУ представляет информацию о текущей успеваемости студентов по изучаемым дисциплинам, позволяет студентам скорректировать усилия для достижения наилучших результатов, преподавателям и сотрудникам деканата анализировать качество учебного процесса в течение

семестрового периода. Работать с системой WEBRATE ДВГУ можно с любого компьютера, подключенного к сети Интернет (интернет-адрес входной страницы системы: http: //imcs. dvgu. ru/rating/statsall.php).

Последовательность текущих рейтинговых оценок студента по дисциплине характеризует динамику качества усвоения им учебного материала, отражает его учебную дисциплину и устойчивость работы в семестре. На рис. 1 каждая кривая характеризует изменение рейтинговой оценки некоторого студента первого курса по дисциплине «Х» в течение первого семестра. Как видно, рейтинговая оценка уменьшается, когда студент не выполняет требования учебного плана, и растет, когда он ликвидирует «долги» или повышает свой уровень подготовки по дисциплине. Рейтинговая оценка «Идеального студента» всегда равна 100%.

100 —;

Последовательность контрольных мероприятий

Рис. 1. Динамика рейтинговых оценок студентов в группе по дисциплине «Х»

в течение первого семестра

Разнообразие форм кривых наглядно демонстрирует неоднородность группы студентов, только что поступивших в универси-

тет. По-видимому, это отражает их различный уровень базовой подготовки и разнообразие типов принятой «учебной политики».

Некоторые из них, стартуя с определенного рейтингового балла, удерживаются на этом уровне в течение всего семестра показывая стабильные результаты работы. Другие, не выдержав учебной нагрузки, или по иным причинам, ослабили подготовку по дисциплине и их рейтинговая оценка стремительно летит вниз. Ряд студентов включились в учебную работу только в середине семестра, однако сумели поднять свою рейтинговую оценку. Один студент группы так и не смог освоить содержание дисциплины.

Принимая во внимание неоднородность студенческой группы нами был использован

кластерный анализ оценки качества обучения студентов в группе. При этом, студент отображался точкой в п-мерном пространстве, а группа студентов - облаком точек в этом пространстве. В качестве расстояния между точками использовалась обычная, геометрическая мера длины - Евклидово расстояние. Тогда, точки, близко расположенные друг другу, отражают студентов, чьи траектории рейтинговых оценок близки. Применив к совокупности этих точек метод кластеризации построена дендрограмма, показывающая последовательно образуемые кластеры (рис. 2).

ш

о

О)

го о.

200

150

С_13 С_17 С_15 С_16 С_19 С_5 С_8 С_21 С_3 С_2 С_1 С 11 С 14 С 7 С 6 С 9 С 20 С 4 С 12 С 18 С 10

Коды студентов

К1

К2

Рис. 2. Дендрограмма классификации студентов группы по их рейтинговым оценкам по дисциплине «Х» в течение первого семестра

На дендрограмме четко выделяются два достаточно больших кластера с условным обозначением К1 и К2. При этом, кластер К1 образуют студенты, чьи результаты высшее среднего уровня (рейтинговые оценки в среднем находятся в интервале 60-90 баллов), а кластер К2 - студенты, с результатами ниже среднего уровня (рейтинговые оценки в среднем находятся в интервале 4060 баллов). При этом объемы кластеров также не одинаковы. Принимая во внимание,

что дисциплина «Х» является общеобразовательной, а студенты, только что поступившие в университет, изучали ее азы в общеобразовательной школе, можно говорить о том, что их разделение на две группы обусловлено уровнем школьной подготовки по дисциплине. Это, в свою очередь, позволяет говорить о целесообразности выстраивания процесса обучения одновременно по двум образовательным траекториям, чтобы к концу семестра подтянуть подготовку студен-

тов, входящих в кластер К2 до уровня студентов из кластера К1.

Образ учебной группы студентов определяется не только уровнем их подготовки. Немаловажную роль играет отношение студента к процессу обучения («учебная политика студента»). Выбранная учебная политика ведет к тем или иным рейтинговым результатам. Ниже приведена классификация студентов по характеру динамики рейтинговых оценок студентов. Для этого в качестве расстояния между точками х и у «-мерного пространства, взята величина р (х,у) = |1 -

гху\, в которой гху - коэффициент корреляции между х и у. Под точками п-мерного пространства понимаются наборы чисел х = (х1, х2.. ,хп) и у = (у1, у2.. .уп), равные рейтинговым оценкам двух студентов х и у, полученных ими после каждого из п контрольных мероприятий.

На рис. 3 показана дендрограмма кластеризации траекторий рейтинговых оценок студентов в группе по дисциплине «Х», с использованием меры расстояния р (х,у)= |1

- Гху\.

ГО

а. ф

ь

го

^ V

—

ф

^ -Л ф о.

а: о

ь

о го о.

2,0

1,5

1,0

0,5

0,0

С_19 С_9 С_20 С_16 С_21 С_3 С_5 С_15 С_11 С_18 С_1 С 10 С 12 С 8 С6 С 4 С 17 С7 С 13 С2 С 14

К1

Коды студентов К2

КЗ

Рис. 3. Дендрограмма классификации студентов группы по их рейтинговым оценкам в группе по дисциплине «Х» в течение первого семестра с использованием меры расстояния р(х,у) = |1 - гху|

На дендрограмме выделяются три кластера траекторий рейтинговых оценок. Траектории на рис. 4 соответствуют трем выделенным кластерам: первый - К1, второй -К2, третий - К3.

Жирные линии отображают средние для каждого из этих кластеров линии траекторий. В кластер К1 вошли 8 студентов группы. Их рейтинговые оценки на первом контрольном мероприятии были очень низки и

значительно варьировали в течении 5-6 недель. Стабилизация траекторий началась с 7-й недели. Студенты, входящие в кластер К2, тоже показали низкие результаты на первом этапе, затем их оценки немного подросли, и стабилизация произошла на 5-6 неделе семестра. В кластер КЗ попало 10 студентов учебной группы. Почти у всех из них рейтинговые оценки первоначально были довольно высоки и мало изменчивы.

V? 100

и я

я о

и о 1-

я

£

<ц а

<ц а

и

80

60

40

20

10 11

12 13 14 15

16

Номер контрольного мероприятия

ИТ

И

и Я о

1-

я

£

<ц

<ц а

и

80

60

40

20

2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 Номер контрольного мероприятия

Рис. 4. Траектории рейтинговых оценок студентов, входящих в кластеры К1, К2 и КЗ

Таким образом, классификация студентов по устойчивости динамических свойств их рейтинговых оценок, с использованием расстояния, основанного на коэффициенте корреляции траектории рейтинговых оценок, позволяет дать рекомендации преподавателям по корректировке учебных политик отдельных студентов, а также определить виды учебных мероприятий с учетом конкретных политик.

Вычисленные для всей последовательности рейтинговых оценок студента в течение семестра средняя величина и стандартное отклонение от средней дают наглядную характеристику устойчивости усилий студента в течение периода обучения. На рисунке 5 приведена дендрограмма классификации

студентов группы по средней рейтинговой оценке и стандартному отклонению этой оценки по дисциплине «Х» в течение первого семестра с использованием меры расстояния по Евклиду:

Р(XУ) = 4(Х1 -У:)2 + (х2 -У2)2

где и - средние арифметические оценки студентов х и у, соответственно, х2 и У2 - среднеквадратические отклонения оценок студентов х и У от средних арифметических оценок х1 и У1.

Каждому студенту учебной группы, обучающемуся по дисциплине «Х», поставили в соответствие два числа - среднюю рейтинговую оценку за семестр и стандартное отклонение этой оценки.

4,5 4,0 3,5 3,0

го ср

<и 2 5

ь 2,5

ш Ш

о

го >

<и г <и

а: о н о о го о.

2,0 1,5 1,0 0,5 0,0

С_14 С_17 С_19 С_5 С_20 С_21 С_3 С_12 С_13 С_16 С_1 С 15 С 7 С 9 С 4 С 8 С 10 С 18 С2 С 11 С6

К1

К3

К2

Коды студентов

Рис. 5. Дендрограмма классификации студентов группы по средней рейтинговой оценке и стандартному отклонению этой оценки по дисциплине «Х» в течение первого семестра с использованием меры расстояния по Евклиду

На дендрограмме можно выделить три кластера. Поскольку в данном случае объекты характеризуются лишь двумя показателями, то все облако точек, отображающее группу студентов, можно расположить на плоскости (рис. 6).

В кластер К1 входят 4 точки, студенты с

номерами 7,14,15,17. Второй кластер К2 образован 12 точками с номерами 2, 3, 4, 5, 8, 9, 10, 12, 18, 19, 20, 21. Пять студентов с номерами 1, 6, 11, 13, 16 составили третий кластер КЗ.

Кластер К1 объединяет студентов с высокой средней рейтинговой оценкой при от-

носительно небольшом варьировании. В кластер К2 входят студенты с низкими оценками, характеризуемыми небольшой вариацией. У студентов из кластера КЗ высокая вариабельность рейтинговых оценок.

Таким образом, проведенный анализ позволил выделить в группе студентов три подгруппы: устойчиво сильных, устойчиво слабых и промежуточную подгруппу - неустойчиво обучающихся. Зная распределение студентов по устойчивости усилий к обучению, можно предложить ряд предупреждающих мероприятий учебного и воспита-

тельного характера, направленных на стабилизацию учебной работы в семестре каждого из студентов группы. Особого внимания заслуживают студенты кластера КЗ, очевидно имеющие, с одной стороны, высокие потенциальные возможности в изучении дисциплины, с другой - низкие навыки самоорганизации учебной деятельности. Правильно подобранная преподавателем образовательная траектория для этих студентов позволит стабилизировать их работу в течение семестра, повысить учебные достижения и тем самым вывести их из группы риска.

0 20 40 60 80 100

Средняя арифметическая рейтинговая оценка студента

Рис. 6. Структура группы студентов по средней рейтинговой оценке и стандартному отклонению этой оценки по дисциплине «Х» в течение первого семестра

Как известно формирование специалиста осуществляется в совместной деятельности, взаимодействии и общении человека с другими людьми. Основное звено такой социальной среды - учебная группа, которая сама по себе оказывает мощное воздействие на студента, в связи с чем результаты работы учебной группы могут служить индикатором качества процесса обучения, а анализ средних рейтинговых оценок и показателей вариабельности рейтинговых оценок студентов в группе позволит сформулировать управленческие решения, направленные на совершенствование учебной деятельности.

Динамика этих двух показателей в течение семестра отражает успешность овладения знаниями по дисциплине студентов учебной группы. Их отношение, коэффициент вариации, соединяет эти два параметра, проявляя их совместные особенности. При этом, когда среднее арифметическое и стандартное отклонение рейтинговой оценки студентов в группе стабилизируются, коэффициент вариации тоже уменьшает свою изменчивость во времени.

На рис. 7 показан пример динамики трех показателей описанных выше.

Как следует из рисунка, изменчивость

коэффициента вариации рейтинговых оценок студентов в учебной группе по дисциплине «Х» в первую неделю занятий составляла 77%. На второй недели изменчивость

уже была на уровне 66%, а по окончании третьей - 25% (и до конца семестра оставалась в интервале от 20% до 30%).

л

с о

с I

^ ф

^

о

>5 X

0 1 ю л ш о

ф |_

т I

^ 5

га н >5 ш

I ф о

ф н

^ О К ф 5 I I ф д ^

га ф н

ш I о

о О

|_ Ц

I ^

5 н

Н о

>5 ф ф 0 1

К н

К ср

I га

ч: д

Ф I

га

О н О

80

70

60

50

40

30

20

10

-I-1-1-1-1-1-1-1-1-1-1-1-1-1-1-Г"

_„_ С________________

I ,1 -п

Средняя оценка —о Стандартное отклонение --о-- Коэффициент вариации

П.....1........1........1.......1........1........1.......1........ГГгТтТТ

Г.....П]........I........I.......I........I........I.......I........I........I.......I........I........I.......].....]

гтг!........I......рротжт

! V V !!!!!!!!!! Ч

. . . . ................

55

50

45

40 гЦ

5

га

35

30

20

15

га

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

Номер контрольной точки

Рис. 7. Динамика статистических параметров рейтинговых оценок группы по дисциплине «Х» в течение первого семестра

Очевидно это явление обусловлено процессом прохождения студентами группы периода адаптации. Таким образом, коэффициент вариации позволяет выявить период адаптации студентов к новой дисциплине и указать на начало стабилизации процесса обучения (в нашем примере срок адаптации студентов группы составил 1 месяц). Зная содержание дисциплины в первом месяце семестра, виды запланированных учебных мероприятий и методы обучения, преподаватель может скорректировать учебный процесс с целью сокращения срока адаптации студентов и более ранней стабилизации учебного процесса по дисциплине.

Статистические методы позволяют также проанализировать адекватность применяемых преподавателем методов обучения и контролирующих мероприятий. На рис. 8 представлены графики, отражающие работу студентов и учебной группы в семестре.

Как видно, в течение почти всего семестра группа студентов работала успешно и статистические параметры, характеризующие ее, менялись незначительно. Однако в конце семестра преподаватель применил не используемые ранее контролирующие мероприятия, к которым студенты оказались не готовы в полной мере. Средняя величина рейтинговой оценки резко уменьшилась (справа верхняя кривая). При этом разница между рейтинговыми оценками студентов сократилась, что отразилось в уменьшении величины стандартного отклонения (справа нижняя кривая). Очевидно, не продуманные дидактические средства обучения и контроля могут привести к неопределенности в оценке истинных достижений студентов. В данной ситуации преподаватель должен проанализировать примененные контролирующие мероприятия, внести необходимые изменения в их содержание.

Таким образом, в результате проделан-

ной работы были опробованы и рекомендуются к использованию для анализа результатов рейтингового оценивания учебной группы студентов некоторые статистические методы.

Графики динамики текущих рейтинговых оценок позволяют наблюдать за особенностями учебной работы каждого студента в семестре. Средняя величина и стандартное

отклонение рейтинговых оценок студента для всей последовательности, характеризуют устойчивость усилий студента в течение семестра. Вычисление для каждой даты занятий средней величины рейтинговых оценок студентов и стандартного отклонения их рейтинговых оценок от средней, дают целостную характеристику устойчивости работы группы в семестре.

Рис 8. Динамика рейтинговых оценок студентов в группе (слева) и ее статистических параметров (справа) по дисциплине «У» в течение семестра

Примененный многомерный кластерный анализ позволяет классифицировать студентов в учебной группе по нескольким признакам: во-первых, разделить учебную группу студентов по уровню подготовки, во-вторых, по характеру траекторий динамики рейтинговых оценок, в-третьих, по устойчи-

вости рейтинговых оценок студентов в течение семестра.

Коэффициент вариации целесообразно использовать с целью выделения периодов первоначальной адаптации студентов и стабилизации процесса обучения по учебной дисциплине.

СПИСОК ЛИТЕРАТУРЫ

1. ГОСТ Р ИСО 9000-2001 Системы менеджмента качества. Основные положения и словарь. М.: ИПК Издательство стандартов, 2001. -26 с.

2. ГОСТ Р ИСО/ТО 10017-2005 Статистические методы. Руководство по применению в соответствии с ГОСТ Р ИСО 9001. М.: Стандар-тинформ, 2005. - 20 с.

3. Поддубный А.В., Ащепкова Л.Я., Панина И.К., Смышляев А.Б. Рейтинговая система

оценивания успеваемости студентов. Владивосток: Изд-во Дальневост. ун-та, 2006. - 108 с.

4. Смышляев А.Б., Поддубный А.В., Панина И.К., Ащепкова Л.Я., Мелехин С.П. Информационно-аналитическая система контроля успеваемости студентов «WEBRATE ДВГУ». Свидетельство о регистрации в Реестре программ для ЭВМ Российского агентства по патентам и товарным знакам (РОСПАТЕНТ) № 2004612031 от 03.09.04.