CC BY
27
Экономика и управление в образовании
УДК 658.562:378.146
Поддубный А.В.
Статистическое мышление как основа для принятия решений
в системе управления качеством подготовки специалистов
Принятие управленческих решений при корректировке учебного процесса в вузе основывается чаще всего на незамысловатом математическом расчете доли успевающих студентов по результатам семестровой аттестации или доли студентов, сдавших сессию на «хорошо» и «отлично», а также на интуиции и прошлом опыте руководителей учебных подразделений.
Между тем еще со времен В. Шухарта известно, что принятие решения должно основываться на статистическом мышлении, в основе которого лежит доверие фактам, выраженным в количественной форме и непосредственно связанным с применением конкретных измерительных технологий. Статистическое мышление предполагает понимание того, что наблюдения чаще всего осуществляются над частью целого, в связи с чем их результаты содержат отклонения, и что только в результате мониторинга можно выявить устойчивую тенденцию, представляющую собой надежную информацию для последующего анализа и принятия решения.
Статистическое мышление является одним из восьми принципов менеджмента качества, сформулированных в стандартах ISO серии 9000, а статистические методы, составляющие основу такого мышления, входят в совокупность основных методов и приемов Всеобщего управления качеством [1].
Перевод системы оценивания достижений студентов в вузе на рейтинговую технологию позволяет применять статистические методы для анализа качества процесса подготовки специалистов в вузе. Так, в Дальневосточном государственном университете разработана уникальная рейтинговая технология комплексной оценки компетенций специалистов, позволяющая проектировать содержание учебной дисциплины, планировать виды учебной деятельности с учетом их веса, организовывать рейтинговое оценивание
достижений студентов по стобалльной шкале, анализировать полученные результаты [2]. Сбор, обработка и анализ данных осуществляются при помощи информационно-аналитической системы коммуникационного обеспечения рейтингового оценивания уровня формирования компетенций специалистов WEBRATE ДВГУ (далее ИАС WEBRATE), которая также является разработкой ДВГУ [3].
Выходные данные ИАС WEBRATE ДВГУ, полученные при помощи методики рейтингового оценивания и обработанные с применением программных средств Excel и Statistica, позволяют перейти к управлению подготовкой специалистов в вузе, основанному не на «методологии абстрактных идей, слов и эмоций», а на анализе фактов с целью постоянного улучшения деятельности.
Мировая практика выделяет несколько блоков статистических методов, используемых в контроле качества и оптимизации процессов. Среди них: дескриптивная статистика, включающая сбор, организацию и описание данных наблюдений и измерений при помощи гистограмм, мер центральной тенденции (средние, медианы, доли) и мер рассеивания (размах, стандартное отклонение); статистически значимые заключения о неизвестных характеристиках генеральной совокупности (проверка гипотез и планирование эксперимента); предиктив-ная статистика, дающая возможность представить будущие значения показателей качества на основе прежних данных наблюдений (корреляционный и регрессионный анализ); статистический контроль процессов (SPC); моделирование и др. [4].
Далее мы рассмотрим некоторые подходы к применению упомянутых статистических методов для анализа рейтинговых результатов учебной деятельности студентов.
Рис. 1. Динамика текущих рейтинговых
Последовательность текущих рейтинговых оценок студента по осваиваемой дисциплине характеризует динамику качества усвоения им учебного материала, отражает его учебную дисциплину и устойчивость работы в семестре.
На приведенных далее графиках (рис. 1) каждая кривая характеризует изменение рейтинговой оценки каждого студента в течение семестра по определенной дисциплине. По горизонтальной оси отмечаются контрольные точки, по вертикальной - значения (в процентах) текущих рейтинговых оценок студентов от начала семестра до текущего момента.
В начале семестра все студенты имеют равные шансы в освоении учебного материала, их текущие оценки различаются незначительно и зависят лишь от уровня базовых компетенций. В рейтинговых оценках также нет большой дифференциации. Однако в процессе подготовки с увеличением числа контрольных мероприятий различие студентов по накопленным ими рейтинговым оценкам становится очевидным. Как следует из графиков, рейтинговая оценка уменьшается, когда студент не достигает установленных результатов, и растет, когда он усваивает содержание материала. Рейтинговая оценка «идеального студента» при этом всегда равна 100 %.
Разнообразие форм кривых на графиках демонстрирует неоднородность группы студентов, только что поступивших в университет. По-видимому, это отражает различный уровень их базовой подготовки и разнообразие «учебной политики». Некоторые из них, стартуя с определенного рейтингового балла, удерживаются на этом уровне в течение всего семестра показывая стабильные результаты. Другие, не выдержав
оценок по различным дисциплинам [5]
учебной нагрузки или по иным причинам, ослабляют подготовку, и их рейтинговая оценка стремительно снижается. Ряд студентов включаются в учебную работу только в середине семестра, однако повышают свою рейтинговую оценку. Отдельные студенты так и не могут полностью усвоить содержание дисциплины.
Принимая во внимание неоднородность студенческой группы, целесообразно классифицировать студентов по уровню качества их подготовки с целью дальнейшей индивидуализации обучения. Для этого пригоден кластерный анализ.
На рис. 2 приведена дендрограмма, показывающая последовательно образуемые кластеры, когда в качестве расстояния между точками х и у и-мерного пространства используется обычная геометрическая мера длины - Евклидово расстояние.
На дендрограмме четко выделяются два достаточно больших кластера с условным обозначением К1 и К2. При этом кластер К1 образуют студенты, чьи результаты выше среднего уровня (рейтинговые оценки в среднем находятся в интервале 60-90 баллов), а кластер К2 - студенты с результатами ниже среднего уровня (рейтинговые оценки в среднем находятся в интервале 4060 баллов). При этом объемы кластеров также не одинаковы. Принимая во внимание, что дисциплина «X» является общеобразовательной, а студенты, только что поступившие в университет, изучали ее азы в общеобразовательной школе, можно говорить о том, что их разделение на две группы обусловлено уровнем школьной подготовки по дисциплине. Это, в свою очередь, позволяет говорить о целесообразности выстраивания процесса обучения одновременно по двум
150
100
О.
г
С_13 С_17 С_15 С_16 С_19 С_5 С_8 С_21 С_3 С_2 С_1 С_11 С_14 С_7 С_6 С_9 С_20 С_4 С_12 С_18 С_10
Код студента
К1
К2
200
50
0
Рис. 2. Дендрограмма классификации студентов группы по их рейтинговым оценкам по дисциплине «Х» в течение первого семестра
образовательным траекториям, чтобы к концу семестра подтянуть подготовку студентов, входящих в кластер К2, до уровня студентов кластера К1.
Образ учебной группы студентов определяется не только уровнем их подготовки. Немаловажную роль играет отношение студента к процессу обучения («учебная политика студента»). Выбранная учебная политика ведет к тем или иным рейтинговым результатам. Для классификации студентов по характеру динамики рейтинговых оценок студентов в качестве расстояния между точками х и у и-мерного пространства взята величина р (х, у) = |1 - гху|, в которой гху -коэффициент корреляции между х и у. В процессе кластеризации траекторий рейтинговых оценок студентов в группе по дисциплине «Х» выделяются три кластера: К1, К2 и КЗ (рис. 3).
Жирным цветом выделены линии, отображающие средние значения для каждого из этих кластеров, - линии траекторий. В кластер К1 входит восемь студентов группы. Их рейтинговые оценки на первом контрольном мероприятии были очень низки и значительно варьировали в течение пяти-шести недель. Стабилизация траекторий началась с седьмой недели. Студенты, входящие в кластер К2, тоже показали низкие результаты на первом этапе, затем их оцен-
ки стали чуть выше, стабилизация произошла на пятой-шестой неделе семестра. В кластер КЗ входит десять студентов учебной группы. Почти у всех из них рейтинговые оценки первоначально были довольно высоки и мало изменчивы.
Таким образом, классификация студентов по устойчивости динамических свойств их рейтинговых оценок с использованием расстояния, основанного на коэффициенте корреляции траектории рейтинговых оценок, позволяет дать рекомендации преподавателям по корректировке учебной политики отдельных студентов, а также определить вид учебных мероприятий с учетом конкретной политики.
Вычисленные для всей последовательности рейтинговых оценок студента в течение семестра средняя величина и стандартное отклонение от средней дают наглядную характеристику устойчивости усилий студента в течение периода обучения (рис. 4).
Как следует из рис. 4, кластер К1 объединяет студентов с высокой средней рейтинговой оценкой при относительно небольшом варьировании. В кластер К2 входят студенты с низкими оценками, характеризуемыми небольшой вариацией. У студентов кластера КЗ высокая вариабельность рейтинговых оценок.
а)
100 80 60 40 20
1 2 3 4 5 6 7
б)
100 80 60 40 20 0
9 10 11 12 13 14 15 16
1 2 3 4 5 6 7
9 10 11 12 13 14 15 16
и
и 0
и и &
О
2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 Номер контрольного мероприятия
Рис. 3. Траектории рейтинговых оценок студентов, входящих в кластеры К1, К2, К3 (а, б, в соответственно)
0
Таким образом, проведенный анализ позволяет выделить в группе студентов три подгруппы: устойчиво сильные, устойчиво слабые и (промежуточная) неустойчиво обучающиеся. Зная распределение студентов по устойчивости усилий к обучению, можно предложить ряд предупреждающих мероприятий учебного и воспитательного характера, направленных на стабилизацию учебной работы в семестре каждого из студентов группы. Особого
внимания заслуживают студенты кластера К3, очевидно имеющие, с одной стороны, высокие потенциальные возможности в изучении дисциплины, с другой - низкие навыки самоорганизации учебной деятельности. Правильно подобранная преподавателем образовательная траектория для этих студентов позволит стабилизировать их работу в течение семестра, повысить учебные достижения и тем самым вывести из группы риска.
Рис. 4. Структура группы студентов по средней рейтинговой оценке и стандартному отклонению этой оценки по дисциплине «Х» в течение первого семестра
Как известно, формирование специалиста осуществляется в совместной деятельности, взаимодействии и общении человека с другими людьми. Основное звено такой социальной среды - учебная группа, которая сама по себе оказывает мощное воздействие на студента, в связи с чем результаты работы учебной группы служат индикатором качества процесса обучения, а анализ средних рейтинговых оценок и показателей вариабельности рейтинговых оценок студентов в группе позволяет формулировать управленческие решения, направленные на совершенство -вание учебной деятельности.
Динамика этих двух показателей в течение семестра отражает успешность овладения знаниями по дисциплине студентов учебной группы. Их отношение - коэффициент вариации соединяет эти два параметра, проявляя их совместные особенности. При этом, когда среднее арифметическое и стандартное отклонение рейтинговой оценки студентов в группе стабилизируются, коэффициент вариации тоже уменьшает свою изменчивость во времени.
На рис. 5 показан пример динамики трех описанных выше показателей.
Как следует из рисунка, изменчивость коэффициента вариации рейтинговых оценок студен-
тов в учебной группе по дисциплине «Х» в первую неделю занятий составляла 77 %. На второй неделе изменчивость уже была на уровне 66 %, а по окончании третьей - 25 % (и до конца семестра оставалась в интервале от 20 до 30 %). Очевидно это явление обусловлено процессом прохождения студентами периода адаптации. Таким образом, коэффициент вариации позволяет выявить период адаптации студентов к новой дисциплине и указать на начало стабилизации процесса обучения (в нашем случае срок адаптации студентов группы составил 1 мес.). Зная содержание дисциплины в первом месяце семестра, вид запланированных учебных мероприятий и метод обучения, преподаватель может скорректировать учебный процесс с целью сокращения срока адаптации студентов и более ранней стабилизации учебного процесса по дисциплине.
Нами была также предпринята попытка оценить управляемость процесса подготовки специалистов в учебной группе с помощью контрольных карт. (Как известно, в производственно-технологических системах использование контрольных карт позволяет поддерживать процессы в статистически управляемом состоянии и сосредоточить усилия не на обнаружении и изъятии несоответствующих изделий, а на предупре-
80
■ |||||||||||||||
70 •
60
50 •
40
30 •
к 20 •
4 <!>. \
\
\
.«"—О—_.«г'
2
А /
"'О'
,, -Л- -С> ~ - О - -О- -о-
10
_1_■_■_■_■_■_■_■_■_■_■_■_■_■_■_1_
55
50
45
40
35
30
25
20
15
Рис.
1
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 Средняя рейтинговая оценка и стандартное отклонение
5. Динамика статистических параметров рейтинговых оценок группы
по дисциплине «X» в течение первого семестра - средняя оценка; 2 - коэффициент вариации; 3 - стандартное отклонение
3
ждении появления несоответствий путем выявления причин и своевременного их устранения). Для этого использовались рейтинговые оценки достижений студентов двух учебных групп по разным дисциплинам в одном семестре, а в качестве контрольных карт выбраны карты средних значений и стандартных отклонений (X и 5-карты), где показатель расположения позволяет определить, произошел ли сдвиг в уровне процесса, а показатель разброса позволяет давать производить оценку изменчивости процесса.
Построенные для двух групп студентов контрольные карты приведены на рис. 6. Центральная сплошная горизонтальная линия на каждой контрольной карте проведена либо на уровне среднего арифметического значения X рейтинговых оценок студентов (верхняя часть X - и 5-кар-ты), либо на уровне их среднеквадратического отклонения S (нижняя часть X - и 5-карты). Параллельно центральной линии, с двух сторон от нее, на расстоянии, равном трем стандартным отклонениям, на контрольные карты нанесены пунктиром контрольные границы (верхняя - над центральной линией, нижняя - под ней). Они показывают диапазон неизбежного разброса значений выборочной характеристики. Для проверки критериев неслучайных причин изменчивости пространство между контрольными границами
мысленно разбивается на шесть равных зон шириной в одно стандартное отклонение, которые обозначаются через А, В, С и откладываются вверх и вниз от центральной линии.
Оценку процесса по картам средних значений и стандартных отклонений осуществляют путем применения восьми критериев для неслучайных (особых) причин изменчивости, впервые сформулированных Л. Нельсоном [6]. Смысл оценки заключается в том, что если на контрольной карте обнаруживается хотя бы одна последовательность точек, соответствующая принятому критерию, то следует сделать вывод о наличии особой причины изменчивости, влияющей на данный процесс, а сам процесс признать неуправляемым.
Как следует из рис. 6, а, в первой группе студентов процесс обучения неуправляем. На это указывают результаты анализа карты средних значений: выполняются критерии 1 (две точки вне зоны А), 2 (девять точек подряд в зоне С или по одну сторону от центральной линии), 3 (шесть возрастающих или убывающих точек подряд), 5 (две из трех последовательных точек в зоне А или вне ее).
Выполнение критериев 1 и 5 указывает на сдвиг среднего значения качества подготовки специалистов в начале семестра, при этом критерии 2 и 3 указывают на уменьшение среднего зна-
100
95
90
Л 85
нк е 80
о 75
яя н 70
^ е 65
р
и 60
55
50
45
0 1 2 3 4 5 6 7
4 6 8 10
Номер контрольного мероприятия
12
40
35
30
и
н е 25
и
о
яя 20
н
^ е 15
р
и 10
5
0
90
85
80
и 75
н е 70
о 65
я
я н 60
е 55
р
и 50
45
40
35
89,220
72,761
56,303
14
1 1
"л . - - _
у ......
j
5 1 2 3 4 5 6 7 8 2 4 6 8 10 12 14 Номер контрольного мероприятия
_ / ' '
62,988
42,382
0 1 2 3 4 5
2 4 6 8 10 12 14
Номер контрольного мероприятия
50
45
я 40
нк
е 35
о
я я 30
н
е 25
р
и 20
15
10
1
01 2345 6789
4 6 8 10 12
Номер контрольного мероприятия
14
32,094
20,137
8,1806
83,594
45,919
31,085
16,251
Рис. 6. Контрольные карты по дисциплине «Х»: а - в первый и б - во второй группе студентов
чения. При этом анализ карты стандартных отклонений не внушает опасений. Более того, спустя некоторое время после начала семестра изменчивость процесса уменьшилась, он стал более
устойчив. В производственно-технологических системах выполнение критерия 1 является критическим показателем, указывающим на наличие неслучайных причин изменчивости. Однако на-
2
2
вряд ли можно считать критическим показателем увеличение среднего значения рейтинга студентов до 95 баллов. Между тем высокие показатели успеваемости студентов на первых занятиях говорят либо о том, что студенты не усвоили новые знания, умения и навыки, а лишь актуализировали ранее сформированные компетенции, либо о том, что преподаватель плохо продумал содержание занятий, а задания в контрольных точках не были адекватны уровню подготовки студентов. Высокий показатель изменчивости рейтинга в начале семестра позволяет склоняться ко второму утверждению.
Анализ карты средних значений, проведенный для второй группы студентов (рис. 6,б), также показывает, что процесс обучения статистически не управляем. При этом выполняются критерии 2 (девять точек подряд в зоне С или по одну сторону от центральной линии), 5 (две из трех последовательных точек в зоне А или вне ее), 6 (четыре из пяти последовательных точек в зоне В или вне ее) и 8 (восемь последовательных точек по обеим сторонам центральной линии и ни одной в зоне С).
Выполнение критерия 2, как и в первом случае, указывает на уменьшение среднего значения качества подготовки специалистов в начале семестра, а критериев 5, 6 и 8 - на влияние неслучайных причин изменчивости на процесс обучения. Судя по карте стандартных отклонений, все восемь критериев не выполняются, т. е. устойчивость процесса достаточно высока, хотя его изменчивость процесса была выше в начале и в конце семестра. Это может служить основанием для пересмотра содержания учебной деятельности студентов в начале и в конце семестра.
Обобщая полученные результаты, можно заключить, что формальное применение контроль-
ных карт, особенно средних значений, для оценки управляемости процесса подготовки специалистов, как это принято в теории управления качеством, вряд ли обоснованно. Тем не менее контрольные карты дают информацию к размышлению и требуется продолжать работу по их интерпретации применительно к образовательному процессу.
Таким образом, статистическое мышление как методология и статистические методы как методика пригодны не только для анализа и управления процессами в производственно-технологических системах, но с успехом могут использоваться в системе профессиональной подготовки специалистов для управления и совершенствования процесса обучения. При этом графики динамики текущих рейтинговых оценок позволяют наблюдать за особенностями учебной работы каждого студента в семестре. Средняя величина и стандартное отклонение рейтинговых оценок студента для всей последовательности характеризуют устойчивость усилий студента в течение семестра. Вычисление для каждой даты занятий средней величины рейтинговых оценок студентов и стандартного отклонения их рейтинговых оценок от средней дают целостную характеристику устойчивости работы группы в семестре.
Примененный многомерный кластерный анализ позволяет классифицировать студентов в учебной группе по нескольким признакам: по уровню подготовки, по характеру траекторий динамики рейтинговых оценок, по устойчивости рейтинговых оценок студентов в течение семестра.
Коэффициент вариации целесообразно использовать с целью выделения периодов первоначальной адаптации студентов и стабилизации процесса обучения по учебной дисциплине.
список литературы
1. Всеобщее управление качеством / О.П. Глуд-кин, Н.М. Горбунов, А.И. Гуров, Ю.В. Зорин; Под ред. Глудкина. М.: Радио, 1999. - 600 с.
2. Ащепкова Л.Я., Панина И.К., Поддубный А.В., Смышляев А.Б. Методика применения рейтинговой системы оценки успеваемости студентов. М.: ВНТИЦ, 2004. № 50200400847.
3. Смышляев А.Б., Поддубный А.В., Панина И.К., Ащепкова Л.Я., Мелехин С.П. Информационно-аналитическая система контроля успеваемости студентов «WEBRATE ДВГУ». Свидетельство о регистрации в Реестре программ для ЭВМ Российского
агентства по патентам и товарным знакам (РОСПАТЕНТ) № 2004612031 от 03.09.04.
4. Ащепкова Л.Я. Статистические методы в управлении качеством. Владивосток: Изд-во Дальне-вост. ун-та, 2008. 288 с.
5. Поддубный А.В., Ащепкова Л.Я., Панина И.К., Смышляев А.Б. Рейтинговая система оценивания успеваемости студентов. Владивосток: Изд-во Дальне-вост. ун-та, 2006. 108 с.
6. ГОСТ Р 50779.42-99 (ИСО 8258-91) Статистические методы. Карты Шухарта. М.: Изд-во стандартов, 1999. 32 с.
