CC BY
29
ИНТЕГРАЦИЯ ОБРАЗОВАНИЯ ШШШ!
МОНИТОРИНГ ОБРАЗОВАНИЯ
ИНСТРУМЕНТЫ ИНТЕГРАЦИИ СИСТЕМ УПРАВЛЕНИЯ КАЧЕСТВОМ В ОБРАЗОВАТЕЛЬНЫЙ ПРОЦЕСС
В. Н. Гусятников, А. И. Безруков, Т. Н. Соколова
(Саратовский государственный социально-экономический университет)
Рассматриваются проблемы анализа результатов и оперативного управления процессом обучения студентов вуза. Описывается применение методов интервальных графиков (японских свечей) для визуализации результатов обучения. Осуществляются типизация результатов обучения и содержательная интерпретация результатов каждого типа.
Ключевыге слова: системы управления качеством учебного процесса; визуализация и анализ результатов обучения; метод интервальных графиков; методика анализа результатов тестирования.
Сегодня перед всеми вузами стоит проблема коренной модернизации образовательного процесса и внедрения современных систем управления качеством образования. Основополагающие принципы построения систем управления качеством хорошо известны и закреплены в стандартах серии 180 9000—2001. Предметом и результатом образовательного процесса являются люди, поэтому применение указанных стандартов к образовательному процессу имеет определенную специфику и требует переосмысления содержащихся в них положений.
Согласно ГОСТ Р ИСО 9001—2001 для успешного функционирования организация должна осуществлять менеджмент многочисленных взаимосвязанных видов деятельности, рассматриваемых как процессы. Одним из важнейших требований упомянутого стандарта является необходимость мониторинга, измерения и анализа процессов, определенных организацией, позволяющих принимать управленческие решения на основе объективной информации.
В настоящее время существует множество подходов к формированию самого понятия качественного образования. Параметры процесса обучения трудно формализуются и поддаются измерению [1]. Объективная оценка результатов обучения возможна только на выходе процесса (работодателем, государственной аттестационной комиссией). Промежуточные оценки знаний студентов (например, результаты сессий) субъективны по своей природе. Все это затрудня-
ет внедрение в вузе систем управления качеством, соответствующих ГОСТ Р ИСО 9001—2001.
Для эффективного управления качеством учебного процесса нужны инструменты, которые позволяют не только констатировать уровень образовательных достижений по завершению этапов обучения, но и своевременно измерять динамические характеристики в ходе образовательного процесса. Иными словами, необходим инструментарий для оперативного анализа динамики успеваемости студентов и управления учебным процессом на уровне отдельного преподавателя, кафедры, деканата факультета конкретного вуза.
На процесс обучения влияет достаточно большое число факторов, главные из которых — способности и уровень начальной подготовки обучаемых, состояние образовательной среды вуза, уровень мотивации, влияние внешней среды и т. д. Все они находят отражение в оценке уровня знаний на различных этапах обучения. При этом оценка служит интегральной характеристикой, которая в той или иной степени зависит от перечисленных факторов. Здесь прослеживается аналогия с формированием цены акций на рынке ценных бумаг в результате сложного взаимодействия случайных и закономерных факторов.
Для анализа динамики цен на рынке ценных бумаг широко применяются методы технического анализа. Одними из популярных методов являются методы интервальных графиков, и в частности
© Гусятников В. Н., Безруков А. И., Соколова Т. Н., 2010
№ 4, 2010
метод японских свечей. Он позволяет наглядно представить динамику того или иного показателя с учетом взаимосвязей «внутри» изменяющегося параметра.
Воспользуемся данным методом для наглядного представления динамики результатов тестирования знаний студентов. Как и в биржевых диаграммах, разница между результатами базового и текущего тестов определяет размер свечи. Каждая свеча на графике состоит из черного либо белого тела и верхней/нижней тени, или фитиля (тонкой линии выше и ниже тела свечи). Границы тела отображают базовое и текущее значения. Если тело светлое, то текущее значение выше базового и динамика положительная, если темное — текущий результат ниже базового и динамика отрицательная. Таким образом, по цвету и высоте тела можно дать качественную и количественную характеристику соотношения текущего и базового результатов тестирования. Верхняя и нижняя грани-
2
4 5
цы тени отображают максимальное и минимальное значения результатов за выбранный период наблюдения. В течение указанного периода может пройти любое количество сессий тестирования; по всем учитываемым результатам определяются максимальное и минимальное значения, которые и фиксируются на диаграмме.
Применяя данный метод, мы можем отразить разброс результатов тестирования для каждого студента и увидеть различия результатов для всей группы. Большой фитиль на индивидуальной диаграмме свидетельствует о неустойчивости результатов у данного студента. Фитиль сверху говорит о том, что студент способен на лучшие результаты, а фитиль снизу свидетельствует о провалах на предыдущих тестах.
На рис. 1 приведены примеры свечей, которые можно сопоставить с различными типами студентов с точки зрения успешности обучения.
7
10
і
Р и с. 1. Виды свечей
Очень короткие фитили или их отсутствие при светлом теле свечи говорят о том, что текущий результат близок (свеча 1) или равен (свеча 3) индивидуальному максимуму. Индивидуальный минимум соответствует результату ЕГЭ, у студента есть потенциал и, самое главное, стремление к учебе.
Темное тело свечи в аналогичной ситуации (свечи 2 и 4) — признак того, что индивидуальный максимум соответству-
ет базовому результату. Текущий результат — самый худший из всех наблюдений. Высота верхнего фитиля — оценка потенциальных возможностей студента. Поскольку в качестве базового мы рассматриваем результат ЕГЭ, можно предположить, что реальный базовый уровень знаний студента ниже зафиксированного на едином государственном экзамене.
Наличие заметных верхних и нижних фитилей говорит о нестабильности зна-
6
1
3
9
ИНТЕГРАЦИЯ ОБРАЗОВАНИЯ
ний, возможны «взлеты» (верхний фитиль) и падения, «провалы» в знаниях (нижний фитиль). Чем больше общая высота свечи и высота фитилей, тем более нестабильные результаты показывает студент (свечи 5—8).
Следует обратить внимание и на положение тела на свече (соотношение длин верхнего и нижнего фитилей). Светлое, смещенное вверх (нижний фитиль больше верхнего) тело — признак положительной тенденции: несмотря на срывы, текущий уровень знаний постепенно растет (свеча 7). В противном случае (темное, смещенное вниз тело) тенденция негативная: наличие высокого верхнего фитиля отражает потенциальные возможности студента, но отсутствие мотивации, пропуски занятий или иные причины приводят к снижению результатов учебы (свеча 8).
Если тело свечи темное и при этом верхняя граница тела и верхний фитиль невысокие (свеча 9), можно говорить о неспособности студента воспринимать (осваивать) программу высшей школы. Если базовый результат (верхняя граница тела свечи) достаточно высокий, но верхний фитиль небольшой (свеча 10) — у студента отсутствует мотивация к учебе и он стабильно снижает результат.
Рассмотрим пример применения метода японских свечей для исследования результатов тестирования студентов Саратовского государственного социальноэкономического университета по дисциплине «Математика». Исследование проводилось в двух группах первокурсников финансово-кредитного факультета, обучающихся по направлению «Экономика и управление». В качестве материалов для анализа послужили результаты ЕГЭ 2009 г., входного тестирования в начале сентября 2009 г., а также итогового контроля по окончании первого, второго и третьего модулей в 2009/10 учебном году в форме компьютерного тестирования. Последнее проводилось с помощью вузовской системы тестирования [1; 2] по методикам, сходным с методикой Федерального интернет-экзамена [3]. Для входного тестирования использовались
тесты, разработанные преподавателями кафедры прикладной математики и информатики, соответствующие программе средней школы. Тесты для итогового контроля были составлены по дидактическим единицам, изучение которых предусмотрено в соответствующих модулях рабочим учебным планом. Результатом тестирования считалась доля правильно выполненных тестовых заданий, измеренная в процентах. Использование в качестве исходных данных результатов тестирования по математике вполне оправданно, так как содержание дисциплины в достаточной степени стандартизовано, а методика преподавания хорошо отработана.
На рис. 2 приведены результаты тестирования по математике студентов двух групп. На графике учтены результаты ЕГЭ, входного тестирования и трех итоговых тестов по окончании первых трех модулей. Для наглядности списки студентов отсортированы в порядке возрастания результатов ЕГЭ, являющегося начальным тестом. Чтобы сделать результаты учитываемых тестов сопоставимыми, среднее значение и стандартное отклонение каждого теста с помощью линейной нормировки устанавливались равными соответствующим характеристикам начального теста.
Как видно из рисунка, положение с математикой в группах существенно различается. Во второй группе (ФК-5) большинство слабых и средних студентов (получивших низкий и средний балл по ЕГЭ) в течение первого года повысили свои результаты, а сильные студенты ухудшили. В первой группе (ФК-4) ухудшились результаты у «середнячков». Причина тому — различия систем ценностей, сложившихся в группах. Если в первой группе каждый учится, как может, и «натасканные» на сдачу ЕГЭ «середнячки» постепенно теряют свои позиции, то во второй — слабые студенты стремятся догнать сильных, а сильные, почувствовав свои преимущества на фоне слабых, не прикладывают необходимых усилий для успешного овладения знаниями.
№ 4, 2010
Р и с. 2. Динамика успеваемости студентов I курса по дисциплине «Математика»
Предложенный инструментарий дает возможность наглядно представить результаты нескольких последовательных этапов тестирования, содержательно отобразить динамику успеваемости как отдельных студентов, так и учебных групп, увидеть соотношение успехов студентов в группе и связать результаты с внешними и внутренними влияющими на них факторами. Применение этого инструментария в системах управления качеством, на наш взгляд, позволит принимать оперативные решения по управлению учебным процессом на основе объективных данных.
СПИСОК ИСПОЛЬЗОВАННОЙ ЛИТЕРАТУРЫ
1. Гусятников, В. Н. Методики использования результатов компьютерного тестирования в системах поддержки принятия решений / В. Н. Гусятников, Т. Н. Соколова, И. В. Каюкова // Интеграция образования. — 2009. — № 3. — С. 26—29.
2. Гусятников, В. Н. Технологии компьютерного тестирования как элемент системы поддержки принятия решений в образовательной деятельности / В. Н. Гусятников, Т. Н. Соколова // Интеграция образования. — 2008. — № 4. — С. 114—117.
3. Наводнов, В. Г. ФЭПО как инновационный подход в системе обеспечения качества образования / В. Г. Наводнов, А. С. Масленников, В. П. Киселева // Аккредитация в образовании. — 2008. — № 24. — С. 74—78.
Поступила 18.10.10.
