CC BY
37
ПЕДАГОГИКА
УДК 355.23
Т. А. Арюткина
К ВОПРОСУ ОЦЕНКИ И УПРАВЛЕНИЯ КАЧЕСТВОМ ОБУЧЕНИЯ
Аннотация. Использован математический аппарат коэффициента ранговой корреляции. Изложена идея решения задачи и предложен порядок ее реализации. Приведен пример расчета значений коэффициента для разных сочетаний учебных дисциплин. Предложены пути решения учебных ситуаций.
Ключевые слова: эксплуатация боеприпасов, критерий, управление, ранговая корреляция, гипотеза, качество обучения.
Abstract. Mathematical apparatus technique index of cograduation is used. Notion of quick fix both offered way of realization is outlined. Exemplify calculation of index’s value for different classroom discipline’s combinations is exemplified.
Keywords: operation of ammunition, criterion, control, grade of correlation, hypothesis, quality of trading.
Уровень современного высшего профессионального образования в стране далеко не в полной мере отвечает требованиям государства. Поэтому проблема оценки качества образования и управления качеством образования представляет собой стратегическую задачу.
Комплексное решение этой задачи базируется на устранении причин, которые отрицательно повлияли на профессиональное образование, на приведении всех возможностей высшей школы и государственных структур в активное состояние и на реальном учете этого процесса в мире.
Рассмотрим один из путей решения задачи управления качеством обучения на протяжении всего периода обучения учебной группы в вузе.
При этом под качеством обучения будем понимать уровень знаний, умений и навыков без учета дополнительных компетенций, которыми должен обладать каждый выпускник вуза.
Постановка задачи
В течение каждого учебного года в каждом вузе проводятся семестровая и итоговая экзаменационные сессии. Они выявляют важнейшую статистику оценок относительно каждого обучающегося по всем оцениваемым дисциплинам учебного плана. На ее основе рассчитываются средние баллы по учебным группам и другим структурным единицам вуза. Они являются базой для проведения сравнительного анализа результатов учебы, состояния учебно-воспитательного процесса, качества обучения и воспитания. Возникают вопросы: можно ли использовать эти результаты для глубокого анализа достижений и выявления слабых мест учебного процесса? Возможно ли на этой базе строить прогнозы на будущее? Являются ли сегодняшние ре-
зультаты залогом эффективного изучения дисциплин в очередном семестре? Обеспечивают ли они междисциплинарные связи в интересах всей специальности?
Значительный интерес при этом исследовании представляют итоговые оценки обучающихся и интегральные значения итоговых оценок в виде средних баллов (математическое ожидание) за учебную группу. Они определяют конкретное место каждого обучающегося в учебной группе и место каждой группы в общем ряду учебных отделений по специальности.
Основой для оценивания успеваемости обучающихся по специальности являются результаты текущего и итогового контролей. Учитываются при этом как качественные, так и количественные показатели. Количественные показатели фиксируются преимущественно в баллах, а качественные -в оценочных суждениях типа «отлично», «хорошо», «удовлетворительно», «неудовлетворительно». Каждому такому суждению присваивается определенный балл (показатель). Например, оценочному суждению «отлично» -балл 5.
Заметим, что педагогическая оценка - это не только показатель успеваемости обучающегося. Здесь присутствует труд преподавателя и кафедры в целом, уровень методики преподавания, состояние учебно-материальной базы и многие другие параметры учебно-воспитательного процесса.
Оценка - это заключение о результатах обучения и воспитания обучающихся в принятой системе градации (ранговой и функциональной).
Большое значение имеет объективность оценки и единый подход к определению качества знаний. Это сложная проблема, потому что оценка - тонкий и острый инструмент воздействия на обучающегося.
Высокая оценка знаний может и воодушевлять, а может и расхолаживать. Еще сильнее воздействует неудовлетворительная оценка: она может и побуждать к усилению учебной работы, и убивать охоту к учению. По этой причине в последние годы в печати возникают острые дискуссии, которые облекаются то в форму борьбы с процентоманией, т.е. завышением оценок, то принимают форму предложений отказаться от оценок.
Комплексный анализ мнений различных авторов [1] позволяет сделать обобщающий вывод о том, что оценка как случайная величина несет в себе огромный объем информации учебно-воспитательного процесса. Она характеризует уровни знаний, умений и навыков, которыми овладели обучающиеся и которые являются стартовой площадкой для дальнейшего их наращивания, продуктивность предыдущего этапа и достигнутых на нем результатов, характер и объем изучаемого материала, организационно-педагогическое воздействие обучающих и времени обучения.
Эти оценки являются также результатом большой учебной, научной, методической, воспитательной и литературной работы профессорско-преподавательского и лаборантского состава кафедры, самостоятельной работы обучающихся, работы всех составляющих вуза. Они также отражают уровень знаний, умений и навыков, полученных и приобретенных при изучении соответствующих дисциплин в предыдущем семестре.
К сожалению, как показывает практика работы многих вузов, указанная информация не анализируется и не используется. Информация не работает. А можно ли заставить ее «работать»?
Коэффициент ранговой корреляции
Итоговую информацию за каждую сессию можно использовать для целей управления качеством обучения, если установить статистическую связь между оценками любой учебной группы по различным дисциплинам, а также дисциплинам предыдущей и последующей сессий.
Оценка как признак знаний, умений и навыков не имеет абсолютной шкалы измерения, но может быть отнесена к так называемой порядковой шкале. В этой шкале можно установить лишь порядок, в котором субъекты (обучающиеся) выстраиваются по степени проявления признака. В качестве примера заметим, что если по некоторым дисциплинам двое обучающихся имеют оценки «отлично» и «удовлетворительно», то можно лишь утверждать, что уровень подготовки одного из них по этой дисциплине выше (больше), чем у другого, но нельзя сказать на сколько или во сколько раз.
Оказывается, что и в этих условиях проблема измерения тесноты связи между признаками разрешима, если упорядочить или ранжировать субъекты анализа по степени выраженности измеряемых признаков. При этом каждому субъекту присваивается порядковый номер, который называется рангом. Ранги представляют собой члены натурального ряда чисел от 1 до п. Ранг 1 приписывается субъекту с наименьшим проявлением признака. Ранг 2 приписывается субъекту с более высоким проявлением признака. Ничего не изменится, если за начало отсчета будет взят субъект с наиболее высоким проявлением признака.
В рассматриваемом случае субъекты ранжируются по двум признакам. Поэтому имеется возможность измерить тесноту связи между признаками, основываясь на рангах. Для этого обычно применяют коэффициент ранговой корреляции, предложенный английским психологом Ч. Спирменом (18681945). Использование ранговой корреляции для рассматриваемых условий всегда полезно, поскольку получается объективная оценка.
Коэффициент ранговой корреляции Ч. Спирмена р определяется по формуле [2]
6 £ (г - si )2
Р = 1 ----------------------------------------, (1)
п — п
где г и s^ - ранги i-го субъекта по переменным X и Y; п - число пар наблюдений; X, Y - генеральные совокупности оценок учебного отделения по любым двум исследуемым дисциплинам.
Величина р для двух рядов, состоящих из п рангов, зависит только от
суммы £ (т) - si)2 = £ d'2' . Если два ряда рангов полностью совпадают, то
£df = 0, и, следовательно, Р = 1. При полной обратной связи, т.е. когда ранги двух рядов расположены в обратном порядке, р = —1. Во всех остальных случаях |р| < 1. По мере увеличения тесноты связи статистическая зависимость (1) приближается к функциональной и в пределе при наиболее тесной связи вырождается в функциональную. Функциональная (детерминиро-
ванная) зависимость означает соответствие каждому значению х(ґ) из множества Х значения у (ґ) из множества У.
Вероятностная (стохастическая) зависимость, в отличие от функциональной зависимости, возникает тогда, когда зависимость одной величины от другой объясняется наличием ряда случайных факторов. Стохастическая зависимость называется корреляцией.
При ранжировании иногда возникает ситуация, когда некоторые числовые характеристики признака одинаковы. Субъекты, как говорят, оказываются связанными. Связанным субъектам приписывают одинаковые средние ранги, при которых сумма всех рангов оставалась бы такой, как и при отсутствии связанных рангов. Например, если четыре субъекта оказались равнозначными в отношении рассматриваемого признака и невозможно определить, какие из четырех рангов (4, 5, 6, 7) приписать этим субъектам, то каждому субъекту приписывается средний ранг, равный (4 + 5 + 6 + 7)/4 = 5,5.
Задача решается на основе статистических гипотез: основной и альтернативной.
В качестве основной гипотезы Н0 принимаем следующую - Н0: р = 0. Сущность основной статистической гипотезы заключается в том, что коэффициент ранговой корреляции р принимается равным нулю. Физически это условие означает, что корреляция между признаками объектов отсутствует. Иными словами, это означает, что теснота связи между признаками является нулевой.
В качестве альтернативной гипотезы принимаем гипотезу На: р^ 0. Сущность альтернативной гипотезы отражает следующую мысль: корреляция между признаками существует, теснота связей является значимой.
В дальнейшем необходимо оценить значимость коэффициента р.
Для проверки нулевой гипотезы необходимо найти расчетное и критическое значения критерия Стьюдента ^ [2]. Расчетное значение критерия при числе рангов п > 10 рекомендуется проводить по статистике:
Критическое значение критерия ¿кр (а, к) определяется по таблицам
критических значений критерия Стьюдента. Входами в таблицу являются число степеней свободы к = п — 2 и уровень значимости а, который означает вероятность совершить ошибку первого рода. Обычно значения а принимают равными 0,1; 0,05; 0,005 и т.д. Если а = 0,05, то это означает, что исследователь не хочет совершить ошибку первого рода более чем в пяти случаях из 100. Далее проводится сравнение величин ^ и ¿кр .
Если ^ > ¿кр, то это означает, что нулевую гипотезу необходимо отвергнуть и принимать альтернативную. Иными словами, корреляционная связь между признаками имеется.
Если ^ < ¿кр , то это означает, что нет оснований отвергать нулевую гипотезу. Значит, ранговая корреляция между признаками незначима.
Идея решения задачи
р\1 п - 2
(2)
Порядок определения коэффициента ранговой корреляции Ч. Спирмена
1. Для исследования выбирается любое учебное отделение. К примеру, оценочная ведомость и результаты статистической обработки успеваемости курсантов учебного отделения ПАИИ по дисциплинам: математика в первом (М1), втором (М2) и третьем (М3) семестрах, теоретическая механика (ТМ), детали машин (курсовой проект) (ДМ (КП)), специальная дисциплина (С) очередной сессии (табл. 1).
Таблица 1
Оценочная ведомость и результаты статистической обработки успеваемости курсантов учебного отделения ПАИИ
№ п/п М! М2 ТМ М3 ДМ ДМ (КП) С
1 2 3 4 5 6 7
1 3 3 3 3 3 3 3
2 5 4 4 5 5 5 4
3 3 3 3 3 4 4 4
4 4 4 4 4 4 5 5
5 3 3 3 3 3 4 4
6 3 3 3 3 3 3 4
7 4 3 3 3 3 3 4
8 4 5 4 5 4 5 4
9 3 3 3 3 3 3 4
10 4 4 5 5 4 4 5
11 3 3 3 3 3 3 4
12 4 4 4 4 4 5 5
13 3 3 3 3 3 3 3
14 3 3 3 3 3 4 3
15 3 3 3 3 3 3 3
16 5 5 4 5 4 4 4
17 4 4 3 4 3 4 3
18 3 3 3 3 3 3 3
19 3 3 3 4 3 3 4
20 5 5 5 5 5 5 5
21 3 3 3 3 3 3 4
22 3 3 3 3 3 3 3
23 5 4 4 4 3 3 4
24 3 3 3 3 3 3 3
25 5 5 5 5 5 5 5
М 3,64 3,56 3,48 3,68 3,48 3,72 3,88
о 0,81 0,77 0,71 0,85 0,71 0,84 0,73
2. Методом статистической обработки оценок (см. табл. 1) по каждой дисциплине определяются средние значения (математические ожидания) М и средние квадратические отклонения о. Значения этих величин размещены в двух последних строчках таблицы. Математическое ожидание используется для сравнительной оценки всех учебных отделений и определения их места среди всех учебных отделений. Средние квадратические отклонения характеризуют потенциальные возможности учебного отделения, что следует учитывать при прогнозировании результатов обучения в текущем семестре.
3. Проводится ранжирование обучающихся (табл. 2).
Таблица 2
Ранги оценок успеваемости курсантов учебного отделения ПАИИ
№ п/п М! М2 ТМ М3 ДМ ДМ (КП) С
1 2 3 4 5 6 7
1 18,5 18 17,5 18,5 17,5 19 21,5
2 3 7,5 6,5 3,5 2 3,5 11,5
3 18,5 18 17,5 18,5 6,5 9,5 11,5
4 8,5 7,5 6,5 9 6,5 3,5 3
5 18,5 18 17,5 18,5 17,5 9,5 11,5
6 18,5 18 17,5 18,5 17,5 19 11,5
7 8,5 18 17,5 18,5 17,5 19 11,5
8 8,5 2,5 6,5 3,5 6,5 3,5 11,5
9 18,5 18 17,5 18,5 17,5 19 11,5
10 8,5 7,5 2 3,5 6,5 9,5 5
11 18,5 18 17,5 18,5 17,5 19 11,5
12 8,5 7,5 6,5 9 6,5 3,5 3
13 18,5 18 17,5 18,5 17,5 19 21,5
14 18,5 18 17,5 18,5 17,5 9,5 21,5
15 18,5 18 17,5 18,5 17,5 19 21,5
16 3 2,5 6,5 3,5 6,5 9,5 11,5
17 8,5 7,5 17,5 9 17,5 9,5 21,5
18 18,5 18 17,5 18,5 17,5 19 21,5
19 18,5 18 17,5 9 17,5 19 11,5
20 3 2,5 2 3,5 2 3,5 3
21 18,5 18 17,5 18,5 17,5 19 11,5
22 18,5 18 17,5 18,5 17,5 19 21,5
23 3 7,5 6,5 9 17,5 19 11,5
24 18,5 18 17,5 18,5 17,5 19 21,5
25 3 2,5 2 3,5 2 3,5 3
4. Рассчитывается коэффициент р по формуле (2). Его величина определяет тесноту связи между рассматриваемыми дисциплинами.
5. Рассчитывается статистика t по зависимости (3).
6. Определяются критические значения ^ (а, к) по таблицам критических значений.
7. Проводится сравнение t и ¿кр (а, к). Если t < ¿кр (а, к), то это означает, что нулевую гипотезу Н0: р = 0 следует отвергнуть и принять альтернативную На: р^ 0, поскольку корреляционная связь между неизвестными количественными признаками X и У имеется.
По данной методике проведен расчет коэффициентов корреляции р, значений ^р и t, М и о для всех сочетаний дисциплин (см. табл. 1). Результаты приведены в табл. 3.
Анализ результатов таблицы 3
Здесь цифры 1, 2, ..., 7 обозначают номера столбцов табл. 1, 2.
Проведем анализ табл. 3 по столбцам.
Таблица 3
Значения , t, р, М и о для разных сочетаний
предметов курсантов 5-й специальности
1-2 1-4 1-3 1-5 1-7 3-5 3-7 5-6
tкр 2,06
t 10,83 8,34 8,25 4,94 3,50 7,73 5,13 8,11
р 0,91 0,87 0,86 0,72 0,59 0,85 0,73 0,86
М 3,64/3,56 3,64/3,68 3,64/3,48 3,64/3,48 3,64/3,88 3,48/3,48 3,48/3,88 3,48/3,72
о 0,81/0,77 0,81/0,85 0,81/0,71 0,81/0,71 0,81/0,73 0,71/0,71 0,71/0,73 0,71/0,84
Столбец первый. Здесь t < tкр . Это значит, что отвергается основная
гипотеза, а принимается альтернативная. Величина коэффициента ранговой корреляции р = 0,91, что соответствует наличию средней тесноты связи между оценками по математике за первый и второй семестры.
Столбец второй. Здесь t > ^р . Это значит, что отвергается основная
гипотеза, а принимается альтернативная. Величина коэффициента ранговой корреляции р = 0,87, что соответствует наличию средней тесноты связи между оценками по математике за первый и третий семестры.
Столбец третий. Здесь t > tкр. Это значит, что отвергается основная
гипотеза, а принимается альтернативная. Величина коэффициента ранговой корреляции р = 0,86, что соответствует средней степени тесноты связи между оценками по математике за первый семестр и теоретической механике за второй семестр.
Столбец четвертый. Здесь t > ^р . Это значит, что отвергается основная гипотеза, а принимается альтернативная. Величина коэффициента ранговой корреляции р = 0,72, что соответствует средней степени тесноты связи между оценками по математике за первый семестр и деталям машин за пятый семестр.
Содержание столбцов с пятого по восьмой отвечает условиям: t > ^р,
основная гипотеза отвергается, степень тесноты связи между оценками двух дисциплин изменяется от 0,59 до 0,86.
Рассмотренные результаты имеют непосредственное отношение к практике работы учебных частей факультетов, кафедр, командиров учебных подразделений. Они дают объективную возможность оценивать методику обучения, деятельность преподавателя, учебную дисциплину учебного отделения, успеваемость его в предыдущем семестре и вырабатывать конкретные решения.
Это первый шаг в решении проблемы качества и управления качеством обучения с использованием коэффициента ранговой корреляции.
Список литературы
1. Педагогика : учебник / Л. П. Крившенко [и др.] ; под ред. Л. П. Крившенко. - М. : ТК Велба ; Проспект, 2007. - 432 с.
2. Кремер, Н. Ш. Теория вероятностей и математическая статистика : учебник для вузов / Н. Ш. Кремер. - 2-е изд., перераб. и доп. - М. : ЮНИТИ-ДАНА, 2004. - 573 с.
Арюткина Татьяна Алексеевна преподаватель, кафедра русского языка Пензенский артиллерийский инженерный институт
E-mail: paii08@mail.ru
УДК 355.23 Арюткина, Т. А.
К вопросу оценки и управления качеством обучения / Т. А. Арюткина // Известия высших учебных заведений. Поволжский регион. Гуманитарные науки. - 2010. - № 2 (14). - С. 102-109.
Aryutkina Tatyana Alekseevna Lecturer, sub-department of Russian language, Penza Artillery and Engineering Institute
