CC BY
11УДК 37
С. В. Петрова.
к вопросу о надежности педагогических измерений
знаний учеников
S. V. Petrova. To the Question of the Educational Measurement Reliability
of Pupils' Knowledge
В статье рассматриваются актуальные вопросы оценки качества образования учеников. В частности, анализируются основные методы оценки знаний и критерии формирования оценки, рассматриваются проблемы надежности педагогических измерений знаний учеников. Делается вывод, что реальный анализ эффективности ин-струментариев для педагогических измерений возможен только при наличии надежной, достоверной и развернутой информации о ходе процесса образования и его результатах.
Статья представляет интерес для педагогов и специалистов, интересующихся вопросами оценки качества образования и проблемами надежности педагогических измерений знаний.
ключевые слова: российская и мировая системы образования, инновации, педагогика, контроль качества обучения
контактные данные: 190103, Санкт-Петербург, Лермонтовский пр., д. 44, лит. А
The article deals with the current issues of education quality assessment of students. In particular, it analyses the main evaluation tools and criteria of the evaluation formation, deals with the problems of reliability of pedagogical dimensions of knowledge of students. It is concluded that the real benefit analysis toolkit for educational measurement is possible only if there is a reliable, accurate and full information about the process of education and its outcomes.
The article is of interest of educators and professionals which are interested in the assessment of education quality and reliability issues of pedagogical dimensions of knowledge.
Keywords: the Russian and the world system of education, innovation, education, quality training control
Contacts: Lermontovskiy Ave 44/A, St. Petersburg, 190103, Russian Federation
В ближайшее десятилетие качество образования становится ключевой проблемой российского и мирового образования. Образование сегодня абсолютно не удовлетворяет требованиям времени, является несостоятельным по отношению к разломанному на наших глазах мировому порядку и мировым проблемам.
Тема надежности педагогических измерений знаний учеников является наиболее актуальной, так как образовательная политика России на рубеже XXI в., смены цивилизаций должна исходить из двух задач: интеграция России в мировое сообщество, что требует появления нового человека, владеющего новыми парадигмами мышления; сохранение национальной независимости, что требует соблюдения национальных интересов не только в экономике, политике, обороне, но и в системе образования.
Новая методология образования и новые модели школы будущего создаются сегодня в процессе взаимодействия традиций и инноваций. Инновационные процессы должны стать ведущими в формировании образовательных систем школ и района в целом. Инновационные процессы в управлении развитием образова-
Светлана Владимировна Петрова — аспирант Санкт-Петербургского университета управления и экономики. © С. В. Петрова, 2013
№ 3(43) •2013
с. В. Петрова
тельной системы — это главное условие адекватного задачам времени преобразования школы как социально-педагогического института государства.
Основным средством формального контроля качества обучения является тестирование [1]. В педагогике и психологии тестированием (от англ. test) называется экспериментальный метод, основанный на стандартизированных заданиях, которые позволяют измерить психофизиологические и личностные характеристики, а также знания, умения и навыки испытуемого. В широкой интерпретации термин «тестирование» включает в себя тестовый метод, результат тестирования и интерпретацию результатов тестирования.
Тестовый метод контроля качества обучения имеет ряд несомненных преимуществ перед другими педагогическими методами контроля: высокая научная обоснованность теста; технологичность; точность измерений; наличие одинаковых для всех испытуемых правил проведения испытаний и правил интерпретации их результатов; хорошая сочетаемость метода с современными образовательными технологиями.
Тесты начали применяться в 1864 г. Дж. Фишером в Великобритании для проверки знаний учащихся. Теоретические основы тестирования были разработаны английским психологом Ф. Гальтоном в 1883 г. Термин «тест» впервые ввел американский психолог Дж. Кеттел в 1890 г. Первый стандартизированный педагогический тест был составлен американским психологом Э. Торнодайком. Американский психолог К. Спирмен разработал основные методы корреляционного анализа для стандартизации тестов и объективного измерения тестологических исследований. Статистические методы Спирмена, основанные на использовании методов факторного анализа, сыграли большую роль в дальнейшем развитии тестирования. Отметим, что развитие тестирования стало одной из основных причин, обусловивших проникновение в психологию и педагогику математических методов.
Проверка знаний учеников может быть осуществлена на основе различных критериев формирования оценки. В зависимости от этого методы оценки знаний можно разделить на:
• методы на основе количественных критериев,
• методы на основе вероятностных критериев,
• методы на основе классификационных критериев [Там же].
методы на основе количественных критериев предполагают использование количественной шкалы, т. е. оценка в этом случае задается числом. В простейшем случае эта оценка может представлять собой сумму баллов, полученных учеником за правильные ответы на тестовые задания. В более сложных случаях при формировании оценки учитывают типы и характеристики тестовых заданий.
В методах на основе вероятностных критериев главным является определение вероятности правильного ответа ученика как функции уровня его подготовленности и параметров тестового задания.
методы на основе классификационных критериев предполагают отнесение ученика к одному из нескольких устойчивых классов с учетом совокупности признаков, определяющих данного ученика. Примерами методов этого класса являются методы на основе алгоритма вычисления оценок (АВО), а также методы на основе нечетких множеств.
Надежностью теста называется степень совпадения его результатов при повторном тестировании одних и тех же учеников в одинаковых или близких условиях. В качестве критерия надежности можно использовать также коэффициент корреляции результатов тестирования и результатов экспертных оценок.
Чаще всего в качестве критерия надежности тестового задания используют коэффициент надежности Гутмана и коэффициент корреляции Спирмена-Брауна.
Далее нам понадобятся следующие обозначения: Р = (р1, р2, ..., рм) = (р1), I = (1, ..., N — множество учеников, где I — номер ученика, N — их общее число; Т = 12, ..., 1М) = (¿), ] = (1, ..., М) — набор тестовых заданий теста Т, где ] — номер тестового задания в тесте, М — общее число заданий; X = (х1 ), I = (1, ..., Щ, ] = (1, ..., М) — матрица результатов тестирования, где х1 у — оценка 1-го ученика за выполнение у-го задания.
Критерии надежности теста обычно строятся на основе следующих величин:
М
У; = Хх;,1 — (1)
]=1
суммарный тестовый балл ученика р1 по результатам выполнения теста Т;
г=М *=(2)
доли правильных и неправильных ответов, где г, и>1— суммарные числа правильных и неправильных ответов, полученных учеником р1 по результатам выполнения теста Т соответственно;
N
X У^
У = (3)
средний арифметический балл по всем ученикам (оценка математического ожидания случайной величины у);
а 2
Б = —а----(4)
Б N -1 (4)
оценки дисперсии тестовых результатов всех учеников, где
а2 = Х (у,- у)2— (5)
1=1
сумма квадратов отклонений баллов учеников от своих средних значений;
о = 4Ъ — (6)
соответствующая оценка средних квадратичных отклонений.
Одними из самых простых методов оценки надежности тестов являются методы, основанные на оценке структурированности знаний ученика. Наиболее известным методом этого класса является метод Гутмана (Ь. Ь. Ои^шап).
Положим, что задания в тесте Т расположены в порядке возрастания их сложности и матрица X является бинарной, т. е. оценки х1 у могут принимать только значения ноль и единица. Строка с номером I этой матрица образует так называемый профиль ученика р, характеризующий структуру его знаний. При идеальной структуре теста (когда сложность заданий действительно возрастает с увеличением их номера) и идеальной структуре знаний ученика р1 «правильным» будет профиль, в котором сначала идут только единицы, а затем только нули. Отклонение оценки хг, у от правильного профиля назовем ошибкой профиля и обозначим ег,. Точнее говоря, положим, что ег, у = 0, если оценка хг, у является «правильной», и ег, у = 1 — в противном случае.
В случае, когда структура теста является идеальной, любая ошибка профиля означает либо незнание ученика, либо его неудачную попытку угадать правильный
№ 3(43) •2013
С. В. Петрова
ответ. При усреднении результатов тестирования по всем ученикам последний эффект неизбежно нивелируется и существенными оказываются лишь инверсии (нарушения верной последовательности) в заданиях теста. На этом основании Гутманом была в качестве критерия надежности теста предложена величина
ыш
у = УР Т) = Ыш' (7)
называемая коэффициентом надежности Гутмана. Здесь суммирование ведется по всем I = (1, ..., Ы), ] = (1, ..., М) и сумма имеет смысл общего числа ошибочных ответов всех учеников.
Иногда величину (7) называют коэффициентом структурированности тестовых результатов.
В качестве нижней допустимой границы коэффициента надежности Гутмана обычно принимают величину 0,8.
Метод оценки надежности тестов с помощью коэффициента корреляции Спир-мена-Брауна (Spearman-Brown) основан на идее оценки стабильности результатов учеников. Метод относится к классу методов раздельного коррелирования и является наиболее часто используемым.
Введем следующие обозначения: уе, у" — суммарные тестовые баллы ученика р1 по результатам выполнения нечетных и четных заданий теста Т соответственно, уе + у" = у>;
N N
X уе X УО
Уе = ыЫТ,У° = ¡Ы — (8)
средние арифметические баллы по всем ученикам (оценки математических ожиданий случайных величин уе, у" соответственно);
о2 о2
= N-1 = N-1 — (9)
оценки дисперсий тестовых результатов уе, у" соответственно, где
«2 = X У - Уе )2, «о2 = X(УО - УО )2 - (10)
¡=1 ¡=1
суммы квадратов отклонений баллов ученика р1 от своих средних значений;
о е = 4ве, о 0=4в0 — (11)
оценки средних квадратичных отклонений величин уе, у";
о
Кео = Ы — (12)
оценка корреляционного момента (момента связи) величин уе, у", где
«ео = XУ - Уе )(У0 - У") — (13)
¡=1
сумма произведений отклонений величин уе, у0 от своих средних значений;
к а
г = К ео , аео __(14)
ео о ео о ^ЩЩ к '
оценка коэффициента корреляции величин уе, уо;
N
X — *
— = 1=^Г— (15)
среднее значение ошибки г1 (оценки математического ожидания случайной величины в*), где —1 = уе - уо — ошибка ученика р1 по результатам выполнения нечетных и четных заданий теста Т;
—)2
К— - —)
Б = м----(16)
е N - 1
оценки дисперсии ошибок в.
Коэффициентом корреляции Спирмена-Брауна называется величина
2 г
По= . (17)
Полагается, что тест достаточно надежен при цео > 0,8. Вариантом формулы (17) является формула
Пео = 1 - Б, (18)
где, напомним, Бв, Б — оценки дисперсии ошибки тестирования и дисперсии тестовых результатов всех учеников соответственно.
Качество педагогического контроля зависит не только от надежности инструмента измерения, но и от его валидности. Однако в отличие от надежности, определение которой сводится к выбору одной из множества расчетных схем, обоснование валид-ности теста представляет задачу методологического характера. Процесс валидизации начинается с уточнения цели и конкретных задач педагогического контроля. Если ставится цель проверить знания школьников по определенному предмету и при этом неважно, каким методом это будет сделано, то легко понять, что эта цель будет достигнута с помощью контрольных работ, экзаменов и т. п. Эти методы неравноценны с точки зрения временных затрат, объективности и качества оценки, и потому вопрос о валидности легко переводится в прагматическую плоскость оценки сравнительной пригодности того или иного метода для достижения поставленной цели. Валидность любого теста можно и нужно оценивать с позиций нормативного типа мышления, при котором любой результат должен быть соотнесен с нормой. Если нет нормы, то трудно сказать, что означает, например, полученный испытуемым Ивановым в каком-нибудь тесте балл 35 — хорошо это или плохо. Если же известно, что нормой является 25 баллов, то оценка 35 принадлежит одному из лучших учеников. Тест считается валидным, если средний результат тестирования присущ большей части учащихся, а сами результаты распределяются по нормальному закону. Нормальность распределения достигается путем варьирования числа легких и трудных заданий в тесте. Валидный тест должен содержать подавляющую долю заданий средней трудности, но он обязательно должен иметь и откровенно легкие задания, которые не решает
1 из 100 или даже 1 из 1000 испытуемых, и откровенно трудные задания, которые решает 1 из 100 или 1 из 1000 испытуемых. Валидность теста по распределению легко достигается путем замены заданий, нарушающих нормальность распределения [2].
Несмотря на огромные возможности, авторы используемой литературы ограничились одним звеном современной технологии обучения, потянув за которое можно в нашей далеко не цивилизованной стране вытянуть всю цепочку народного образования на достаточно приличный уровень развития. И самым важным звеном является разработка инструмента измерения уровня знаний и трудности заданий, без которого никакая технология, и не только современная, невозможна. Автор [Там же] до недавнего времени сам отвергал тестирование, да и сейчас относится к нему с некоторым недоверием. В самом деле, а не будем ли мы подавлять, применяя тесты с готовыми ответами, способности человеческой личности к логическому мышлению, очевидно, самому важному виду умственной деятельности? Очевидно, что путей для поиска здесь необозримое количество.
Но, к сожалению, другого инструмента для педагогических измерений, используемых в настоящее время, кроме теста, пока нет. Да и неизвестно, появится ли. Поэтому исследования по разработке более совершенного инструментария в данном направлении являются актуальной задачей. Реальный анализ эффективности инструментариев для педагогических измерений возможен только при наличии надежной, достоверной и развернутой информации о ходе процесса образования и его результатах.
литература
1. Белоус В. В., Домников А. С., Карпенко А. П. Тестовый метод контроля качества обучения и критерии качества образовательных тестов: Обзор // Наука и образование. 2011. № 4: [Электронный ресурс]. Режим доступа: http://technomag.edu.ru/doc/184741.html.
2. Олейник Н. М. Учебное пособие по спецкурсу «Тест как инструмент измерения уровня знаний и трудности заданий в современной технологии обучения». Донецк, 2003. 65 с.
УДК 336.77
В. К. Неклюдов.
Факторы, влияющие на выбор клиента в сфере кредитования малого бизнеса
V. K. Neklyudov. Factors Affecting on the Clients' Decision-making in the system of Loans to small Business Enterprises
В статье рассмотрены ключевые факторы, влияющие на процесс принятия решения о выборе клиентом банка в сфере кредитования малого бизнеса. Приведены ключевые ценовые и неценовые факторы, рас-
The article considers the key factors influencing on the process of clients' decision-making in the system of loans to small business enterprises. Key price and non-price factors are given, their importance and priority are
Валерий Константинович Неклюдов — аспирант Санкт-Петербургского университета управления и экономики. © В. К. Неклюдов, 2013
