CC BY
88научные исследования молодых ученых
УДК 37:303.448
С. В. Петрова.
использование теории тестов в современной системе образования
S. V. Petrova. Implementation of the Theory Test in the Modern system of Education
В статье рассмотрены основные положения классической теории тестов. Изложены базовые принципы составления тестовых заданий, рассмотрены основные принципы классической и современной теории тестов, выявлены положительные и отрицательные моменты использования теории в современной системе образования.
ключевые слова: педагогическое тестирование, классическая теория тестов, принципы тестирования, истинный балл, ошибка измерения, тестовая оценка, параллельные формы теста
контактные данные: 190103, Санкт-Петербург, Лермонтовский пр., д. 44, лит. А
The article describes the main provisions of classical test theory. It sets out the basic principles of drawing tests. Tthe basic principles of classical and modern test theory, positive and negative aspects of using the theory in the modern education system are described and discovered.
Keywords: teacher testing, the classical test theory, testing principles, the true score, error of measurement, test evaluation, parallel forms of the test
Contacts: Lermontovskiy Ave 44/A, St. Petersburg, Russian Federation, 190103
Определяющей составляющей современной системы образования является педагогический контроль, который занимает важное место на всех стадиях учебного процесса.
Еще недавно результатом педагогического контроля безоговорочно считалась оценка успеваемости учащихся. Однако нынешнюю систему образования нередко обвиняют в субъективности: уровень знаний одних и тех же учащихся часто оценивается по-разному, и расхождение в значении отметок для одной и той же группы учащихся оказывается весьма значительным [1].
Необъективные оценки воспринимаются учащимися как несправедливые, что, в свою очередь, является основной причиной возникновения конфронтации в учебном процессе.
Для решения данных противоречий используются разнообразные модели педагогического тестирования.
Светлана Владимировна Петрова — аспирант Санкт-Петербургского университета управления и экономики. © С. В. Петрова, 2014
В педагогической диагностике под тестированием понимаются методы, с помощью которых результаты учебного процесса могут быть измерены (максимально сопоставимы), обработаны и интерпретированы с целью их дальнейшего использования в педагогической практике.
Если еще около 20 лет назад тесты практически не применялись в сфере образования, то сейчас мы можем наблюдать их широкое распространение в качестве средства педагогического контроля [2; 3].
Тестовая система все еще развивается в системе образования России, сам тестовый аппарат и его методы развиты еще довольно слабо [4].
Многие руководители учебных заведений считают, что их преподавательский состав в состоянии самостоятельно «придумать» за короткое время сколько угодно «тестов». На самом же деле можно придумать сколько угодно заданий в тестовой форме (но это еще не тесты). Педагогическим тестом называется система заданий специфической формы, определенного содержания, возрастающей сложности — система, создаваемая с целью формирования объективной оценки структуры и измерения уровня подготовленности учащихся, студентов. Поэтому до начала тестирования каждое задание обязательно должно быть подвергнуто предварительной эмпирической проверке. В процессе экспертизы большинство разработанных тестовых заданий (обычно более половины) не выдерживают предъявляемых к ним требований и не включаются в итоговый тест. Таким образом, растущая популярность применения тестов в образовании, с одной стороны, и слабое применение математического аппарата разработки и проверки тестов, с другой, делают актуальным обращение к современной теории тестирования как способу оценки знаний учащихся.
В теории тестирования выделяют два подхода к оценке уровня подготовленности учащихся: классический и современный. В данной статье исследования посвящаются анализу классического и специальных методов тестирования и эффективности их применения в образовательном процессе.
Фундамент классической теории тестирования (КТТ) был заложен в работах по математической статистике британского психолога Ч. Спирмена, которые были опубликованы в 1904-1913 гг. В своих работах Ч. Спирмен обосновал, что тестовые оценки характеристик человека не всегда являются достоверными.
Позже многие исследователи, в частности Дж. Гилфорд (1936) и Г. Галликсен (1950), исследовали проблемы тестовой оценки. В результате многочисленных дискуссий была сформирована теория, именуемая сегодня классической теорией тестирования [5, с. 32].
Согласно классической теории тестирования, каждый раз, когда респондент выполняет тестовые задания, полученный результат теста можно рассматривать как определенное значение случайной переменной. Дело в том, что на результат тестирования могут оказывать влияние самые различные факторы — среди них невнимательность тестируемого, нечеткая формулировка задач, случайное удачное или неудачное угадывание ответа, неправильное понимание условий задания и правил ответа и т. д.
Как отмечает Е. Ю. Карданова: «Представим ситуацию, когда испытуемому многократно предъявляют один и тот же тест, при условии что он не устает при его исполнении и полностью забывает задания после предварительного тестирования. Очевидно, что наблюдаемые оценки, полученные при повторном тестировании этого испытуемого, будут колебаться из-за ошибок измерения... » [6, с. 74].
Для определения максимально верного соответствия оценки классическая теория вводит понятие истинного балла.
«Истинный балл» испытуемого можно толковать как среднее значение показателей, полученных при бесконечном количестве повторяющихся тестов, и при условии использовании одного и того же теста. А поскольку преподаватель, который проводит тестирование, имеет дело только с фактически полученными данными в результате тестирования, то его целью является не получение «истинного балла», а лишь приближение к его наиболее близкому значению.
В данном контексте случайной величиной является «ошибка измерения», которая представляет собой разницу между тестовой оценкой испытуемого (случайной величиной) и его истинной оценкой. Итак, в теории классической теории тестов ошибка трактуется как статистическая величина, отражающая уровень отклонения полученного балла от «истинного балла» ученика.
В классической теории тестирования принято выделять два типа ошибок: случайные и систематические.
Случайные ошибки берут начало в свойствах поведения испытуемых во время тестирования. Так, человек, который проходит тестирование в определенный период времени, может себя плохо чувствовать, испытывать определенные эмоции относительно тестирования (раздражительность, страх, волнение).
Систематические ошибки часто обусловлены или низким качеством теста, или несоблюдением условий проведения процедуры тестирования.
Ошибки измерения существенно влияют на результаты тестирования, снижая, таким образом, общий уровень надежности теста.
В результате случайную величину КТТ можно представить:
X = т, + Е, (1)
где Х1 — наблюдаемый результат 1-го испытуемого выборки по данному тесту; Т1 — его истинный балл; Е1 — суммарная случайная ошибка измерения при оценке Т1 с помощью теста [4].
Решающий вопрос классической теории тестов состоит в выяснении соответствия полученных оценок испытуемых их фактическому результату. Здесь ключевым показателем является корреляция между двумя переменными. Коэффициент корреляции выражает степень тесноты связей между истинной и наблюдаемой оценками по тесту и называется показателем надежности теста.
Как отмечает А. Н. Майоров: «Если два теста удовлетворяют требованию параллельности, то можно установить корреляционную связь между истинными и наблюдаемыми оценками и корреляцией между наблюдаемыми оценками по двум параллельным формам» [7, с. 105].
В рамках классической теории тестирования понятие параллельных форм теста также играет немаловажную роль.
Согласно КТТ два теста (две формы) являются параллельными, если:
1) дисперсии ошибок для двух форм равны;
2) каждый испытуемый имеет одну и ту же истинную оценку по обеим формам.
В научной литературе по статистике часто используется упрощенное определение параллельных тестов.
Разнообразные формы (варианты) теста считаются параллельными, если они разработаны на основе одной спецификации, имеют одинаковое количество задач, попарно равное сложности с совпадающими характеристиками и порождающими на одной и той же выборке идентичные распределения наблюдаемых баллов (распределения с одинаковыми средними, дисперсией и т. д.) [8].
Теория тестирования базируется на нескольких принципах модели, которые часто называют аксиомами или постулатами КТТ:
1) среднее значение ошибок измерений генеральной совокупности испытуемых равно 0;
2) корреляция между истинной оценкой и ее ошибочным компонентом равна 0;
3) когда респонденты выполняют два разных теста и оценки каждого испытуемого по двум тестам распределяются случайно, корреляция между ложными компонентами оценок по этим двум тестам равна 0.
Выделенные три допущения позволяют использовать фундаментальные положения теории вероятности в классической теории тестов.
1. Дисперсия наблюдаемых баллов равна сумме дисперсии настоящих баллов и дисперсии ошибок:
о X = о2т + о|, (2)
где оX — дисперсия наблюдаемых баллов; оТ — дисперсия настоящих баллов; о2Е — дисперсия ошибок измерения.
2. Коэффициент надежности может быть определен как корреляция между оценками по параллельным формам теста:
о2 о2
-Т = 1 - -т. (3)
оХ оХ
3. Коэффициент надежности может быть определен как отношение дисперсии истинной оценки к дисперсии наблюдаемой оценки:
оТ
Зная надежность теста, можно оценить стандартную ошибку измерения:
оЕ = оX • V1 - Рн . (5)
Полученное значение используется для построения доверительного интервала, в пределах которого находится истинное значение тестового балла. Для построения доверительного интервала сначала выбирается уровень ошибки. Обычно в педагогике используется 5%-ный уровень: вероятность ошибки в 5 случаях из 100. Для построения интервала используется критерий Стьюдента, при этом значению соответствует табличное значение ¿-распределения Стьюдента, которое приближенно можно принять равным 3. Тогда доверительный интервал имеет вид [4]:
(( - 3 е , Х1 + 3 оЕ). (6)
Далее кратко рассмотрим современную теорию тестирования и отличия от классической теории.
Под современной теорией тестирования понимают распространенную в зарубежной тестологии теорию пункта отклика (Item Response Theory, IRT), также известную как стохастическая теория тестов (СТТ). Ее целью является оценка ла-
тентных качеств и параметров тестовых задач на основе математико-статистических моделей измерения.
В отличие от классической теории тестирования, ГОТ характеризуется фундаментальным теоретическим подходом и вместе с тем корректным разрешением ряда практических задач педагогического тестирования.
Практически это связано с некоторыми трудностями, а именно ГОТ требует использования достаточно сложного математико-статистического аппарата, компьютерной техники, разработки специальных программных продуктов.
Иногда это приводит к тому, что и создатели, и пользователи педагогических тестов полностью отказываются от ГОТ в пользу классической теории тестирования, которая дает не совсем эффективные оценки при создании новых и использовании старых тестов [7].
Универсальный подход педагогического тестирования базируется на взаимодействии классической теории и ГОТ.
На первом этапе создания теста из набора задач в тестовой форме эмпирические данные лучше обрабатывать с помощью простейшего, хотя и менее эффективного математически-статистического аппарата классической теории тестирования.
На втором этапе, в процессе глубинного анализа, в качестве задач для объективной оценки необходимо применять весь аппарат стохастической теории (ГОТ), которая дает возможность качественной разработки и использования нового теста.
В отличие от классической теории тестирования, в которой индивидуальный балл, полученный испытуемым, рассматривается как постоянная величина, в ГОТ латентный параметр считается переменной.
Начальное значение параметра находим непосредственно из эмпирических данных тестирования, затем последовательным приближением с помощью итеративных методов подходим к объективным оценкам параметров. Наблюдаемые результаты образуют два множества значений латентного параметра уровня знаний 01 (£ = 1, 2, ... и значений латентного параметра трудности задач теста в] (/ = 1, 2, ... М). Но на практике чаще всего встречается следующее обращение задачи: по ответам испытуемых оценить значение латентных параметров 0 и р.
Центральным вопросом в ГОТ является выбор математической модели. Наиболее распространена в ГОТ равно-параметрическая модель Георга Раша:
Р(0) = 1 + {ехр[-1,7(0 - в)]} - 1;
Р,ф) = 1 + {ехр[-1,7(0, - в)]} - 1. (7)
Также получили широкое распространение математические модели — двух-параметрическая модель А. Бирнбаума:
Р]{Х] = 1/Р]} = {1 + ехр[-1,70] (0 - в])]} - 1; (8)
трехпараметрическая модель А. Бирнбаума [4]:
Р{Хц = 1/в]} = {С] + (1 - С]) {1 + ехр[-1,70] (0 - в])]} - 1. (9)
Модели Раша и Бирнбаума относятся к тестам с дихотомическими заданиями. ГОТ гораздо легче адаптируется к переходу от дихотомических заданий к много-
вариантным, чем СТТ. К основным моделям IRT для тестов с многовариантными заданиями относят:
• Graded Model (GM);
• Nominal Model (NM);
• Partial Credit Model (PCM);
• Rating Scale Model (RSM).
IRT по сравнению с классической теорией тестирования имеет такие преимущества, как объективные оценки параметров задач и параметров уровня знаний. Кроме того, значения параметров задач и параметров уровня знаний измеряются в одной и той же шкале со свойствами интервальной шкалы.
Таким образом, аппарат IRT вместе с использованием классической теории тестирования дает возможность создать банк тестовых заданий для как школьного, так и внутривузовского контроля.
На основании вышеизложенного классическая и современная теория тестирования были разработаны с целью анализа и конструирования достоверных тестовых методик. Классическая теория тестов рассматривает баллы респондентов как постоянные числа и основывается на изучении статистических связей полученных данных.
В результате проведения анализа научно-методической литературы по вопросу тестирования были выделены негативные и позитивные стороны использования классической теории тестов в системе образования.
Преимущества построения теста с помощью классической теории тестирования проявляются в следующем.
1. Возможность калибровки: тестовые задания нужно протестировать с помощью группы респондентов, близкой к той, для которой предназначается тест. Можно отбросить задачи с низкой (< 0,2) или негативной корреляцией.
2. Возможность выбрать нужное число задач с наивысшей корреляцией «задача — итоговый балл», поскольку они повышают надежность теста, снижая стандартную ошибку измерения.
3. Возможность регулировки сложности задач. Чтобы подобрать необходимую сложность теста, можно заменить часть задач на более или менее сложные. Не желательно иметь легкость задачи более 0,85 или менее 0,15. Но для того чтобы учащиеся всех уровней подготовки могли быть оценены, лучше иметь задания разного уровня сложности.
Недостатки построения теста с помощью классической теории тестирования.
1. Оценка уровня знаний зависит от уровня сложности теста: если тест является сложным, то есть вероятность, что все респонденты продемонстрируют низкий уровень.
2. Сложно сравнить подобные способности учащихся, проходивших различные тесты.
3. Необъективность веса тестового задания, т. е. количества баллов, которые респонденты получают в свою «копилку» за выполнение каждого задания.
4. Вес теста не отражает среднестатистическую сложность и важность задачи.
5. Малое количество вопросов в тесте, что предусматривает простоту пользования шпаргалкой и тестирование не знаний, а способностей запоминать последовательности букв и цифр. Задачи для составления варианта теста должны выбираться из тестового задания случайным образом, а база тестовых заданий должна быть достаточно велика.
6. Наличие связи между последовательными задачами, когда для правильного выполнения одной задачи ученик пользуется или вынужден пользоваться информацией из других задач. Таким образом, проведенное исследование дает основания утверждать, что тест — это не просто некий набор проверок, после которых можно сказать, на сколько усвоены знания, а важный элемент в обучении, который должен включать в себя следующие составляющие:
1) систему задач;
2) систему предъявления задач;
3) систему проверки и обработки результатов;
4) систему анализа результатов.
Основы классической теории тестов заложены в трудах британского психолога Ч. Спирмена, в которых он обосновал, что тестовые оценки характеристик людей всегда содержат ложные компоненты измерения.
Неотъемлемой частью профессиональных обязанностей каждого педагога, независимо от того, занимается ли он научной или практической деятельностью или нет, является диагностика педагогических достижений с помощью тестирования, которое осуществляется в рамках двух основных теорий конструирования тестов: статистической (Classical Test Theory — CTT) и стохастической (Item Response Theory — IRT).
В ходе нашего исследования мы стремились проанализировать особенности, специфику и отличия использования классической теории тестов в современной системе образования. Нами сделан вывод, что, несмотря на повышенное внимание педагогов к IRT, классическая теория все еще остается основной, особенно при реализации периодического контроля в школе или вузе.
Конструирование тестов происходит на основе интервальных шкал. Измеряемое свойство считается линейным и одномерным, баллы учащихся (студентов) рассматриваются как постоянные числа. Предполагается, что распределение совокупности лиц, владеющих данным свойством, описывается кривой нормального распределения.
Дальнейшими задачами исследования является анализ возможных вариантов объединений классической и современной (стохастической) теории тестирования для разных целей педагогического процесса, а также разработка методических рекомендаций относительно применения различных моделей тестирования при оценке качества образовательного процесса.
Литература
1. Костин Г. А., Петрова С. В. Оценка валидности тестирования как метода контроля качества усвоения учебного материала // Экономика и управление. 2014. № 4.
2. Петрова С. В. К вопросу диагностики уровня знаний выпускников школ // Сборник материалов X Международной научно-практической конференции «Современные проблемы прикладной информатики» / СПбУУиЭ. СПб., 2014. С. 155-164.
3. Костин Г. А. Особенности организации научно-исследовательской работы при реализации основной образовательной магистерской программы по направлению подготовки «Прикладная информатика» // Сборник материалов X Международной научно-практической конференции «Современные проблемы прикладной информатики» Санкт-Петербургского университета управления и экономики. СПб., 2014. С. 64-69.
4. Гмурман В. В. Теория вероятностей и математическая статистика. М.: Высшая школа, 2002. 479 с.
5. Поддубный А. В. Методические основы разработки и использования педагогических тестов / А. В. Поддубный, И. К. Панина, Л. Я. Ащепкова. Владивосток, 2003. 296 с.
6. Карданова Е. Ю. Специальные методы анализа результатов тестирования, основанные на свойстве объективности моделей Раша / Е. Ю. Карданова, В. Б. Карпинский // Информационные технологии. 2008.№ 4(140). С.72-80.
7. Майоров А. Н. Теория и практика создания тестов для системы образования. М.: Интеллект-Центр, 2001. 296 с.
8. карданова Е. Ю. Проблема выравнивания, в современной теории тестирования / Е. Ю. Карданова, Ю. М. Нейман // Вопросы тестирования в образовании. 2003. № 8. С. 21-40.
УДК 658:005.93
Н. В. Богданова1
Значение стратегического управленческого учета в устойчивом развитии предприятия
N. V. Bogdanova. The Importance of strategic Management Accounting in the sustainable Enterprise Development
В статье обосновывается необходимость наличия эффективной системы управления предприятием, которая требует стратегического подхода. Автором предлагается процесс стратегического управленческого учета рассматривать как элемент качественного и гибкого управления.
Ключевые слова: стратегическое управление, стратегический управленческий учет, планирование и стратегическое позиционирование, система управления предприятием
Контактные данные: 199178, Санкт-Петербург, В. О., Средний пр., д. 57
The article substantiates the need for effective enterprise management system, which requires a strategic approach. The author proposes the process of strategic management accounting use as an element of quality and flexible management.
Keywords: strategic management, strategic management accounting, planning and strategic positioning, the enterprise management system
Contacts: Sredniy Ave 57 (Vasilievsky Island), St. Petersburg, Russian Federation, 199178
На сегодняшний день в условиях динамично меняющейся внешней среды, развитой конкуренции и непредсказуемости экономической конъюнктуры решение только текущих проблем становится неэффективным в долгосрочной перспективе. Актуальными становятся проблемы, связанные со стратегическим развитием предприятий и принятием стратегических управленческих решений.
Стратегическое развитие предприятий, особенно крупных промышленных корпораций, в Российской Федерации имеет важнейшее экономическое и социально-политическое значение. Устойчивое развитие любого предприятия требует наличия эффективной системы управления, способной обеспечить адекватную и своевременную реакцию на происходящие изменения во внутренней и внешней среде предприятия.
Наталья Владимировна Богданова — аспирант Северо-Западного института Российской академии народного хозяйства и государственной службы при Президенте РФ (Санкт-Петербург).
© Н. В. Богданова, 2014
