CC BY
93
Литература:
1. Астанин С.В., Курейчик В.М., Попов Д.И., Кузьмицкий А. А. Интеллектуальная образовательная среда дистанционного обучения// Новости искусственного интеллекта. - М., 2003. - №1. -С. 7-14.
2. Астанин С.В. Мониторинг процесса обучения в системе открытого образования// Интеллектуальные САПР. -2001. - №4.
3. Дюк В.А. Компьютерная психодиагностика. - СПб.: Изд-во «Братство», 1994.
4. Евгенев Г.Б. Принципы построения мультиагентных систем автоматизации проектирования и управления//Интеллектуальное управление: новые интеллектуальные технологии, 1999.
5. Зегжда Д.П., Ивашко А.М. Основы безопасности информационных систем. - М.: «Горячая линия - телеком». -2000. 452 с.: ил.
6. Зенкин А.А. Когнитивная компьютерная графика. - М: Наука, 1991.
7. Каллан Р. Основные концепции нейронных сетей. - М.: Издательский дом «Вильямс», 2001.
8. Открытое образование - стратегия ХХ1 века для России/ Под общ. ред. В.М. Филиппова и В.П. Тихомирова. - М.: МЭСИ, 2000.
9. Тихомиров В.П. Основные принципы построения дистанционного образования в России// Дистанционное образование. -1998. - №1.
10. Тушканов Н.Б. Интеллектуальная самообучающаяся система контроля и диагностики знаний и понимания/Информационные технологии и управление. -Новочеркасск: ЮРГТУ (НПИ), 2001.
ПОКАЗАТЕЛИ ЭФФЕКТИВНОСТИ ТЕСТОВ УЧЕБНОЙ ДЕЯТЕЛЬНОСТИ КАК ТЕХНОЛОГИЧЕСКАЯ ОСНОВА
ИХ КОНСТРУИРОВАНИЯ
Н.А. Сеногноева, к. пед. н., доц., с.н.с. Тел.: (343-56) 2-33-57, E-mail: [email protected] Нижнетагильская государственная социально-педагогическая академия
http://ntspi.ru
The article deals with the designing of training tests, which are used for assessing not learners' achievements but their learning. Indicators of such tests are seen as a technological basis for their design. They are test difficulty, level of difficulty; generalisation, degree
of generalisation; validity and objectivity
Необходимость развития педагогических технологий для повышения качества образовательного процесса в настоящее время осознается не только теоретиками, но и практическими работниками. Реформирование школы, неотъемлемой частью которого является внедрение информационных технологий, предусматривает активное использование, в частности, тестовых технологий. Прежде всего, они рассматриваются как средство контроля результатов обучения.
Одним из существенных недостатков такого тестирования является невозможность определить, как именно был получен ответ
тестируемым, «в силу чего анализ способов решения задач, мыслительных операций, которые использует ученик при решении задач, в большинстве случаев оказывается затруднен или невозможен» [2, 38]. В этом контексте влияние результатов тестирования на обучение сопровождается рядом негативных эффектов: переучивание учащихся, увеличение времени на изучение одного и того же материала, снижение мотивации учения и др.
Исходя из этого, мы осуществили исследование, основная идея которого заключается в построении такого тестирования, которое позволяет контролировать не результат, а сам процесс учебной деятельности. При этом на организацию такого тестирования мы смотрим как на технологию эффективного обучения.
Ранее [4, 5] нами были выявлены такие измеряемые характеристики тестов учебной деятельности, как минимальный уровень
свернутости, максимальный уровень свернутости, среднее значение уровня свернутости, степень неравномерности, длина, ширина, уровень альтернативности максимальный, уровень альтернативности минимальный, уровень альтернативности средний, степень разветвленности, сложность максимальная, сложность минимальная.
Совершенствование педагогических оценок на основе измерений, с одной стороны, необходимо для эффективного управления качеством обучения. С другой, сильная сторона тестового метода состоит в возможности проведения педагогического измерения. Напомним, что измерение представляет собой процедуру количественного сопоставления имеющегося у испытуемых свойства с некоторым эталоном, принимаемым за единицу измерения. Что касается измерения знания учащихся, то его приходится проводить опосредованно, через эмпирически фиксируемые проявления так называемых признаков (индикаторов) знания. В контролирующих тестах в качестве такого признака (индикатора) выступает каждое отдельное задание теста. В тестах учебной деятельности в качестве такового выступает каждое отдельное действие в цепочке, приводящей к выполнению задания.
Одним из критериев эффективности для любой сферы деятельности выступает критерий технологичности. Для получения описания этого критерия рассмотрим факторы измерения и показатели эффективности тестов учебной деятельности, технологию их определения и интерпретацию результатов.
Рассмотрим введенное В. С. Аванесовым такое понятие, как эффективность теста. «Эффективным можно назвать тест, который лучше, чем другие тесты измеряет знания студентов интересующего уровня подготовленности, с меньшим числом заданий, качественнее, быстрее, дешевле, и все это -по возможности, в комплексе. С понятием "эффективность" сопряжено и близкое к нему по содержанию понятие "оптимальность". Последнее трактуется как наилучшее из возможных вариантов, с точки зрения удовлетворения нескольким критериям, взятым поочередно или вместе» [1, 204].
Для сравнения тестов используются понятия «фактор» и «показатель». Под фактором обычно понимают «момент, существенное обстоятельство в каком-нибудь процессе, явлении» [3, 847], а под показателем -«данные, по которым можно судить о развитии, ходе, состоянии чего-нибудь» [3, 549].
Среди факторов эффективности контролирующих тестов наиболее используемыми являются трудность, дискриминативность (дифференцирующая способность) задачи, время, затраченное учеником на выполнение теста, качество. Среди показателей - индекс трудности, индекс дискриминативности, ва-лидность, надежность.
Рассмотрим перечисленные факторы и показатели эффективности сначала для контролирующих тестов, затем для тестов учебной деятельности.
I. Факторы измерения и показатели эффективности контролирующих тестов.
1. Трудность задачи, индекс трудности, трудность теста
Трудность задачи [2], или известная трудность [1], является важнейшей характеристикой, определяющей место задачи в тесте. Трудность может быть субъективной и статистической [2].
Субъективная трудность задачи связана с индивидуально-психологическим барьером. Для тестов контроля этому показателю обычно не уделяется много внимания. Величина психологического барьера определяется такими факторами, как:
- условия, в которых происходит решение задачи (например, время, отведенное на решение);
- уровень сформированности необходимых для решения знаний, умений и навыков;
- состояние испытуемого и т. д.
Охарактеризуем теперь понятие статистической трудности задачи. «В большинстве случаев для тестов достижений достаточно учитывать только правильность решения задач и меньше внимания уделять способу решения, характеру затруднений, энергетическим затратам испытуемого. В связи с этим определяется и используется статистическая трудность задачи» [2, 184].
Некоторые авторы разделяют понятие трудности и сложности задания, понимая под сложностью «количество действий или интеллектуальных операций, которые необходимо выполнить для решения задания» [2, 185]. Для составления тестовых заданий контролирующего характера использовать такое понятие сложности практически невозможно, считает А. Н. Майоров, объясняя это низкой информативностью данного понятия. «... Задание может требовать несколько действий, но каждое из них настолько элементарно, что учащиеся без труда справятся с ним, а может быть задание в одно действие, но очень трудное.» [2, 185].
Статистическая трудность определяется долями выборки решивших и не решивших задачу. Вычисление трудности заданий в тестах контроля достаточно просто, поскольку она отражает ту долю испытуемых, которые справились (или не справились) с тестовым заданием.
Пусть Р - трудность задания, N - общее число испытуемых, n - число испытуемых, правильно решивших задачу, тогда
P = n.
N
Однако для обозначения трудности используется обратная величина, то есть доля тех, кто с заданием не справился. Этот показатель получил название индекса трудности. Пусть U - индекс трудности в процентах, тогда
U = 100-I 1-
N
Для определения индекса трудности для
заданий множественного выбора некоторые
авторы рекомендуют использовать формулу,
в которой введена поправка на угадывание:
( п - N
и = 100-I 1--п ■ N
^ т -1
где Nn - число испытуемых, не решивших задачу, т - число вариантов ответов.
Что касается трудности всего теста, то она «определяется суммарной трудностью заданий, его образующих» [1, 186].
2. Дискриминативность (дифференцирующая способность) теста и индекс дискриминации
Дискриминативность обозначает различительную способность теста. В случае тестов контролирующего характера она «определяется как способность отделять испытуемых с высоким общим баллом по тесту от тех, кто получил низкий балл, или испытуемых с высокой продуктивностью учебной деятельности от испытуемых с низкой продуктивностью» [2, 193]. Иногда, когда говорят о дискриминативности, используют внешний критерий, по отношению к которому она определяется. Так, для тестов школьных достижений в роли такого критерия могут выступать, во-первых, школьные оценки, во-вторых, - экспертные оценки педагогов.
Самый простой и надежный способ вычисления дискриминативности - вычисление с применением метода крайних групп, т. е. при расчете учитываются результаты учащихся, наиболее и наименее успешно справившихся со всем тестом.
Как правило, берут от 10 до 30% (чаще 27%) лучших и худших по результатам выполнения всего теста.
Индекс дискриминации (П) задания вычисляется как разность долей испытуемых из высокопродуктивной и низкопродуктивной групп, правильно решивших его.
D = -
Nni
N,,,
Nn
N в
^верх - количество учащихся в группе лучших, верно выполнивших задание;
Nnuиз - количество учащихся в группе худших, верно выполнивших задание;
Nверх - общее количество испытуемых в группе лучших;
N низ - общее количество испытуемых в
группе худших.
Индекс дискриминации может изменяться в пределах от +1 (когда с заданием справились все учащиеся из лучшей группы и ни один из худшей) до -1 (когда складывается обратная ситуация). Задания с отрицательным значением индекса дискриминации или со значением, близким к нулю (от 0,3), не могут быть признаны удовлетворительными.
Однако чаще всего при определении дискриминативности в качестве критерия используются результаты выполнения всего теста. Индекс дискриминации теста определяется минимальным из значений индексов дискриминации.
Перейдем теперь к рассмотрению оценок качества. Определение качества педагогического и любого другого теста традиционно сводится к определению меры надежности и вопросов валидности результатов. Качественным можно назвать только тот метод измерения, который обоснован научно и способен дать требуемые результаты. В западной литературе традиционно рассматривается два критерия качества: валидность и надежность.
3. Валидность
«Понятие "валидность" означает меру пригодности тестовых результатов для определенной цели. Валидность зависит от качества заданий, их числа, от степени полноты и глубины охвата содержания учебной дисциплины (по темам) в заданиях теста. Кроме того, - от баланса и распределения заданий по трудности, от метода отбора заданий в тест из общего банка заданий, от интерпретации тестовых результатов, от ор-
ганизации сбора данных, от подбора выборочной совокупности испытуемых и другого» [1, 199]. Более подробная характеристика данного критерия приведена А. Н. Майоровым [2].
Этим же автором рассматривается несколько подходов к определению валидно-сти:
- валидность получается из экспертных оценок (не измеряется);
- валидность выражается степенью (высокая, средняя, низкая);
- валидность специфична для каждого конкретного использования;
- существует много способов определения валидности.
На основании отмеченных подходов автором приведена классификация видов ва-лидности. Он различает: валидность по содержанию; конструктную валидность; ва-лидность по критерию (текущая и прогностическая). «Для всех тестов учебных достижений должна быть оценена содержательная валидность. Для тестов, используемых для аттестации учащихся, - содержательная и (очень желательно) критериальная валидность» [2, 220]. Мы остановимся более подробно на валидности по содержанию, так как определение содержательной валидно-сти используется для тестов достижений.
П. Клайн предлагает следующую процедуру для определения содержательной ва-лидности для тестов школьных достижений:
1. Укажите точно категорию лиц, для которой предназначен тест.
2. Определите навыки, подлежащие тестированию.
3. Передайте этот список экспертам в данной области (учителям и т. п.) для проверки - нет ли упущений.
4. Преобразуйте этот список в перечень заданий на каждый навык.
5. Представьте задания экспертам для проверки.
6. Подвергните задания обычным процедурам конструирования тестов. В результате должен быть получен содержательно валидный тест.
По словам А. Н. Майорова, «...сама процедура создания тестов школьных достижений в том случае, если она не нарушается, дает хороший валидный инструмент, поскольку все этапы определения содержательной валидности "зашиты" в процедуру» [2, 215]. Поскольку процедуру создания обучающих тестов мы доводим до уровня
технологичности, то сказанное относится и к ним.
4. Надежность
«Надежность теста характеризует точность теста как измерительного инструмента, устойчивость его к действию помех (состояния испытуемых, их отношения к процедуре тестирования и т. п.)» [2, 203]. Результаты тестирования всегда содержат ошибки, как бы тщательно они ни проводились. Однако существуют пути повышения этой характеристики, которые рассматривает Н. Гронлунд [6]. Он считает, что тесты по оценке результатов должны быть надежными и в связи с этим их обработка должна осуществляться очень тщательно. Если балл, полученный учеником в результате теста, будет соответствовать той оценке, которую он получил бы при повторном прохождении того же теста или идентичного с ним по форме, то данная оценка является высоко надежной. Все тестовые результаты содержат некоторый процент ошибок (в связи с различием факторов, таких, как условия тестирования или студенческие ответы), но процент ошибок может быть уменьшен путем увеличения количества и усовершенствования качества вопросов, задаваемых в тесте. Чем длиннее тест, тем более надежными и адекватными будут результаты.
А. Н. Майоров отмечает, что при определении надежности тестов школьных достижений можно получить неудовлетворительные значения, так как эти тесты могут содержать задания, с которыми справляются все учащиеся или не справляется никто из них. Возникают особые проблемы при разработке надежного теста, не требующего такого разнообразия баллов, как это бывает в случае с тестами, ориентированными на критерий. В этом случае появляется более сильная зависимость от соответствия тестовых вопросов конкретным учебным задачам, что достигается путем использования достаточного числа вопросов для каждой изучаемой задачи и разработкой письменных вопросов, которые вызывают ожидаемый ответ [6]. Источники неудовлетворительной надежности теста могут быть разбиты на три группы, связанные: с качеством теста; процедурой его проведения и оценивания; с испытуемыми [2].
Перечислим источники неудовлетворительной надежности теста, связанные с качеством теста:
- величина теста. Чем длиннее тест, тем он надежнее. Количество заданий, достаточ-
ное для достоверного оценивания, не определено, поэтому ответ на этот вопрос традиционно (в смысле в тестовых методиках контроля) мы получаем через определение надежности;
- непонятность и двусмысленность заданий. Если задания будут непонятны и двусмысленны, то в двух тестированиях будут получены разные результаты, следовательно, корреляция между результатами тестирования снизится и соответственно надежность будет низкой;
- случайное угадывание правильных ответов.
Источники неудовлетворительной надежности теста, связанные с процедурой проведения и оценивания теста:
- субъективное оценивание. Результаты выполнения заданий должны оцениваться одинаково разными проверяющими;
- инструкции к тесту должны обеспечивать одинаковость процедуры проведения тестирования.
Источники неудовлетворительной надежности теста, связанные с испытуемыми: усталость, скука, невнимательность, жара или холод, самочувствие, различная мотивация, случайные ошибки и т. д.
5. Объективность
«Объективность педагогического измерения означает не столько абсолютное достижение этой цели, что желательно, но возможно, сколько установку тестологов на максимальную объективность процесса создания и применения тестов. Объективности способствуют одинаковые инструкции для всех испытуемых, одинаковая система оценки результатов тестирования, автоматизированный подсчет баллов испытуемых и все остальное, повышающее качество тестирования» [1, 191].
II. Факторы измерения и показатели эффективности тестов учебной деятельности
Тесты учебной деятельности составлены на основе анализа механизмов умственной деятельности. С одной стороны, они предупреждают возникновение указанных трудностей и недостатков, с другой - являются надежным средством для их устранения.
Если учащиеся не умеют решать задачи, то причина здесь в том, что они не владеют необходимыми для этого мыслительными операциями. В тестах учебной деятельности предусмотрены специальное обучение этим операциям и разные линии, по которым можно наиболее быстро и правильно фор-
мировать у учащихся нужные качества мышления. В перечень умственных операций, которые можно сформировать в процессе обучения с применением тестов учебной деятельности, входят:
расчленение условия задачи на то, что дано, и то, что требуется доказать;
воспроизведение систем достаточных признаков;
сопоставление признаков с данными задачи и между собой; выбор подходящего признака;
вычленение элементов чертежа и всестороннее соотнесение их с другими элементами;
фиксирование открывающихся в результате соотнесения свойств и выведение соответствующих следствий;
проведение дополнительных построений, необходимых для выполнения требования задачи и вытекающих из анализа ее данных, и выведение соответствующих следствий из этих построений и некоторые другие.
Рассмотренные факторы и показатели эффективности контролирующих тестов были положены нами в основу определения факторов измерения и показателей эффективности тестов учебной деятельности. При этом единицей измерения знания в тестах учебной деятельности выступали форма действия (материальная, громко-речевая, умственная), путь решения, этап усвоения.
Кроме того, факторы и показатели эффективности контролирующих тестов сопоставлялись с определенными нами ранее характеристиками тестов учебной деятельности: уровень сложности максимальный, уровень сложности минимальный, ширина теста, степень разветвленности, степень неравномерности, уровень альтернативности максимальный, уровень альтернативности минимальный [4, 5].
1. Сложность теста учебной деятельности, уровень сложности
Разделяя понятие трудности и сложности заданий, будем понимать под сложностью «количество действий или интеллектуальных операций, которые необходимо выполнить для решения задания» [2, 185].
Поскольку при определении сложности заданий речь идет о количестве действий или операций, то было бы разумно, на наш взгляд, понимать сложность как максимальный путь. Именно в максимальном пути содержится наибольшее количество операций, а ученик, испытывающий затруднения при тестировании, пойдет по развернутому пути.
Средством измерения данного фактора является показатель уровня сложности. Максимальному пути соответствует максимальный уровень сложности теста. Следовательно, уровень сложности теста - это показатель эффективности, а максимальный уровень сложности - это качественная характеристика теста. Примеры вычисления сложности тестов учебной деятельности и расчет уровня сложности будут приведены ниже.
2. Обобщенность обучающего теста, степень обобщенности
Понятие обобщенности позволяет измерить такую качественную составляющую действия, как содержание. В теории П. Я. Гальперина говорится, что контроль за содержанием действия может осуществляться по ходу выполнения обучающих заданий. Установление меры обобщения требует специальных диагностических заданий. Коррекция процесса усвоения должна осуществляться с учетом не только характера отклонения, но и причин, вызвавших его. К их числу относятся: недостатки в исходном уровне развития учебной деятельности; неполная отработанность действия по какому-либо параметру на предыдущем этапе; случайные причины. Все это учитывается при выборе пути решения и в содержании альтернатив к заданиям теста учебной деятельности. Кроме того, мера обобщения устанавливается с помощью заданий «на перенос». Возможность переноса проверяется как по отношению к действию в целом, так и по отношению к отдельным его частям. Учитывая сказанное, под обобщенностью задания в тестах учебной деятельности будем понимать максимальное значение из показателей: «ширина теста» и «степень разветвленности».
Показателем обобщенности является степень обобщенности, которая равна максимальному значению из показателей: «ширина теста» и «степень разветвленности». Степень обобщенности - это показатель эффективности, а «ширина теста» и «степень разветвленности» - это качественные характеристики теста.
Примеры вычисления обобщенности обучающих тестов будут приведены ниже.
3. Валидность (освоенность) теста учебной деятельности
Выше отмечалось, что понятие «валид-ность» означает меру пригодности тестовых результатов для определенной цели. Следовательно, понятие валидности в тестах учебной деятельности естественно понимать как
степень освоенности действий. Показатель освоения теста учебной деятельности - это степень освоения. Учитывая отмеченные выше особенности определения валидности, опишем способ определения валидности и выразим валидность через степень освоения.
В тестах учебной деятельности контролируются форма исполнения задания, путь решения, этапы усвоения. Поэтому можно говорить о степени освоения формы исполнения теста (материальной, громко-речевой, умственной), пути решения, этапа усвоения.
Форма исполнения теста - это форма действий, необходимых для выполнения теста. Степень освоения формы исполнения теста - это величина, определяемая отношением среднего значения уровня свернутости теста к наибольшему количеству этапов усвоения в тесте. Пусть Р - показатель формы исполнения задания, тогда
р среднее значение уровня свернутости теста
,
где 5 - наибольшее число этапов усвоения в тесте.
Степень освоения пути - это величина, определяемая отношением уровня сложности пути к уровню сложности теста максимальной.
Степень освоения этапа усвоения - это число, равное обратному значению среднего уровня свернутости теста.
Примеры расчета формы исполнения теста, пути решения, этапа усвоения теста учебной деятельности и степени освоенности этих факторов будут приведены ниже.
4. Объективность теста учебной деятельности
Под объективностью теста учебной деятельности будем понимать объективность процесса создания и применения тестов, что обеспечивается одинаковостью инструкций для всех испытуемых и одинаковостью системы оценивания процесса тестирования.
Рассмотрим технологию определения показателей эффективности тестов учебной деятельности.
1) Уровень сложности теста учебной деятельности.
Пусть в обучающем тесте уровень сложности максимального пути равен 6, следовательно, уровень сложности теста учебной деятельности равен 6.
2) Степень обобщенности.
Воспользуемся тем, что степень обобщенности равна максимальному значению из показателей «ширина теста» и «степень разветвленности». Пусть в тесте учебной
деятельности ширина равна 4, степень раз-ветвленности равна 5, тогда степень обобщенности равна 5.
Учитывая принцип тестов учебной деятельности, согласно которому степень ширины и степень разветвленности не должны превышать значения 4, степень обобщенности можно считать высокой, если ее значение не ниже 4, средней - 3, низкой - 2. Значение 1 степень обобщенности не должна принимать, так как в самом понятии теста учебной деятельности заложена множественность выбора путей выполнения тестового задания.
3) Степень освоения.
Рассмотрим определение степени освоения формы теста на примере. Пусть Рф1 -степень освоения формы исполнения задания теста учебной деятельности 1, а 2,8 -среднее значение уровня свернутости теста
2,8
учебной деятельности 1, тогда Рф1 = Рф1 = 0,56.
Число Р может принимать значение от 0,2 до 1. Если Р принимает значение от 0,2 до 0,4, то можно говорить о материальной форме освоения задания, если от 0,4 до 0,6, то можно говорить о громко-речевой форме освоения задания, если от 0,6, то можно говорить об умственной форме освоения задания.
Степень освоения пути - это величина, определяемая отношением уровня сложности пути к уровню сложности теста максимальной.
Пусть Рп2 - степень освоения пути теста учебной деятельности 2, уровень сложности одного из путей равен 3, а уровень сложности теста максимальный - 11, тогда 3
Рп2 = — = 0,27.
Ясно, что Рп может принимать значения не более 1.
Степень освоения этапа усвоения - это число, равное обратному значению среднего уровня свернутости теста. Учитывая, что среднее значение уровня свернутости теста -это число, равное среднему арифметическому уровней свернутости действий, приведем пример вычисления степени освоения этапа усвоения. Пусть Рэ1 - степень освоения этапа усвоения теста учебной деятельности 1, среднее значение уровня свернутости теста
равно тогда Рэ1=37; Рэ1=°'27'
Степень освоения этапа усвоения может принимать значения от 0,2 до 1. Причем значение, равное 0,2, свидетельствует о самой высокой степени освоения, а 1 - о самой низкой.
Рассмотрим влияние найденных параметров тестов учебной деятельности на степень освоенности (валидность) и надежность тестов учебной деятельности.
Тест как система обладает составом, целостностью и структурой. Он состоит из заданий, правил их применения, оценок за выполнение каждого задания и рекомендаций по интерпретации тестовых результатов. Целостность означает взаимосвязь заданий, их принадлежность общему измеряемому фактору. Каждое задание теста выполняет отведенную ему роль, и потому ни одно из них не может быть изъято из теста без потери качества измерения. Структуру теста образует способ связи заданий между собой. В основном, это так называемая факторная структура [1,183], в которой каждое задание связано с другими через общее содержание и структуру деятельности.
Рассмотрим факторы, оказывающие влияние на тест учебной деятельности как систему.
1) Степень неравномерности теста влияет и на валидность, и на надежность. В тест учебной деятельности естественно включать действия лишь одной формы: либо материализованной, либо громко-речевой, либо умственной. Высокая степень неравномерности (выше 1) будет отрицательно сказываться на валидности. По определению, тест учебной деятельности предполагает контроль уровня, на котором находится учащийся при прохождении теста. И невозможно будет точно определить этот уровень, если тест неравномерный. Высокая степень неравномерности будет отрицательно сказываться и на надежности. Учащемуся трудно будет переключаться с одного уровня на другой при выполнении заданий теста учебной деятельности, при повторном тестировании при таком «переключении» ответ может быть непредсказуемым, а результат выполнения теста будет неустойчив.
2) Уровень альтернативности теста максимальный оказывает влияние на надежность. Максимальный уровень альтернативности является показателем наивысшей вероятности угадывания правильного ответа в данном тесте. Если этот показатель, например, равен 0,5, то можно говорить о высокой вероятности угадывания верного ответа, и,
следовательно, низкой надежности. Если же этот показатель, например, равен 0,3, то вероятность угадывания верных ответов уже ниже, а надежность - выше. Таким образом, чем ниже показатель минимального уровня альтернативности, тем выше надежность. Будем считать, что минимальный уровень альтернативности должен быть равен не менее 0,3.
3) Уровень альтернативности теста минимальный влияет на валидность. Рассмотрим случай, когда одно задание содержит два верных ответа из пяти, а другое - два из семи. Очевидно, ученику легче решить проблему выбора в первом случае. Однако во втором случае, при выборе двух ответов из семи, освоенность будет выше, и, следовательно, степень альтернативности ниже. Это означает, что чем выше минимальный уровень альтернативности, тем ниже валид-ность, и, наоборот.
4) Сложность теста максимальная влияет на надежность. В классической теории теста исходили из физической, по сути, идеи увеличения точности в зависимости от числа заданий: чем больше, тем точнее. Поэтому максимальная сложность является показателем того, насколько может учащийся найти для себя путь решения.
5) Сложность теста минимальная влияет на валидность. Эффективность контролирующих тестов оценивают с точки зрения
соответствия уровня его трудности уровню подготовленности тестируемых в данный момент учащихся. Эту оценку в литературе нередко относят к валидности, имея в виду валидность по уровню. Эта идея соответствует и тестам учебной деятельности, если вместо трудности использовать понятие сложности заданий. Ясно, что слабые учащиеся в наших тестах не должны выбирать более сложные задания, а сильные - менее сложные. Сложность теста минимальная является нижней границей, определяющей уровень подготовленности самых сильных учащихся при работе с тестом.
Кроме того, на объективность тестов учебной деятельности оказывает влияние его структура. Она состоит из двух частей: первая связана с недостатками в умении думать, анализировать задачу, применять знания, то есть с недостатками в аналитико-синтетических операциях; вторая - с недостатками в знаниях. Главная задача этой части - выявить усвоены или не усвоены знания, каковы умения и навыки учащихся, полученные на предыдущем этапе обучения.
Таким образом, рассмотренные показатели тестов учебной деятельности: сложность, уровень сложности, обобщенность, степень обобщенности, валидность (освоенность) и объективность - являются технологической основой их конструирования.
Научная электронная библиотека еЫЬгагу
Научная электронная библиотека еЫЬгагу предлагает редакциям, издательствам и издающим организациям разместить принадлежащие им научные периодические издания, книги и базы данных. Публикация электронных версий научных журналов и книг в еЫЬгагу позволит сделать их доступными для широкого круга российских и зарубежных ученых и специалистов.
В соответствии с соглашениями издания размещаются в еЫЬгагу в открытом доступе или на условиях платной подписки (включая платный доступ к отдельным выпускам или статьям). Предлагаем воспользоваться нашим типовым договором на размещение лицензионных материалов в открытом доступе или агентским договором (доступ по подписке).
Специалисты Научной электронной библиотеки еЫЬгагу разработали технологию подготовки и публикации электронных версий журналов и готовы обучить сотрудников редакций, а также безвозмездно передать разработанную технологию электронной публикации научных журналов.
Источник: Научная электронная библиотека еЫЬгагу (http://www.elibrary.ru)
Литература
1. Аванесов В.С. Композиция тестовых заданий. - М., 1998.
2. Майоров А.Н. Теория и практика создания тестов для системы образования. - М., 2000.
3. Ожегов С.И., Шведова Н.Ю. Толковый словарь русского языка //Российская академия наук. - 4-е изд., доп. - М., 1997.
4. Сеногноева Н.А. Об измеряемых характеристиках обучающих тестов // Проблемы современного математического образования в вузах и школах России: Тез. III Всеросс. научн. конф. 12-14 мая 2004 г. -Киров, 2004.
5. Сеногноева Н.А. Концентрический характер содержания обучающих тестов//Актуальные проблемы подготовки будущего учителя математики: Межвуз. сб. научн. тр. -Вып 6. - Калуга, 2004.
6. Gronlund N.E. How to construct achivement test. Englewood Cliffs, N.J., 1988.
