CC BY
135
лизация), обучающийся попутно решает задачи для социума (социальная реализация).
Таким образом, предлагаемый инструмент системных описаний позволил выявить элементы, через которые учебный процесс может быть представлен как целое (система), и установить механизм их взаимодействия. Кроме того, это позволило исключить избыток или недостаток информации при исследовании объекта. Извлечённые в результате исследования элементы определяют путь мониторинга объекта исследования.
Библиографический список
1. Баканский О.Е., Кучер Е.Н. Познание познания: когнитивные науки // Эпистемология & Философия науки.-2006.-Т. 7.-№ 1.-С. 148169.
2. Басова Н.В. Педагогика и практическая психология.-Ростов н/Д: «Феникс», 1999.-416 с.
3. Вискова Т.А. Психолого-педагогическое обоснование лекционной формы учебного процесса // Материалы II Всероссийской научнопрактической конференции: Системогенез учебной и профессиональной деятельности. - Ярославль, 2005. - С. 99-101.
4. Ганзен В. А. Системные описания в психологии. -Л.: Изд-во ЛГУ, 1984. - 175 с.
5. Каптерев В. Ф, Дидактические очерки. Теория образования.-М., 1982.-С. 368-375.
6. Крысько ВТ. Психология и педагогика в схемах и таблицах.-Минск.: Харвест, 1999.-384
7. Кузьмина Н.В. Профессионализм личности преподавателя и мастера производственного обучения. - М.: Высшая школа, 1990. -117 с.
8. Лебедев ЯД. Логико-графический метод
структурирования и измерения дидактической информации в профессиональной подготовке учителя физики. - Дисс ... докт. педаг. наук. Ярославль, 2005. - 397 с.
9. Лебедев Я.Д., Иродова И. А. О методологической культуре преподавателя физики // Вестник Костромского государственного университета им. Н.А. Некрасова: Специальный выпуск. -2004.-№4(48).-С. 13-18.
10. Лернер И.Я. Процесс обучения и его закономерности. -М.: Знание, 1980. - 96 с.
11. Минияров В.М. Педагогичесая психология. 4.II. Психология обучения. — Самара: Изд-во СГТГУ, 2004. -164 с,
12. Психолого-педагогический словарь для учителей и руководителей общеобразовательных учреждений / под ред. П.И, Пидкасистого. - Ростов н/Д.: «Феникс», 1998, -544 с.
13. Решетова З.А. Психологические основы профессионального обучения. -М.: МГУ, 1985. -207 с.
14 Российская педагогическая энциклопедия.
Т. 2 / под ред. В.В. Давыдова, -М.: Изд-во «Большая Российская Энциклопедия», 1999. - 672 с.
15. Холодная М.А. Психология интеллекта: парадоксы исследования. - Томск: Изд-во Том. ун-та; М.: Изд-во «Барс», 1997. - 392 с.
16. Guilford J.P. Three laces of intellect / J.P Guilford//The American Psychologist. -1959. - V.
14. - № 8; The structure of intellect. -Psychol. Bull. -1956.-V.53.-P. 267-293.
17. Husen, T. Oswiata i wyckowanie w roku 2000 /Т. Husen. -Warszawa: PWN, 1974. - P. 54,55.
18. Januszkiewicz, F. Technologia ksztalcenia w Szkolnictwie wyzszym. - Warszawa: Pa?stwowe WydawnictwoNaukave, 1978. -13 5 p. Янушкевич,
Ф. Технология обучения в системе высшего образования. — М.: Высшая школа, 1986,- 135 с.
О.А. КАПЛУН
ПОКАЗАТЕЛИ КАЧЕСТВА ТЕСТОВ, ВОЗМОЖНОСТИ ИХ ПРИМЕНЕНИЯ ПРИ ИЗУЧЕНИИ РУССКОГО И НЕМЕЦКОГО ЯЗЫКОВ
Статья посвящена проблеме стандартизации тестов. В статье приводятся разные виды тестов по русскому и немецкому языкам, описываются показатели их качества, приводятся классификации этих критериев и методы их определения.
В настоящее время разработка государственных образовательных стандартов и внедрение новых технологий обучения и контроля привлекают внимание общественности к тестам как одному из средств контроля. В методике русского и иностранного языков активно используются различные виды тестов, как, например контролирующие и обучающие, констатирующие и диагностические, тесты текущего и итогового контроля, стандартизованные и нестандартизованные, измеряющие усвоение языкового материала и сфор-мированность речевых умений, избирательные и со свободно конструируемым ответом, вербальные и невербальные, бланковые и компьютерные тесты и др.
Требования, которые предъявляются к разным видам тестов, выражаются в их показателях качества. Показателями качества и эффективности тестов являются валидность, надежность, дифференцирующая сила вопросов, репрезентативность, практичность, экономичность, аутентичность и др. Рассмотрим подробнее эти критерии качества тестов.
Валидность. Валидность можно определить как важнейшую характеристику теста, которая показывает, что измеряет тест и насколько хорошо он это делает. Эта характеристика теста показывает степень соответствия результатов теста цели, ради которой проводится тестирование [5, с. 141].
Можно выделить четыре метода определения валидности тестов:
1) метод, основанный на изучении содержания теста;
2) метод, основанный на корреляционном анализе, когда вычисленный коэффициент корреляции служит числовым показателем валидности;
3) метод, основанный на экспериментальных процедурах или экспертных оценках, когда по результатам проведенной процедуры можно сделать вывод о валидности данного теста;
4) метод, основанный на теоретико-экспериментальных исследованиях, когда формулируются и эмпирически проверяются гипотезы о формах проявления какого-либо явления [5, с. 142].
Валидность теста зависит от качества заданий, их числа, степени полноты и глубины охвата содержания учебной дисциплины в заданиях теста, распределения заданий по трудности, метода от-
бора заданий в тест, интерпретации тестовых результатов и организации сбора данных [1, с. 33].
В зависимости от этих характеристик различают следующие виды валидности:
1. Содержательная вачидностъ определяется тем, насколько полно тест охватывает учебный материал, для проверки которого он был создан,
и зависит от глубины предварительно проведенного составителями теста анализа учебного плана, программы, содержания учебников, от точности, полноты формулировок, взаимо связанности целей обучения и контроля.
2. Критериальная валидность показывает, насколько точно результаты по данному тесту могут быть использованы для определения существующего сост ояния или прогноза эффективности деятельности испытуемых в той или иной области. Чтобы определить критериальную валидность, выполнение теста соотносят с критерием, показателем того, что должен проверять тест. Критериальную валидность подразделяют на сопоставительную и прогностическую валидность. Сопоставительная вачидностъ предполагает сопоставление результатов теста с результатами другого теста, с самооценкой испытуемых или с оценками преподавателей. Прогностическая валидность показывает, насколько точно на основе результатов данного теста можно судить о вероятной успешности применения проверяемых тестом знаний, умений и навыков на практике.
3. Конструктная (концептуальная) вачидностъ показывает, насколько результаты теста могут рассматриваться в качестве меры какого-либо конструкта или свойства, насколько обоснованно утверждение, что данный тест измеряет типичное свойство, состояние, умение. Этот вид валидности устанавливается путем доказательства правильности теоретических концепций, положенных в основу теста. В рамках конструктной валидност и выделяют дифференциальную валидность и валидность по возрастающей дифференциации. Дифференциальная валидность рассматривает взаимодействие между психологическими факторами внутри тестовой методики, а валидность по возрастающей дифференциации определяет возможность использования теста для разных возрастов испытуемых.
4. Внешняя вачидностъ определяется тем, насколько привлекательными и приемлемыми представляются задания теста испытуемым, преподавателям, администрации, то есть это субъектив-
Педагогика. Психология. Социальная работа. Ювенология. Социокинетика, № 3, 2008 3 3
ное суждение о содержании теста, поэтому внешнюю валидность иногда называют субъективной валидностью.
5. Функциональная вачидностъ отражает степень соответствия теста тому уровню усвоения знаний, аспекту языка, виду речевой деятельности, для которого он создан [3, с. 122].
Повышению валидности теста способствуют, по мнению М.Б. Челышковой, подбор оптимальной трудности заданий для обеспечения нормального распределения баллов по тесту, экспертиза качества содержания теста, расчет оптимального времени выполнения теста, подбор валидных заданий [7, с. 345].
Валидность каждого вопроса можно выразить в виде дифференцирующей силы вопроса. И.А. Рапопорт, Р. Сельги И. Сопер понимают под ней способность вопроса различать испытуемых по ответам на данный вопрос в соответствии с их успеваемостью по данному предмету. Большую дифференцирующую силу имеют вопросы, на которые правильно ответили сильные ученики и неправильно слабые. Дифференцирующая сила определяется по формуле:
где D - индекс дифференцирующей силы,
Rg - количество испытуемых в «сильной» группе, правильно ответивших на данный вопрос,
Rb - количество испытуемых в «слабой» группе, правильно ответивших на данный вопрос,
N - общее количество испытуемых в каждой из групп [5, с. 115].
Если и более сильные, и более слабые обучающиеся с примерно одинаковым успехом ответили на данный вопрос, то он обладает низкой различающей способностью и не помогает отличить более знающих от менее знающих данный материал.
По каждому вопросу производится подсчет, чтобы установить, сколько человек по каждой подгруппе выбрали каждый из четырех предложенных вариантов ответа. Эти цифровые данные используются для оценки каждого из неправильных (отвлекающих) ответов. Если ни один человек из экспериментальной группы не выбрал данный отвлекающий ответ, то его надо пересмот-
реть или заменить. Если обучающиеся с высокими показателями по всему тесту в целом выбрали какой-то отвлекающий ответ вместо правильного, а обучающиеся с низкими показателями по тесту в целом выбрали правильный ответ, то этот вопрос составлен неудовлетворительно и требует пересмотра [6, с. 97-98],
Надежность. Важным количественным показателем качества теста является надежность. Она отражает объективность и точность педагогического измерения, степень постоянства, стабильности результатов тестирования. Существует несколько способов определения надежности теста:
1. Метод параллельных (эквивалентных) форм, когда дается аналогичный вариант уже проведенного теста, позволяющий проверить правильность отбора заданий, оптимальность структуры теста, возможность построения различных вариантов на основе типового теста. Для определения этого вида надежности подготавливаются два теста, примерно одинаковые по охвату материала и степени трудности. Оба теста проводятся в одной и той же группе испытуемых. Коэффициент корреляции между результатами испытуемых является коэффициентом эквивалентности форм теста. Он учитывает стабильность результатов, так как второй тест может проводиться сразу после первого или через некоторый промежуток времени, а также постоянство ответов испытуемых, потому что вопросы с одинаковыми номерами обоих тестов содержат однотипные задания. Каждый вопрос первого теста должен иметь точный аналог во втором тесте, но не должен быть тождественным ему. Это относится не только к содержанию вопроса, но и к степени труд ности вопроса, форме задания и набору ответов для выбора.
2. Ретестовый метод, или повторное тестирование предусматривает сравнение результатов, которые показали испытуемые в разное время при выполнении одного и того же теста. Тестирование проводится в данном случае дважды в одной и той же группе испытуемых. Период времени между первым и вторым тестированием не должен быть очень большим. Коэффициент корреляции, который называется коэффициентом стабильности, выражает величину стабильности результатов. Он уменьшается с увеличением промежутка времени между проведением двух тестов, так как у испытуемых за этот промежуток
времени может произойти сдвиг в развитии измеряемого качества. Но если этот отрезок времени будет слишком коротким, испытуемые могут в процессе повторного тестирования вспомнить свои ответы и механически воспроизвести их.
3. Метод внутренней согласованности форм теста, или метод расщепления предполагает разделение теста на равные части с четными и нечетными номерами заданий. Испытуемые выполняют в данном случае один тест, но для подсчета результатов он разбивается на два субтеста и подсчет баллов осуществляется отдельно по каждому субтесту. Основная трудность при использовании метода определения внутренней согласованности теста состоит в том, чтобы разбить тест на две равноценные части. Нельзя для этой цели использовать первую и вторую половины геста, так как в большинстве тестов вопросы в конце обычно более трудные, чем в начале, не всем испытуемым удается ответить на все вопросы теста до самого конца.
4. Метод субъективных оценок, предусматривающий сопоставление результатов тестирования с оценками независимых экспертов.
5. Метод определения внутренней согласованности тес га Кьюдера-Ричардсона. Вычисления проводятся по формуле:
п — количество вопросов в тесте;
О/—дисперсия вариационного
ряда результатов по всему тесту;
п
(М—среднее арифметическое вариационного ряда результатов по всему тесту); q=l-p[5, с. 159-161].
Таким образом, надежность теста можно выразить через:
1) коэффициент эквивалентности, который определяется как коэффициент корреляции между результатами двух параллельных форм одного и того же теста у одного и того же контингента тестируемых;
2) коэффициент стабильности, который вычисляется как коэффициент корреляции между результатами двух последовательных тестирований одних и тех же испытуемых одним и тем же тестом;
3) коэффициент внутреннего постоянства, который определяется как коэффициент корреляции между результатами двух половин одного и того же теста;
4) коэффициент гомогенности, который определяется по формуле Кьюдера-Ричардсона с помощью среднеквадратического отклонения результатов теста [4, с. 38].
На устойчивость тестовых показателей и на надежность теста могут влиять следующие факторы:
- репрезентативная выборка объектов тестирования;
- степень однородности уровня подготовки испытуемых;
- небольшое количество тестовых заданий, так как чем полнее охватывают вопросы теста измеряемые функции, тем надежнее тест;
- разнородность заданий, так как чем разнообразнее задания и чем больше их дифференцирующая сила, тем надежнее тест;
- трудность заданий, включение в тест слишком трудных или слишком легких заданий, таким образом, тест должен иметь равномерное распределение заданий по трудности;
- небольшое время, отводимое на выполнение теста;
- непонимание испытуемыми инструкции или вопросов теста;
- случайность правильных ответов, умение выполнять тес ты вообще;
- самочувствие испытуемых во время тестирования, степень усталости, интерес и мотивация;
- условия проведения теста.
С.П. Суворов в качестве еще одного показателя тестов рассматривает эталоны [6, с. 75-79]. Под эталонами он понимает цифровые показатели, основанные на данных, полученных в результате проведения теста на репрезентативной выборке контингента испытуемых, для которых он предназначается. Эти показатели играют большую роль в практическом использовании тестов, то есть в процессе их стандартизации.
Эталонные показатели позволяют с помощью стандартизованных тестов сравнивать уровень
Педагогика. Психология. Социальная работа. Ювенология. Социокинетика, № 3, 2008 35
знаний не только в пределах одной учебной группы или одного учебного заведения, но и в более широких масштабах. Одной из форм выражения этих показателей являются процентные эталоны или нормы. Они выводятся на основе эмпирической проверки данного теста на представительном образце определенной категории обучающихся.
Важнейшим требованием к тесту В. А. Кокко-та считает его репрезентативность по отношению к изучаемому программному материалу [4, с. 3940]. Это качество теста называют обоснованностью содержания. Обоснованность содержания определяется тем, насколько полно и точно тест охватывает важные вопросы учебного материала, для проверки знаний которого он составлен. Она зависит от глубины проведенного составителями теста анализа учебного плана и программы, учебного материала курса, учебников и пособий; от точности и полноты формулировок целей обучения на разных этапах изучения данного предмета; от анализа экзаменационных вопросов; от анализа мыслительных процессов во время работы над тестами.
Т.М. Балыхина следующей характеристикой качества теста считает практичность, или технологичность теста. Эта характеристика связана с доступностью инструкций и содержания теста для испытуемых, а также с относительной простотой организации тестирования, проверки, подсчета результатов и подведения итогов.
Под технологичностью понимается такая компоновка заданий, которая позволяет весь процесс тестирования или большую его часть вести с помощью технических средств, то есть экономично, объективно. Таким образом, задания становятся технологичными, если их содержание быстро и однозначно понимается испытуемыми, а форма позволяет компьютеризировать тестирование. Препятствием для достижения технологичности тестового задания может стать потребность в устных разъяснениях, расплывчатость формулировок, неопределенность форм, а также отсутствие технических средств.
Еще одной характеристикой качества теста, по мнению Т.М. Балыхиной, является экономичность теста, то есть возможность теста дать максимум достоверной информации о тестируемом при минимальных затратах времени и усилий на составление, проведение, проверку и обработку
результатов теста.
Следующей характеристикой теста является аутентичность, или подлинность теста. Она достигается с помощью выбора аутентичных текстов, создания тестовой ситуации, приближенной к реальным условиям, использования соответствующих типов и форм заданий. Степень аутентичности материалов теста—это серьезная методическая проблема, обусловленная трудностями, которые испытывают обучающиеся, овладевающие иностранным языком вне языковой среды [1,с. 38-39].
Кроме перечисленных выше показателей качества теста Н.В. Володин выделял еще и кванги-фицируемость и администрабельность [2, с. 3940]. Под квантифицируемостью, или квалиметри-ческой возможностью он понимает приспособленность теста к объективной количественной оценке результатов его выполнения, то есть структура теста должна обеспечивать легкость учета правильных и неправильных ответов тестируемого. Администрабельность теста заключается в его доступности для использования в конкретных условиях.
Таким образом, эффективность теста обеспечивают такие его характеристики, как валидность, надежность, дифференцирующая сила вопроса, эталоны, репрезентативность, практичность (технологичность), экономичность, аутентичность (подлинность), квантифицируемость и админис-трабельность. Эти характеристики рассматриваются как независимые, необходимо использовать каждую из них в максимальной степени. Но для достижения наибольшей эффективности теста нужно, на наш взгляд, найти оптимальный баланс между всеми этими характеристиками теста.
Библиографический список:
1. Бал ыхина Т.М. Основы теории тестов и практика тестирования (в аспекте русского языка как иностранного). - М.: МГУП, 2004. - 242 с.
2. Володин Н.В. К методике составления тестов // Иностранный язык в школе. - 1972. - № 1. -С.36-44.
3. Ефремова Н. Ф. Тестовый контроль в образовании. - М.: Логос, Университетская книга, 2007. -386 с.
4. Коккота В.А. Лингводидакшческое тести-рование.-М.: Высш. шк., 1989. -127 с.
5. Рапопорт И.А., СелъгР, СоттерИ. Тесты в обучении иностранным языкам в средней шко-
Творческое развитие как психологическая предпосылка успешного обучения в школе
ле.~Таллин, «Валгус», 1987.-352 с. «Мысль», 1970.-С. 51-116.
6. Суворов С. П. Педагогические тесты: прак- 7. Челышкова М.Б. Теория и практика конст-тика их составления и использования в США // руирования педагогических тестов. - М.: Логос, Пути улучшения преподавания иностранных язы- 2002.-432 с. ков. Сборник статей под ред. С.П. Суворова. М.,
Н.А.КОРЯГИНА
ТВОРЧЕСКОЕ РАЗВИТИЕ КАК ПСИХОЛОГИЧЕСКАЯ ПРЕДПОСЫЛКА УСПЕШНОГО ОБУЧЕНИЯ В ШКОЛЕ
Представляется важным включить в состав психологических предпосылок обучения младших школьников целый ряд показателей, полученных при исследовании феноменов творчества и воображения. И с этой целью соотнести ш с развитием учебно-познавательной мотивации и операционально-технической готовностью к обучению в школе на рубеже дошкольного и младшего школьного возраста, а также младшего школьного и подросткового возраста,
Для подтверждения обозначенного выше положения, относительно переходного периода на рубеже дошкольного и младшего школьного возраста, мы провели новое исследование (май -сентябрь, 2007), Эксперимент проводился в трех возрастных группах: старшая (5 лет, 43 человека) и подготовительная (6 лет, 48 человек) группы детского сада (д/с№ 2426 г. Москвы), первый класс (7 лет, 60 человек) (школа № 1967 г. Москвы).
Цели эксперимента:
1. Выявление связи творческого воображения с другими показателями операционально-технической готовности к обучению в школе и учебно-познавательной мотивации на рубеже дошкольного и младшего школьного возраста.
2. Составление рабочего диагностического комплекса, направленного на выявление психологической готовности детей к школе и включающий специальный блок методик на выявление уровня развития феноменов творческого воображения.
Задачи эксперимента:
1. Собрать необходимые данные для выявления динамики качественного и количественного развития феноменов творческого воображения как основного новообразования дошкольного возраста. Провести диагностическое исследование дошкольного и младшего школьного возраста по методикам, включающим несколько бло-
ков: 1) методики, направленные на выявление уровня развития творческого воображения («Перестановка спички», автор Т.ВЧередникова, модификация В.Т.Кудрявцева; «Девочка или мальчик?», автор К. Дункер, модификация В.Т.Кудрявцева; «День рождения гномика», авторы - ВТКуд-рявцев, ПК.Уразалиева; «Как спасти зайку?», автор В.ТКудрявцев; «Соответствия», автор В.ТКуд-рявцев); 2) методики, направленные на выявление различных феноменов творчества: детского экспериментирования, способности выделения противоречивых проблемных ситуаций на основе образного предвосхищения, способности к решению дивергентных задач (показат ели оригинальности и комплексности), способности детей самостоятельно образовывать продуктивные цели; 3) методика «Характеристика сюжетно-ролевой игры» (автор Е.И.Захарова), направленная на выявление уровня развития сюжетно-ролевой игры.
2. Собрать материалы по развитию учебнопознавательной мотивации и операциональнотехнической готовности к обучению в школе в подготовительной группе (6 лет) детского сада и в первом классе (7 лет). Провести диагностику по методикам, включающим несколько блоков: 1) методики, направленные на выявление уровня развития учебно-познавательной мотивации (анкета школьной мотивации «Что тебе нравится в
©Н.А. Корягина, 2008 37
