CC BY
154
УДК 81’24:378
Ж. И. Айтуганова
ПЕДАГОГИЧЕСКИЙ ТЕСТОВЫЙ КОНТРОЛЬ УЧЕБНЫХ ДОСТИЖЕНИЙ СТУДЕНТОВ ПО ИНОСТРАННОМУ ЯЗЫКУ (АНГЛИЙСКОМУ) В КГЭУ
Ключевые слова: педагогическое тестирование, проектирование теста, измерение, обработка, оценка качества
спроектированных тестов, эксперимент.
В статье рассматриваются основные этапы проектирования тестов по иностранному языку (английскому), проводится оценка качества спроектированных тестов.
Key words: pedagogical testing, tests’ projecting, dimension, processing, appraisal quality of the projected tests,
experiment.
In the article the main stages of tests ’ projecting on foreign language (English) are considered, appraisal quality of the projected tests is pursued.
Развитие образования в России выдвинуло проблему его стандартизации, которая связана с необходимостью объективной оценки уровня обученности. Получение качественной, надежной информации необходимо как обучающему, так и обучаемому. Одним из способов получения такой информации является педагогическое тестирование.
Технология тестирования положена в основу создания контрольных измерительных материалов по иностранным языкам и проведения итоговой аттестации выпускников.
Данная статья посвящена анализу одной из форм контроля — контроля в форме тестов, отражающего современные требования к уровню развития методической науки.
Тесты позволяют получить объективную оценку уровня знаний, навыков и умений, выявить пробелы в подготовке студентов, проверить соответствие уровня подготовки выпускников требованиям государственных образовательных стандартов. В сочетании с компьютерными программно-педагогическими средствами тесты помогают перейти к адаптивному обучению и контролю — наиболее перспективным, но пока еще наименее применяемым в России формам организации учебного процесса. Использование компьютерных тестовых технологий позволяет также наиболее эффективно реализовать рейтинговую систему контроля для объективной и точной оценки знаний, навыков и умений студентов.
Цель статьи:
• показать умения разрабатывать и применять тесты в практике обучения иностранному языку в высшей школе.
• показать современные средства оценивания результатов обучения.
Разработка тестов по иностранному языку была сосредоточена в США и Великобритании. Первый тест по иностранному языку составил Б. Вуд в 1925 г. Его тесты использовались для проведения выпускных экзаменов в нью-йоркских школах и имели в своей структуре задания на выбор ответа по лексике, грамматике и чтению на французском и испанском языках. В 1929 г. американский психолог В. Хенмон изучил некоторые вопросы технологии составления тестовых заданий - тестов успешности. Он разработал тесты для проверки знаний лексики, грамматики, фонетики; умений понимать прочитанное на уровне предложений и абзацев, умений перевода, аудирования, говорения, умения писать сочинения. В. Хенмон разработал также комплексный тест по иностранному языку, который состоял из ряда разделов — субтестов, аналогичных вышеупомянутым изолированным тестам.
Фундаментальным трудом по вопросам тестирования считается монография американского лингвиста, методиста и тестолога Р. Ладо «Language testing» (1961), который, основываясь на тесном взаимодействии обучения и контроля, предложил включить в тест те элементы, которые являются трудными для обучаемых. Р. Ладо считал, что знание этих
трудностей и умение преодолевать их дает возможность более качественно изучить язык. Отрицательным моментом его работы было то, что лишь знание дискретных языковых единиц не является целью обучения иностранным языкам, главное — умение использовать их в процессе общения на данном иностранном языке.
Разработка проблемы языкового тестирования прошла несколько этапов. Выделяют переводной, или донаучный этап, который отождествляется с различными испытаниями в школах писцов Древнего Вавилона и жрецов Древнего Египта; психометрико-структуралистический этап становления тестов под знаком научности (педагогические тесты), который датируется началом XX в. и продолжается до 70-х гг. В 70-е гг. XX в. начинается психолингвистический, а затем, в 90-х гг., коммуникативный этап тестового контроля в обучении иностранным языкам.
В ходе второго и третьего этапов разработки языкового тестирования развивались дискретный и интегративный подходы к тестированию. Дискретный подход отличался от интегративного тем, что при дискретном тестировании проверялось лишь усвоение языкового материала, что не представляло особых трудностей для обработки результатов теста, тогда как в интегративных тестах проверялись различные умения использования языкового материала. Видами интегративных тестов являются клоуз-тест (тест на заполнение пропусков в тексте) и диктант, свидетельствующие лишь об уровне сформированности лингвистической компетенции обучаемых.
Период коммуникативного тестирования связан с разработкой проблемы коммуникативной компетенции. Толчком к пересмотру языкового тестирования послужило развитие модели коммуникативной компетенции, включающей 6 уровней владения иностранным языком, предложенной Советом Европы. Исходя из основной цели обучения иностранным языкам — формирование коммуникативной компетенции, в качестве объектов тестирования стали выделять практические умения. Коммуникативный тест призван выявить степень сформированности коммуникативных умений, т. е. способности тестируемого решать экстралингвистические (практические) задачи вербальными средствами.
В настоящее время заданные Советом Европы уровни владения иностранным языком служат ориентиром для коммуникативных тестов во многих странах [1].
В России практическое значение тесты получили после 1925 г., когда была создана особая тестовая комиссия. Она существовала при педагогическом отделе Института методов школьной работы. В ее задачи входила разработка тестов для советской школы. И уже весной 1926 г. вышли такие тесты, созданные на основе американских. Были разработаны тесты по природоведению, обществоведению, счету, решению задач, на понимание чтения и проверку умения правописания. К этим тестам прилагались инструкции и личная карточка для учета прогресса учащегося.
Уже в те годы было доказано, что метод тестов позволяет не только охватить отдельные элементарные психические процессы, но может анализировать их совокупности. Кроме того, было замечено, что тестовый учет устраняет случайность, субъективность и приблизительность оценки работы с учащимися.
Однако вскоре положение кардинально изменилось. Вышедшее в 1936 г. постановление ЦК ВКП (б) негативно сказалось на развитии тестологии. Метод тестов был признан орудием дискриминации учащихся и «изгнан» из советской школы.
Если в отечественной науке исследования в области разработки и применения тестов были приостановлены, то в ряде западных стран они продолжали интенсивно развиваться в различных направлениях. В 30—50-е гг. значительное внимание уделялось так называемым прогностическим тестам, назначению тестов в системе образования, видам тестов и их использованию в практической деятельности. Особую актуальность в это время приобретают вопросы, связанные с разработкой тестов педагогами-практиками.
Следующим этапом в развитии тестирования в России является период с начала 60-х гг. до конца 70-х гг. Реформы по преподаванию ряда предметов, развитие программированного обучения дали значительный толчок к дальнейшему совершенствованию тестов.
С начала 80-х гг. начался новый этап в развитии тестирования в России. Для данного периода характерен ряд особенностей. Прежде всего, важным направлением является интенсивное использование компьютеров как в процессе тестирования, так и при обработке полученных результатов. Наряду с этим в ряде западных стран, особенно в США, тестирование становится практически ведущей формой контроля. Такие страны, как Нидерланды, Англия, Япония, Дания, Израиль, Канада, Австралия, развили теорию и практику тестирования, создали службы разработки тестов, занимаются организацией массового тестирования.
В России сегодня также интенсивно развивается теория и практика педагогических измерений. В обучении иностранным языкам это научные исследования коллектива авторов И. А. Рапопорта, Р. Сельг, И. Соттер [2], которые обобщили зарубежный и отечественный опыт, разработали методологию научного подхода к тестированию, сконструировали тесты и экспериментально их проверили.
С введением образовательных стандартов, в том числе и по иностранным языкам, появилась необходимость упорядочить и объективизировать средства контроля и оценивания для проверки выполнения требований стандартов к уровню подготовки учащихся [3].
Итак, история развития тестирования за рубежом и в России показала, что тесты уровня обученности (тесты успешности) являются важным способом оценки педагогической деятельности, с помощью которого результаты учебного процесса могут быть достаточно объективно, надежно измерены, обработаны, интерпретированы и использованы в педагогической практике.
Основные этапы проектирования тестов [4]
Технология создания теста включает следующие этапы:
1) определение целей тестирования;
2) отбор учебного материала дисциплины, подлежащего тестовому контролю с учетом должного уровня его усвоения;
3) подбор и составление заданий в тестовой форме с учетом должного уровня усвоения знаний и объединение их в тематические или рубежные "сырые тесты";
4) эмпирическая проверка (апробация) "сырых тестов" на испытуемых;
5) сбор статистической информации;
6) составление матрицы экспериментальных данных;
7) статистический анализ результатов эмпирической проверки тестов (выбраковка заданий, на которые дали правильные ответы все учащиеся, не дал правильного ответа ни один студент; заданий, имеющих низкую различающую способность, крайне высокий или отрицательный коэффициент корреляции друг с другом, высокий процент случайно правильных и случайно неправильных ответов и др.);
8) оценка надежности теста и при необходимости ее увеличение.
При составлении тестов по английскому языку для студентов продолжающего уровня были отобраны наиболее практически значимые элементы структуры содержания.
Содержание дисциплины независимо от специальности включает разделы
«Грамматика», «Практика устной речи», «Практика чтения и перевода». При составлении тестов учитывается такая особенность рабочих программ, в которых значительная часть материала, относящегося к системе языка и к формированию основных базовых коммуникативных компетенций, является общей для всех специальностей. Составление тестов по иностранным языкам в определенной степени должно опираться на базовые учебники, имеющиеся в распоряжении студентов.
В соответствии с программой дисциплины «Иностранный язык»-английский мною были составлены 100 заданий, которые состоят из 54 заданий закрытой формы, 32 - открытой формы, на правильную последовательность - 10, на соответствие - 4.
Были выбраны 10 заданий, из которых - 5 закрытой формы, 2 - открытой формы, 2 - на установление правильной последовательности, 1 - на установление соответствия.
Были опрошены студенты группы ПЭ - 1 - 10 в количестве 10 человек.
Представляем образцы тестовых заданий:
Форма задания - закрытая, инструкция к заданию: выбрать правильный вариант ответа.
1) Are you going to ... country on Saturday? a) the b) a c) an d) -
2)She washed ... hands and face. a) her b) it c) I
3)Yesterday this salesman ... few apples. a) had b) have c) has
4)While he_for her call, somebody knocked the door.
a) were called b) was calling c) called
5)The y______(write) this story last week
a) wrote b) write c) written
Форма задания - открытая, инструкция к заданию: поставить глагол в правильной форме.
6) He often_(phone) his mother in London.
7)W e_____(not have) a holiday yesterday
Задание на соответствие, инструкция к заданию: установить соответствие между словами, одна пара лишняя.
1.junior
2.niece
3.to run the house
4.to be retired 5.old age pension 6.to be in good health
a) племянница
b) пенсия по старости
c) хорошо себя чувствовать
d) вести хозяйство
e) быть на пенсии 1) старше
Задание на правильную последовательность, инструкция к заданию: установить правильную последовательность.
9)early , working-day , my , begins .
10)breaks , have , between , we , classes , short .
Оценка качества спроектированных тестов, расчеты[5, С.76-80]
После проведения пробного тестирования, проверки и выставления баллов за правильно выполненные задания нами была составлена таблица № 1 «Матрица тестовых результатов». Каждому тестируемому присваивается 1 балл за правильный ответ, 0- за неправильный. Столбец х, показывает количество правильных ответов отдельных испытуемых, то есть это своего рода оценка знаний студентов. Строка Я, - это характеристика задания, она показывает количество правильных ответов на данное задание в группе испытуемых. Строка Я, показывает насколько трудное задание. Столбцы упорядочены по степени трудности заданий (от более простого к сложному).
2l4
Задания
Тестируемые 1 2 3 4 5 6 7 8 9 10 X;
1. Барахоев А. 1 1 0 0 1 0 0 0 0 0 3
2. Газизов Т. 0 1 1 0 0 0 0 0 0 0 2
3. Гусев Д. 1 1 0 0 0 0 1 0 1 4
4. Закирова К. 1 1 1 1 0 0 0 1 1 0 6
5. Замалиев Р. 1 1 1 1 1 0 0 0 0 0 5
6. Иванов И 1 1 1 1 1 1 1 1 1 1 10
7. Каримуллин Т. 1 0 1 0 1 0 0 0 3
8. Карузин М. 1 1 1 1 1 1 1 1 0 0 8
9. Курмакаев Б. 1 1 1 1 1 1 0 1 1 0 8
10.Мубаракшин М. 1 1 1 0 1 1 1 1 1 1 9
Ш 9 8 8 5 7 4 4 6 4 3 58
Далее определяются параметры теста, приведенные в таблице 2 и на рисунках 1-2.
4.5 4
3.5 3
2.5 2
1.5 1
0,5
0
у = -0,5х2 + 3,3х - 2 Р = 0,84
3,67 6,33
Карман
y,VVVVV^VVV^ V >> V/ **
Испытуемые
□ Балл ] Ист. балл
Ни
4
2
0
Рис . 1 - Гистограмма распределения Рис. 2 - Баллы испытуемых
частоты ответов
Строка показывает количество неправильных ответов на данное задание.
и
Значение меры трудности задания в строке р] находим как 71 , где п - количество
. . ш
испытуемых. Чем труднее задание, тем меньше значение р]. Значение меры легкости сц = ТЕ .
Коэффициент надежности теста г нт - это величина, связанная с воспроизводимостью результатов и точностью измерения знаний тестируемых. Для его
нахождения следует определить дисперсию тестового балла (характеристику разброса случайной величины (результатов студентов) относительно среднего значения.
Среднее значение тестового балла находим как частное суммы баллов и количество студентов П. X сред = 5,8.
где X1 - результат 1-го студента и т.д.
Как видно из таблицы №2, дисперсия тестового балла для нашего теста равна 7,56.
Коэффициент надежности теста находится по формуле
В нашем случае он равен 0, 83.
По степени надежности тесты подразделяют на 4 класса[6]:
3 класс г н т > 0,8;
2 класс г н т > 0,9;
1 класс г н т > 0,95; высший класс г н т > 0,97.
Тест, проведенный нами, приближается по степени надежности к 3 классу. Этот результат можно было бы признать удовлетворительным, так как тест, исследуемый в данной статье, представляет собой первую основанную на математических методах попытку. Кроме того, количество испытуемых (10) является слишком малым для более точных статистических выводов.
Проверка валидности заданий
Валидность тестовых заданий - это характеристика, которая показывает, насколько полно задание отражает изучаемый материал. Коэффициент валидности (г валид.} )
рассчитывается отдельно для каждого задания.
Мв] - средний балл по всему тесту у тестируемых, правильно выполнивших ]-тое задание.
Мн] - средний балл по всему тесту у тестируемых, неправильно выполнивших ]-тое задание.
Бх - стандартное отклонение, разброс тестового балла, величина, найденная ранее.
В таблице 2 представлен коэффициент валидности заданий 1-10. Задание считается валидным, если г валид.} > 0,4. Таким образом, валидными являются все задания предложенного теста.
Подводя итог вышеизложенному, мы видим, что проведенная теоретическая и практическая работа позволила систематизировать материал по тестированию и применить его для разработки комплекта тестовых заданий, используемых в учебном процессе. При работе было проанализировано содержание дисциплины для различных специальностей и выделены важные общие элементы, которые легли в основу тестов.
гнт=Ш- 1 * (1 - 5 2 ).
№ исп./№задания 1 2 3 4 5 6 7 8 9 10 Х| ХГХСО (Х1“Хср) Хист
6.Иванов И 1 1 1 1 1 1 1 1 1 1 10 4,2 17,64 9,27
10.Мубаракшин М 1 1 1 0 1 1 1 1 1 1 9 3,2 10,24 8,44
8.Карузин М. 1 1 1 1 1 1 1 1 0 0 8 2,2 4,84 7,62
9.Курмакаев Б. 1 1 1 1 1 1 0 1 1 0 8 2,2 4,84 7,62
4.Закирова К. 1 1 1 1 0 0 0 1 1 0 6 0,2 0,04 5,97
5.Замалиев Р. 1 1 1 1 1 0 0 0 0 0 5 -0,8 0,64 5,14
3.Гусев Д. 1 0 1 0 0 0 0 1 0 1 4 -1,8 3,24 4,31
1.Барахоев А. 1 1 0 0 1 0 0 0 0 0 3 -2,8 7,84 3,49
7.Каримуллин Т. 1 0 0 0 1 0 1 0 0 0 3 -2,8 7,84 3,49
2.Газизов Т. 0 1 1 0 0 0 0 0 0 0 2 -3,8 14,44 2,66
ГО 9 8 8 5 7 4 4 6 4 3 58 71,6
О! 1,00 2,00 2,00 5,00 3,00 6,00 6,00 4,00 6,00 7,00 42,0 Хср= 5,8
р! 0,90 0,80 0,80 0,50 0,70 0,40 0,40 0,60 0,40 0,30 5,80 Бх2= 7,96
q! 0,10 0,20 0,20 0,50 0,30 0,60 0,60 0,40 0,60 0,70 4,20 Эе = 1,18
р^! 0,09 0,16 0,16 0,25 0,2 0,2 0,2 0,24 0,2 0,2 2,04 Коэф.надежн. 0,83
Мн 6,22 6,38 6,50 7,40 6,57 8,75 7,50 7,50 8,25 7,67 теста
Мв 2,00 3,50 3,00 4,20 4,00 3,83 4,67 3,25 4,17 5,00
КЬ!э 0,45 0,41 0,50 0,57 0,42 0,85 0,49 0,74 0,71 0,43
Литература
1. Общеевропейские компетенции владения иностранным языком: Изучение, обучение, оценка. - М.: МГЛУ, 2003. - 9с.
2. Рапопорт, И.А. Тесты в обучении иностранным языкам: итоги двадцатилетнего эксперимента / И.А. Рапопорт, Р.Сельг, И.Соттер // Иностранные языки в школе. -1989. - №6. - С.19-24.
3. Равен, Джон. Педагогическое тестирование: Проблемы, заблуждения, преспективы/ Джон Равен. -М.: "Когито-Центр", 2001. - 142 с.
4. Юсупова, А.В. Современная технология обучения и контроля знаний: Методические указания для самостоятельной работы / А.В.Юсупова, Л.М.Романова, А.В. Фролов. - Казань: КГЭУ, 2009. - 30с.
5. Юсупова, А.В. Современные технологии обучения и контроля знаний: Учебное пособие. / А.В.Юсупова, Г.В.Завада, А.В. Фролов. - Казань: Казан. гос. энерг. ун-т, 2010. - 100 с.
6. Юсупова А.В. Основы статистической обработки психолого - педагогических измерений / А.В.Юсупова. - Казань: Казан. гос. энерг. ун-т, 2009. - 60с.
© Ж. И. Айтуганова - канд. пед. наук, доц. каф. иностранных языков КГЭУ, karinajhanna@mail.ru.
