CC BY
25
УДК 811.111:378.016 ББК 81.432.1-9
Е.В. Кузнецова*
ПРОБЛЕМА СОЗДАНИЯ КРИТЕРИАЛЬНО-ОРИЕНТИРОВАННЫХ ТЕСТОВ ПО АНГЛИЙСКОМУ ЯЗЫКУ
Ключевые слова: критериально-ориентированный тест, методика составления текстов, английский язык;
Статья посвящена проблеме создания критериально-ориентированных тестов по английскому языку на примере учебника «Практический курс английского языка. 2 курс» под ред. В.Д. Аракина. Раскрываются определение, типы, специфика и методика составления подобных тестов.
This article is devoted to the problem of creating English domain-referenced tests on the example of the textbook «A Practical course of English. 2nd course» edited by V.D. Arakin. The definition, types, specificity and a method of making similar tests are revealed.
Проблема отечественной педагогической диагностики разрабатывается активно с 80-90-х годов (Е.А. Михайличев, В.Е. Сайко и др.) и развивается как интегративная область знаний. Одной из линий синтеза педагогической диагностики является связь с математическими методами, информационными технологиями.
Несмотря на обилие тестов по различным дисциплинам, создание системы диагностирования по конкретному предмету является в каждом случае актуальной задачей. Развитие принципиально новой системы коммуникаций, основанной на информационно-коммуникационных технологиях, позволяет существенно изменить подход к конструированию систем тестирования по любому предмету обучения.
В случае, когда индивидуальные баллы интерпретируются по отношению к подготовленности самого экзаменующегося на данной области содержания, а не сравниваются с результатами других
* Кузнецова Елена Викторовна, Сальский филиал Института управления, бизнеса и права, г. Сальск Ростовской области.
206
экзаменующихся из группы, говорят о критериально-ориентированном подходе к тестированию [6; 7].
Идея критериально-ориентированного тестирования и сам термин появились в 60-е годы нашего столетия. К этому времени нормативно-ориентированное тестирование развивалось уже более полувека. Начиная с 70-х годов, критериально-ориентированные тесты получили всеобщее признание и стали широко применяться в сфере образования и профессиональной аттестации кадров.
Критериально-ориентированные тесты или, как их еще называют, domain-referenced tests (тесты, ориентированные на область содержания) и mastery tests (квалификационные тесты) используются во многих образовательных учреждениях развитых стран и решают различные задачи.
За последнее время стало обычным для государственных образовательных институтов определять совокупность знаний, умений и навыков, которые студенты должны усвоить, чтобы перейти с одного курса на другой или чтобы получить соответствующий диплом. В России эта совокупность получила свое воплощение в создании государственных образовательных стандартов. Использование критериально-ориентированных педагогических тестов, основанных на государственных образовательных стандартах, для итоговой и поэтапной аттестации студентов является чрезвычайно перспективным [1].
Критериально-ориентированные тесты - класс тестов достижений. Психодиагностические методики, направленные на выявление степени овладения индивидом той или иной учебной или профессиональной деятельностью. Критерием в них выступает владение вполне определенными знаниями, умениями или навыками. Для оценки индивидуальных результатов используется не сравнение индивидуальных результатов со статистическими
нормами, а констатация наличия или отсутствия определенного психологического компонента в общей структуре оцениваемого действия [4].
При разработке проблемы мы будем исходить из определения, данного П. Образцовым: «Под критериально-ориентированным педагогическим тестом следует понимать систему заданий, позволяющую измерить уровень учебных достижений относительно полного объема знаний, умений и навыков, которые должны быть усвоены студентами» [3].
Полный объем знаний, умений и навыков, которые должны быть усвоены в результате изучения курса обучения и овладение которыми измеряется тестом, называется областью содержания теста. С ней необходимо соотнести учебные достижения отдельных студентов, чтобы определить, какую долю учебного материала они усвоили. Выполнение критериально-ориентированного теста описывается в терминах содержания учебной дисциплины.
При разработке критериально-ориентированных педагогических тестов (mastery tests), используемых для студентов, учитывают наличие нескольких групп студентов, выделяемых на основании заранее выбранного критерия. В качестве такого критерия рассматривается возможность выделения четырех групп студентов: не усвоивших, слабо усвоивших, хорошо усвоивших и полностью (на «отлично») усвоивших содержание учебной дисциплины.
Студент относится к той или иной группе при достижении необходимого минимального для этой группы уровня овладения учебным материалом.
Уровень устанавливается разработчиками теста и является критерием, на основании которого принимается решение
208
относительно испытуемого. В тесте критерий выражается определенным количеством заданий, выполнение которых позволяет отнести его в одну из указанных групп [2].
Критериально-ориентированные тесты составляются для того, чтобы аттестовать испытуемого на основании полученных результатов в определенной области знаний, умений и навыков. Результаты критериально-ориентированного тестирования могут быть использованы для [1]:
1. оценки итогового уровня обученности испытуемого, соответствия этого уровня государственным образовательным стандартам или программе обучения;
2. отбора студентов, достигших необходимого уровня обученности, в том числе и профессиональной компетенции;
3. оценки эффективности программы обучения в том или ином учебном заведении.
Результаты критериально-ориентированного тестирования могут быть использованы также для сравнения между собой уровней подготовки студентов, однако в этом случае можно получить сравнительно низкую надежность, если распределение баллов однородно и имеет малую вариацию.
В литературе по тестологии (или педагогическим измерениям) выделяют два основных вида критериально-ориентированных тестов, отличающихся друг от друга по ряду характеристик. Общепринятых названий для этих видов на русском языке пока не существует. В зарубежной литературе терминология также находится в стадии становления. Критериально-ориентированные тесты намеренно составляются таким образом, чтобы аттестовать уровень индивидуальных достижений студентов по отношению к
заранее определенной области содержания. Принципиальный
209
интерес при их разработке представляет строгая и точная спецификация области содержания теста. Это необходимо для того, чтобы увеличить до максимального уровня обоснованность интерпретации индивидуальных баллов студентов [6; 7; 8]. Именно акцентированное внимание на области содержания (по англ. -domain) внушило некоторым исследователям идею наименования таких тестов как domein-referenced, что можно перевести как «тесты, ориентированные на область содержания».
Создание заданий для теста, ориентированного на область содержания, требует более детальных и точных правил. Для этого требуется точная и строго определенная спецификация области содержания теста. Этот тип критериально-ориентированных тестов предназначен для оценки доли от полного объема учебного материала, которую усвоил испытуемый. Мы будем называть этот тип критериально-ориентированных тестов термином «тесты, ориентированные на определенную область содержания». Предполагается, что в результате обучения обучаемые должны приобрести определенную сумму знаний, умений и навыков, которая является областью содержания теста и условно принимается за 100 процентов. Уровень учебных достижений каждого испытуемого можно выразить в проценте от полного объема области содержания теста. Для итогового контроля наиболее естественно применять именно этот тип тестов.
На практике существует и другой тип критериально-ориентированных тестов. Называются такие тесты mastery tests, то есть «тесты на мастерство» или «квалификационные тесты» [6; 7]. Они применяются для определения в группе испытуемых квалифицированных и неквалифицированных (masters and nomasters) обученных в какой-либо области. Эмпирическая
процедура анализа тестовых заданий в данном случае
210
рекомендована для того, чтобы определить «чувствительность» тестовых заданий к различию между обученными и необученными испытуемыми.
Этот вид используется для классификации испытуемых и разделения их на группы на основании заранее выбранного стандарта оценивания (критериального балла). Чаще всего такие тесты используются для разделения испытуемых на две группы: усвоивших и не усвоивших необходимый навык на базе определенной области содержания. Иногда происходит деление на большее количество групп [1].
Но коснемся также и непосредственно самой разработки подобных тестов. Разработка теста начинается с формулирования его цели, то есть определения того, что тест должен измерять. Первоначально цель тестирования формулируется в общем виде. Для того чтобы приступить к разработке тестовых заданий, необходимо ее конкретизировать. Должны быть четко и однозначно описаны все знания, умения и навыки, владение которыми проверяется с помощью теста, т.е. необходимо четкое описание области содержания теста. Если измеряется владение каким-либо одним видом знаний или умений, то такой тест называется гомогенным. Если измеряется владение разнородными знаниями, умениями, навыками, то такой тест называется гетерогенным. Описание области содержания гетерогенного теста обычно бывает намного объемнее, чем описание области содержания гомогенного теста. В любом случае требуется максимально четкое описание того, что должен знать и / или уметь студент [2].
При разработке гомогенного теста легче добиться адекватной репрезентации области содержания, поэтому удобнее разрабатывать тесты для проверки элементарных знаний, умений и навыков. Однако такие тесты имеют узкую сферу применение, когда
необходимо оценить степень усвоения небольших разделов учебной дисциплины. Для того чтобы в гетерогенном тесте адекватно отразить область содержания, существуют два способа [5: 13]. Первый способ состоит в том, что в тест включаются разнородные по содержанию задания. Второй способ заключается в том, что гетерогенный тест составляется из гомогенных субтестов, каждый из которых измеряет владение только отдельным видом знаний или умений. При этом необходимо, чтобы набор субтестов и тестовых заданий удовлетворял тем же требованиям, которые были перечислены выше в первом способе. Суммарный балл получается путем сложения баллов, полученных за выполнение каждого субтеста. Преимущество второго способа состоит в том, что баллы по субтестам позволяют проводить диагностику трудностей в обучении, выявляя разделы, хуже усвоенные студентами.
После формулирования цели теста и ее конкретизации в виде отдельных знаний, умений и навыков переходят к разработке спецификации теста.
Спецификация теста представляет собой набор описательных схем, которые позволяют установить соответствие между тестовыми заданиями и областью содержания теста. Она обеспечивает репрезентативность заданий по отношению к области содержания. Спецификация пишется на предельно операциональном языке и представляет собой, по сути, правила, по которым могут разрабатываться задания. При разработке спецификации необходимо стремиться сделать эти привила настолько четкими, чтобы их можно было использовать как алгоритмы.
Основная проблема при написании спецификации состоит в обратном соотношении между широтой области содержания теста и четкостью спецификации. Если выбирается очень узкая область
212
содержания, то довольно просто создать спецификацию, которая была бы краткой и в то же время четко задавала бы правила для написания заданий. Однако тесты с узкой областью содержания имеют ограниченное применение.
После составления спецификации разрабатывается план теста. Если, например, тест состоит из четырех разделов, то вначале делается примерная раскладка необходимого числа заданий на каждый раздел, исходя из общего предельного числа. После разбивки заданий разрабатывается перечень задач, которые ставятся перед тестированием, например: А - умение давать определения; Б - знание законов, принципов, правил; В - умение применять их для решения предложенных примеров; Г - умение находить сходство и различия; Д - умение представлять материал в различных презентабельных формах [2].
После формулирования цели теста, составления спецификации и плана теста переходят к разработке тестовых заданий. При составлении заданий теста следует соблюдать ряд правил, необходимых для создания надежного, сбалансированного инструмента оценки успешности овладения определенными учебными дисциплинами или их разделами.
Вместе с этим педагогический тест должен удовлетворять всем необходимым критериям, обладать высокой надежностью и удовлетворительной валидностью.
Описываемый этап разработки теста включает в себя как само написание заданий, так и их анализ экспертными методами для выявления наиболее адекватных и неудачных.
Предлагаем фрагмент теста, построенного по вышеизложенным правилам составления тестовых заданий. Тест может быть использован при проведения итоговой аттестации
и и ^ д и и
студентов по пройденной теме на основе учебника Английский язык
213
2 курс, под ред. В.Д. Аракина, составленный для системы тестирования АСТ (здесь представлен фрагмент, полный банк тестовых заданий включает 100 вопросов).
V1: Unit 1 V2: «Career» V3: Понятие 1.Phonetic Position 1:Е1;КТ=1;ТЕМА=1;ВРЕМЯ=0;0ЦЕНКА=0. Q: Choose the right transcription S: appreciate +: [e'prijieit]
- : [e'pri:sieit]
- : [^'prijieit]
1:Е2;КТ=1;ТЕМА=1;ВРЕМЯ=0;0ЦЕНКА=0. S: Single out the words in which "t" is not pronounced +: hasten +: fasten +: Christmas +: castle +: whistle
- : threaten
- : button
- : liftman
- : utmost
1:Е3;КТ=1;ТЕМА=2;ВРЕМЯ=0;0ЦЕНКА=0. Q: Intone the sentences below according to the attitudes S: Haven't you noticed the mistake? (serious suggestion or a subject for urgent discussion)
+: falling head + low fall
- : falling head + low rise
- : falling head + fall rise
V1: Unit 1 V2: «Career» V3: Понятие 2. Lexical Position 1:Е4;КТ=2;ТЕМА=2;ВРЕМЯ=0;ОЦЕНКА=0. Q: Match the English phrase with the corresponding Russian. S: If it were not for hope, the heart would break
- : Если бы это не было ради счастья, сердце было бы разбито.
- : Если бы я не надеялся, сердце было бы разбито.
+ : Если бы во мне не теплилась надежда, сердце просто бы разбилось.
1:Е5;КТ=1;ТЕМА=2;ВРЕМЯ=0;ОЦЕНКА=0. Q: Insert prepositions
S: He looked ### me, but didn't recognize me + : at
1:Е6;КТ=1;ТЕМА=2;ВРЕМЯ=0;ОЦЕНКА=0. Q: Match the Russian word (phrase) with a corresponding English
one
S: Непохожий + : different + : alike
- : difference
- : differ
1:Е7;КТ=3;ТЕМА=2;ВРЕМЯ=0;ОЦЕНКА=0. S: Do you know the difference between these definitions? Learn them and find the difference matching the terms with definitions L1: business n L2: career n L3: job n L4: labour n
L5: occupation n L6: profession n L7: work n
R1: - one's regular occupation, profession; a commercial firm; buying or selling trade
R2: - a job or profession which one intends to follow with
opportunities for advancement or promotion
R3: - regularly paid position or post; piece of work, task or
assignment
R4: - physical or mental work
R5: - job, employment; action of occupying
R6: - a vocation or calling, esp. one that involves some branch of
advanced learning or science
R7: - a person's employment or occupation, esp. as a means of earning income
I:E8;KT=3;TEMA=2;BPEMfl=0;O^HKA=0. S: Make the right order of these sentences and find the text
1: Usually, professional translators work from a foreign language into their mother tongue to reduce inaccurate translation and for better style.
2: Much translation is of scientific or commercial material and this kind of work often requires an understanding of technical vocabulary and specialized language.
3: Not all translators are in full-time employment but those who are usually work for large industrial concerns or for public organizations.
4: The main personal characteristic needed to be a successful translator is a willingness to attend to detail. 5: In addition, it is desirable for translators to know at least two foreign languages.
6: The wider the variety of languages they can offer, the greater the likelihood that works will be available.
V1: Unit 1 V2: «Career» V3: Понятие 3. Grammar Position 1:Е9;КТ=1;ТЕМА=3;ВРЕМЯ=0;ОЦЕНКА=0. S: Word order
1: I
2: hear
3: Mary's
4: voice
5: in
6: the
7: next
8: room.
I:E10;KT=2;TEMA=3;BPEMfl=0;0^HKA=0. S: Choose the sentences with infinitive
- : You cannot live without (do) such stupid things. + : He seems (know) everything about it.
- : It's no use (cry) over spilt milk.
+ : It's useless (argue) with him. He won't listen to any reason.
- : Do you think it's worth (see) this film? + : If you want (lose) weight, try (eat) less.
- : I'm not keen on (work) late.
+ : He managed (calm) her by promising to return soon.
- : Mary is crazy about (take) photographs.
+ : You needed (add) some more sugar to that. I:E11;KT=2;TEMA=3;BPEMfl=0;O^HKA=0. Q: Put the Participle in the form suitable for the noun S: (grow) interest +: growing interest
Список литературы
1. Вялфорд Д. Современная типология педагогических тестов / Перевод В.Г. Кузнецов. - Самара, 2000. - [Электронный ресурс] / http://xpt.narod.ru/files/html/xpt/materials/sovremennaya tipologiya pedagogic heskih testov.htm
2. Образцов П.И. Педагогическое тестирование в высшей военной школе // Военная мысль. - № 12. - 2003.
3. Образцов П., Бобылев Б. Критериально-ориентированное тестирование студентов по русскому языку и культуре речи -[Электронный ресурс] / http://atlas-w.com
4. Психологический словарь - [Электронный ресурс] / http://www. psi.webzone.ru/st/338100. htm
5. Челышкова М.Б. Разработка педагогических тестов на основе современных математических моделей. - М., 1995.
6. Berk R.A. Criterion-referenced measurement: The state of art. -Baltimor, MD: Johns Hopkins University Press, 1980.
7. Keeves J.P. (Ed.) Educational Research, Metodology and Measurement: An International Handbook. - Oxford: Pergamon press, 1988.
8. Educational measurement // Ed. by Linn R. - N.Y.: Macmillan, 1989.
УДК 81.'374.26:801.8 ББК 82.3(2)я2
С.Н. Рубина*
УЧЕБНЫЙ СЛОВАРЬ РУССКИХ ПОСЛОВИЦ И ПОГОВОРОК В ГИПЕРТЕКСТОВОМ ВИДЕ ДЛЯ КИТАЙСКИХ УЧАЩИХСЯ: ПРОБЛЕМЫ И ПЕРСПЕКТИВЫ
Ключевые слова: гипертекст, национально ориентированное обучение, пословицы и поговорки, учебный словарь; hypertext, national-focused education, proverbs and sayings, educational dictionary
В статье рассматриваются проблемы, возникающие при изучения русских пословиц и поговорок в китайской аудитории. Как один из способов решения этих проблем, предлагается использование учебного национально-ориентированного словаря русских пословиц и поговорок с китайскими параллелями в гипертекстовом виде.
The article deals with the problems of studying of Russian proverbs and sayings in the Chinese audience. Using of educational national-focused dictionary of Russian proverbs and sayings with the Chinese parallels in a hypertext is offered as one of the ways of solving these problems.
* Рубина Светлана Николаевна, кандидат педагогических наук, Волгоградский государственный педагогический университет.
218
