Методика оценивания качества подготовки обучающихся с использованием многовариантных тестовых заданий Текст научной статьи по специальности «Науки об образовании»

мися - с другой» [2, с. 96].

Разработанные нами и изданные методические пособия [4, с. 3] используются учителям! ИЗО в различных общеобразовательных школах Краснодарского и Ставропольского краев, Новосибирска, Махачкалы и др. школ. Результаты проведенного эксперимента на базе СОШ №6 ст. Саратовской и ДШИ г. Горячий Ключ и по-ожительные отзывы от многих j чителей рисования из различных регионов свидетельствуют об эффективности ПРГМ.

Библиографический список 1. Карлсон A.B. Дщактика и методика на уроках рисования -JI. 1959.

2. Jlepnep И Я. Дидактические основы методов обучения. - М.: Педагогика, 1981.

3. Медиатека педагогического опыта. Изобразительное искусство. Наумов Ю.Ю. Портрет. Мужской и женский портрет в фас: 5 класс. -Брянск ФГУ «Информрегистр», 1 CD регистрационное свидетельство № 10522, 2007.

4. Наумов Ю.Ю., Денисенко В. И. Поэтапное рисование животных i оометральным методом на основе пропорционирования. - Краснодар, КубГУ, 2004.

5. Ростовцев H.H. Методика преподавания изобразительного искусства в школе. - М., 2000.

6. Терентьев А.Е. Рисунок в педагогической практике учителя изобразительного искусства: Пособие для учителей. - М.: Просвещение, 1981.

Т.Г. Станкевич МЕТОДИКА ОЦЬ ШВАНИЯ КАЧЕСТВА ПОДГОТОВКИ ОБУЧАЮЩИХСЯ С ИСПОЛЬЗОВАНИЕМ МНОГОВАРИАН 1НЫХ ТЕСТОВЫХ 3 ЧХАНИЙ

Преамбула. В работе предлагается методика оценивания качества пооготовки обучающихся при использовании многовариантных тестовых заданий, которые позволяют на основании характеристик: коэффициента полноты ответа, логита полноты ответа, а также ло-гита уровня знаний, рассчитанного с учетом оолей верных, неверных и неполных ответов повысить объективность контроля.

На современном этапе ралвития образовательного процесса по-прежнему качество образования остается одной из основных характеристик, определяющих конкурентоспособность как отдельной личности, так и национальной системы образования, в целом. Повышение требований, предъявляемых к специалистам, актуализирует проблему качества образования, в том числе и за счет разработки новых моделей и технологий оценивания.

В настоящий момент нет единой, обоснованной точки зрения в отношении категории «качество подготовки» обучаемых. Между тем, как отмечает М.Б. Челышкова «...пришла пора перейти от ело в к делу, от рассуждений, что такое качество подготовки, к его непосредственной

оценке и контролю за его достижением» [4, с. 420]. Таким образом, можно считать наиболее ценными те определения качества подготовки, которые поддаются оп ¡рационализации. Процедура операционализации предполагает доведение определения до уровня, на котором понятие «качество подготовки» выражается правилами измерения и конкретными измеряемыми элементами. «Проводить оценку качества подготовки учащихся с различным уровнем подготовки, по-видимому, не имеет смысла, поскольку они уже отличаются по объему усвоенных знаний, умений, навыков. Зато вполне правомерно одинаковому уровню подготовки поставить в соответствие различное качество». Под качеством подготовки следует понимать совокупность существенных характеристик знаний и умений, способствующих дифференциации обучаемых с одинаковым уровнем подготовки.

В данной работе предлагается методика обработки многовариантных тестовых заданий на основе теории 1ЯТ [2] с использованием характеристик ответов, учитывающих доли верных, неверных и неполных ответов в каждом тестовом задании, коэффициента полноты ответа (КПО*) и логита полноты ответа, что позволяет

60

Веегник КГУ им. H.A. Некрасова, 2007. Том 13

© Т.1. Станкевич, 2007

Методика оценивания качества подготовки обучающихся...

антные тестовые ладания (ТЗ) некорректно оценивать без учета неполноты ответа, так как приравнивание неполных ответов к неправильным, приводит к тому, что тестируемые, по-разному отвечающие на задания теста получают одинаковые тестовые оаллы.

Для иллюстрации методики рассмотрим смоделированную матриц> ответов 10-ти студентов, ответивших на 10 многовариантных ТЗ.

На каждый из вопросов возможно т верных ответов, количество которых изменяется от 1 до п-1, где п - общее число дистракторов в данном ТЗ. Как правило, и не превышает пяти. В каждом вопросе тестируемый может выбрать либо все верные, либо только часть верных ответов Для определения эффективности применения предложенной методики обработка данных была ггооведена двумя способами - традиционным и новым (табл. 1, 2).

ТаОл, I Матрица тестовых результатов (1 способ)

испытуемый ТЗ 1 ТЗ 2 ТЗ 10

а1 Ы с 1 кпо 1 а2 Ь2 с2 КПО 2 аЮ ЫО с10 кпо 10 е

1 2 1 1 2/3 2 1 1 2/3 1 0 1 1/2 1,39

2 3 1 0 1 2 0 1 2/3 2 0 0 1 0,85

3 1 0 2 1/3 1 1 2 1/3 1 2 1 1/2 0,00^

4 2 0 1 2/3 3 0 0 1 1 1 1 1/2 2,20

5 3 2 0 1 3 1 0 1 2 1 0 1 2,20

6 1 1 2 1/3 1 1 2 1/3 1 1 1 1/2 1,39

7 2 0 0 1 2 0 1 2/3 2 0 0 1

8 3 1 0 1 3 1 0 1 2 0 0 1 1,39

9 1 1 2 1/3 1 1 2 1/3 1 0 1 1/2. .7

10 2 1 1 2/3 2 1 1 2/3 2 0 0 1 0,41

В табл. 1: аь Ьь с, количество верных, (= _ логит уровня знания у-го

неверны; неполн- .отъегов, КП#, - т уемого> ВЬ1числеНный традиционным коэффициент полноты ответа в /-ом ТЗ, 5ом П( фр„

®. = 1п£ (а,/6,)

1=1

Данный подход использовался при расчетах 1-м (традиционным) способом.

оценивать качество знаний испытуемых, повышает разрешающую способность теста.

К ним авторы относят задания закрытого типа с выбором нескольких правильных ответов, на установление правильной последовательности, соответствия, задания открытого типа.

Проблема обработки и оценивания таких тестовых заданий в настоящий момент является не полностью решенной [5; 6]. Нельзя не отметить гот факт, что в тестах часто необходимо использовать различные по фооме задания, результаты ответов на которые нельзя оценивать одинаково.

Целью исследования является разработка методики оценивания качества подготовки обучающихся на основе тестов, содержащих различные по форме задания с учетом их особенностей. Как показывают доследования, многовари-

Педашгика. Психология. Социальная работа. Ювенология Социокинетика N° 4, 200'?

61

Табл. 2. Матриш тестовых рез^штатов (2 способ)

испьп уемьо ТЗ 1 ТЗ 2 1310

31 Ы с1 КТО 1 а2 Ь2 с2 КП02 аЮ ЫО сЮ кпо 10 в

0,40 0,20 0,20 0,67 0,50 и,25 0,25 0,67 0.33 0,00 0,33 0,50 0,24

0,60 0,20 J 0.00 1,00 0,50 0,00 0.251 0,67 0.67 0.00 0.00 1.00 0,6«

0,20 0,00 0,40 0,331 0,25 0,25 0,50 0,33 0,33 0,67 0,33 0,50 0,02

0,40 0,00 0,20 0,67 0,75 0,00 0,00 1,00 0,33 0,33 0,33 0,50 0.96

0,60 0,40 0.00 1,00 0,75 0,25, , 0,00 1.00 0,67 0,33 0.00 1.00 0.3С

0,20 0,20 0,40 0,33 и,25 0,25 0.50 0,33 0,331 0,33 0,33 0,50 0.34

0,40 0.00 0,00 1,00 0,50 0.00] 0,25 0.67 0.671 0,00 0.00 1.00 1,43

0,601 0,20 , 0.00 1,00 0,75 0,25 0,00 ьоо 0,67: 1_о.оо1 0,00 1.00 0.71

0,20 0,20 0,40 0,33 0,25 0,25 0,50 0,33 0,33 0.00 0.33 0,50 1.04

0 0,40 0,20 0,20 0,671 0,50 0,25 0,25 0,67 0,67 0.00 0,00 1,00 1,42

-0,16 0,41

По предложенной методике (2-ой способ, табл. 2) оценка уровня знания каждого у-го испытуемого производилась путем расчгта

долей: верных - а ■ = (а / и).;

г=1

неверных - Ь] = * {Ы п){ ;

л

неполных - с7- = (с/и), ответов, =1

а также коэффициента полноты ответа (КПОД логита уровня знаний (б и логита

полноты ответа (), вычисляемых по формулам:

где 1-номер ТЗ, к - общее число ТЗ, а, Ь, с - количество верных, неверных, неполных ответов, выбранных у'-м тестируемым, п -количество дисгракторов, т- число правильных ответов в г-ом ТЗ.

ЛЛ=\и(± -)/к

шщ

Ниже приводятся таблицы со значениями перечисленных величин, вычисленных традиционным способом и по предложенной методике.

62

Вестник КГУ им. Н.А. Некрасова , 20(Г Том 13

Методика оценивания качества подготовки обучающихся

Табл. 3. Рейтинг испытуемых по логиту уровня знания,

Испытуем ый 1 2 3 4 5 6 7 8 9 10

Число верных ответов (а) 2 3 5 1 1 2 7 2 0 6

Число неверных отчетов(Ъ> 8 7 5 9 9 8 3 8 10 4

Уровень знания -1,39 -0,85 0 -2,2 -2,2 -1,39 0,85 -1,39 ■00 0,41

Рейтинг 0 5=6=/ 4 3 8=9 8=9 5=6=7 1 5=6-7 10 2

Сравнение приведенных результатов в табл. 3 и 4 показывает, что при использовании традиционной методики получаем несколько совпадающих значений количества верных, неверных ответов и ло1 итов уповня знания, и как результат, - невозможность разделить тестируемых по уровню знаний. При этом результаты не отражают реальной ситуации, т.к. студенты с одинаковыми характеристиками давали различные

ответы (см. табл. 3). Следует отметить, что даже для такого малого числа испытуемых результаты, полученные по традиционной методике, име-кп довольно большое число совпадающих значении оценки уровня знания. Можно предположить, что решение проблемы выстраивания по рейтингам обучающихся при большом объеме выборки еще более осложнится.

Табл. 4. Рейтинг испытуемых но логиту уровня знания и КПО, определенный по новой методике (2 способ)

Испытуемые

Даля верных ответов ( а, )

Даля неверны х ответов 1.8 5 1.3 1,92 3,9 J 4.0 3 2,0 0,4 5 2,4 5 1 ,6 5 0,45

Д о 1 я неполнь ж ответов < с, ) 1.6 0,7 1 ,48 1 ,4 0 1,6 8 0,4 ■ 0 3,6 3 0.65

КПО 5.5 7 5 6 17 3,3 J 10, 0 5.0 и 8,8 . 10, 0 3,o 0 8,61

0 у- ЛОГИТ у р О в H знаний 0,2 4 0,6 ' 0 02 0,9 „ 0.3 0,3 1 A 3 0 7 1 1.0 4 0.4 1

Рейтинг по 0 j, R< 0 7 4 6 9 5 8 1 3 10 2

Рейтинг по КПО R(K П П ) 7 5 6 9 1-2 8 3 1-2 1 0 4

In (К Л О/10) + 0 j -S 0,8 « 0,3 -0 ,5 2,0 6 0 3 1.0 ' 1,3 l 0 6 2,2 5 1,28

Рейтинг по S, Г S) 7 4 6 9 5 8 1 3 10 2

R(KHO j-rR(S ) 14 9 1 2 1 8 6,5 16 4 4,5 20 6

R (R (К П О )+R (S)) 7 5 6 9 4 8 1 2 10 3

Педагогика. Психология. Социальная работа Ювснология Социокинетика, № 4. 2007

Предлагаемая методика исключает такую ситуацию. Все испытуемые, как видно из табл. 4, имеют индивидуальный набор характеристик их ответов, что достигается за счет совместного учета долей верных, неверных, неполных ответов при расчете логитов уровня знаний, а также логита полноты ответа. Таким образом:

— введение доли верных, неверных и неполны:. ответов в расчет указанных характеристик позволяют получать более подробную информацию об ответах;

— полнота ответа, учитывающая соотношение числа цистракторов и числа верных ответов в вопросе, а также соотношения числа верных ответов, данных тестируемым и числом верны* ответов в ТЗ значительно повышает дискрими-нативность теста в целом;

— логит полноты ответа дополняет полученную информацию и, в случае одинаковых значений логитов знаний, корректирует суммарный показатель

5= ©,.

позволяет получить более объективные данные, что дает в последствии возможность расставить обучающихся по рейтингам в соответствии с их индивидуальными результатами (сравнение рейтинюв испытуемых первым и вторым способами в табл 3 и 4).

Задавая критерии оценки по уровню знания, легко перевести тестовые оаплы в отметку. Так, при сдаче, например, вступительных экзаменов важно как можно точнее разделить испытуемых по уровням знаний, а при текущем контроле иногда достаточно определить достигну гы ли тестируемым нормативные уровни знаний.

Подобный подход позволит более точно ди-

агностировать уровень и структуру знаний обучаемых и оценить их качество подготовки.

Результаты предварительно проведенного исследования показали перспективность предложенного подхода к оцениванию качества подготовки обучаемых при использовании предложенной методики обр-оотки многовариантных тестовых заданий, и в дальнейшем дают основание провести экспериментальную проверку ее эффективности на практике.

Библиографический список

1. Аванесов В Основы научной организации педагогического контроля в высшей школе.

- М.: МИСиС, 1989.- 167 с.

2. Нейман Ю.М., Хлебников В. А. Введение в теорию моделирования и параметризации педагогических тестоЕ. - М.: Прометей, 2000.-168 с.

3. Янченко С.И. Оценка уровня подготовленности: непараметрический подход// Вопросы тестирования в образовании. - 2002 - № 3. -С.38-49

4. Челышкова М.Б. Теория и практика конструирования педагогических гестов. - М.: Логос, 2002.-431 с.

5. Станкевич ТТ., Детбина А.Г. К вопросу о классификации многовариантных тестовых заданий с выбором нескольких правильных ответов в зависимости от числа правильных ответов // Общие проблемы квалиметоии в образовании: Материалы XI Всерос. симп. «Квалиметрия в образовании методология, методика, практика». Ч. 2 - М.: Исслед. центр проблем качества подготовки специалистов, 2006 - С. 33-35.

6. Станкевич Т.Г, Камашев Г.Я. Новый подход к обработке многовариантных тестовых заданий с выбором нескольких правильных ответов тВопросы тестирования в ооразовании.

- 2005. - №4 (16). - С. 32—43.

64

Вестник КГУ им. Н.А. Некрасова 2007, Том 13