CC BY
43
Библиографический список
1. Бусыгин, А. Г. Десмоэкология, или теория образования для устойчивого развития / А. Г. Бусыгин. - Ульяновск: Симбирская книга, 2003. - Кн. 1. — 200 с.
2. Бусыгина, А. Л. Профессор - профессия / А. Л. Бусыгина. - Самара: Изд-во ОПТУ, 1999.- 134 с.
3. Марданова, Г. М. Технология развития креативного потенциала учащихся общеобразовательной школы: автореф. дис. ... канд. пед. наук / Г. М. Марданова. - Ижевск, 2005. - С. 9.
УДК 371.261:378.1
Т. Г. Станкевич
МЕТОДИКА ОЦЕНИВАНИЯ КАЧЕСТВА ПОДГОТОВКИ ОБУЧАЮЩИХСЯ С ИСПОЛЬЗОВАНИЕМ МНОГОВАРИАНТНЫХ
ТЕСТОВЫХ ЗАДАНИЙ
На современном этапе развития образовательного процесса по-прежнему качество образования остается одной из основных характеристик, определяющих конкурентоспособность как отдельной личности, так и национальной системы образования в целом. Повышение требований, предъявляемых к специалистам, актуализирует проблему качества образования, в том числе и за счет разработки новых моделей и технологий оценивания.
В настоящий момент нет единой, обоснованной точки зрения в отношении категории «качество подготовки» обучаемых. Между тем, как отмечает М. Б. Челышкова, «.. .пришла пора перейти от слов к делу, от рассуждений, что такое качество подготовки, к его непосредственной оценке и контролю за его достижением» [4, с. 420]. Таким образом, можно считать наиболее ценными те определения качества подготовки, которые поддаются опера-ционализации. Процедура операционализации предполагает доведение определения до уровня, на котором понятие «качество подготовки» выражается правилами измерения и конкретными измеряемыми элементами. «Проводить оценку качества подготовки учащихся с различным уровнем подготовки, по-видимому, не имеет смысла, поскольку они уже отличаются по объему усвоенных знаний, умений, навыков. Зато вполне правомерно одинаковому уровню подготовки поставить в соответствие различное качество». Под качеством подготовки следует понимать совокупность существенных характеристик знаний и умений, способствующих дифференциации обучаемых с одинаковым уровнем подготовки.
В данной работе предлагается методика обработки многовариантных те-
стовых заданий на основе теории 1КГ [1] с использованием характеристик ответов, учитывающих доли верных, неверных и неполных ответов в каждом тестовом задании, коэффициента полноты ответа (КПО) и логита полноты ответа, что позволяет оценивать качество знаний испытуемых, повышает разрешающую способность теста.
К ним авторы относят задания закрытого типа с выбором нескольких правильных ответов, на установление правильной последовательности, соответствия, задания открытого типа.
Проблема обработки и оценивания таких тестовых заданий в настоящий момент является не полностью решенной [2,3]. Нельзя не отметить тот факт, что в тестах часто необходимо использовать различные по форме задания, результаты ответов на которые нельзя оценивать одинаково.
Целью исследования является разработка методики оценивания качества подготовки обучающихся на основе тестов, содержащих различные по форме задания с учетом их особенностей. Как показывают исследования, многовариантные тестовые задания (ТЗ) некорректно оценивать без учета неполноты ответа, так как приравнивание неполных ответов к неправильным приводит к тому, что тестируемые, по-разному отвечающие на задания теста, получают одинаковые тестовые баллы.
Для иллюстрации методики рассмотрим смоделированную матрицу ответов 10 студентов, ответивших на 10 многовариантных ТЗ.
На каждый из вопросов возможно т верных ответов, количество которых изменяется от 1 до л-1, где п - общее число дистракторов в данном ТЗ. Как правило, п не превышает пяти. В каждом вопросе тестируемый может выбрать либо все верные, либо только часть верных ответов. Для определения эффективности применения предложенной методики обработка данных была проведена двумя способами - традиционным и новым (табл. 1,2).
Таблица 1
Матрица тестовых результатов (1 -й способ)
Испытуемый ТЗ, Н со О СО Н
а1 Ь] С[ КПО, а2 Ьг С2 кпо2 а10 Ью С,о КПО,о е
1 2 1 1 2/3 2 1 1 2/3 1 0 1 1/2 1,39
2 3 1 0 1 2 0 1 2/3 2 0 0 1 0,85
3 1 0 2 1/3 1 1 2 1/3 1 2 1 1/2 0,00
4 2 0 1 2/3 3 0 0 1 1 1 1 1/2 2,20
5 3 2 0 1 3 1 0 1 2 1 0 1 2.20
6 1 1 2 1/3 1 1 2 1/3 1 1 1 1/2 1,39
7 2 0 0 1 2 0 1 2/3 2 0 0 1 0,85
8 3 1 0 1 3 1 0 1 2 0 0 1 1,39
9 1 1 2 1/3 1 1 2 1/3 1 0 1 1/2 -оо
10 2 1 1 2/3 2 1 1 2/3 2 0 0 1 0,41
В табл. 1: а? Ь., с. - количество верных, неверных, неполных ответов; КП(> - коэффициент полноты ответа в z-м ТЗ; @ - логит уровня знания у-го тестируехмого, вычисленный традиционным способом по формуле
©,= lnZ (V*/)-
1=1
Данный подход использовался при расчетах 1-м (традиционным) способом.
Таблица 2
Матрица тестовых результат ов (2-й способ)
Испытуемый ТЗ , Т32 Т3,0
ai bi Cl K1IO i а2 ь2 с2 кпо2 а10 Ью Сю КПО 10 в
1 0,40 0,20 0,20 0,67 0.50 0,25 0,25 0,67 0,33 0,00 0,33 0,50 -0,24
2 0,60 0,20 0,00 1,00 0,50 0,00 0,25 0,67 0,67 0,00 0,00 1,00 0,66
3 0,20 0,00 0,40 0,33 0,25 0,25 0,50 0,33 0,33 0,67 0,33 0,50 -0,02
4 0,40 0,00 0,20 0,67 0,75 0,00 0,00 1,00 0,33 0,33 0,33 0,50 -0,96
5 0,60 0,40 0,00 1.00 0,75 0,25 0,00 1,00 0,67 0,33 0,00 1,00 0,30
6 0,20 0,20 0,40 0,33 0,25 0,25 0,50 0,33 0,33 0,33 0,33 0,50 -0,34
7 0,40 0,00 0,00 1,00 0,50 0,00 0,25 0,67 0,67 0,00 0,00 1,00 1,43
8 0,60 0,20 0,00 1,00 0,75 0,25 0,00 1,00 0,67 0,00 0,00 1,00 0,71
9 0,20 0,20 0,40 0,33 0,25 0,25 0,50 0,33 0,33 0,00 0,33 0,50 -1,04
10 0,40 0,20 0,20 0,67 0,50 0,25 0,25 0,67 0,67 0,00 0,00 1,00 1,42
0,16 -0,16 0,41
По предложенной методике (2-й способ, см. табл. 2) оценка уровня знания каждогоу'-го испытуемого производилась путем расчета долей: верных -Ж к к
Яу =2^{а1п)1 ; неверных - 6, =£>/п)1 ; неполных - с] ^(с/п)1
ы /=1 1=1
ответов, а также коэффициента полноты ответа (КПО.), логита уровня знаний
(© ■) и логита полноты ответа (Лу), вычисляемых по формулам
кпогЕ («/"»)(,
¿=1
где I-номер ТЗ; к-общее число ТЗ; а,Ь,с- количество верных, неверных, неполных ответов, выбранных j-м тестируемым; п - количество дистракторов, т- число правильных ответов в г'-м ТЗ;
©,=1п£
а:
м Ь,+С,
к а,
Лу=1п (2—)/*■
ы т1
Ниже приводятся таблицы со значениями перечисленных величин, вычисленных традиционным способом и по предложенной методике (табл. 3, 4).
Таблица 3
Рейтинг испытуемых по логиту уровня знания, определенный традиционным способом (1-й способ)
Показатель Испытуемый
1 2 3 4 5 6 7 8 9 10
Число верных ответов а 2 Л Э 5 1 1 2 7 2 0 6
Число неверных ответов Ь 8 7 5 9 9 8 3 8 10 4
Уровень знаний ©; -1,39 -0,85 0 -2,2 -2,2 -1,39 оо О ^ -1,39 -ос 0,41
Рейтинг ©7 5=6=7 4 3 8=9 8=9 5=6=7 1 5=6= 7 10 2
Таблица4
Рейтинг испытуемых по логиту уровня знания и КПО, определенный по новой методике (2 способ)
Показатель Испытуемый
1 2 3 4 5 6 7 8 9 10
Доля верных ответов а1 2,78 4,27 3,28 2,13 5,47 2,93 4,62 4,97 1,93 4,57
Доля неверных ответов Ь; 1,85 1,3 1,92 3,93 4,03 2,03 0,45 2,45 1,65 0,45
Доля неполных ответов с, 1,68 0,7 1,48 1,43 0 1,68 0,45 0 3,63 0,65
КПО 5,5 7,5 6,17 3,33 10,0 5,00 8,83 10,0 3,00 8,67
©у- логит уровня знаний -0,24 0,66 -0,02 -0,96 0,3 -0,34 1,43 0,71 -1,04 0,41
Рейтинг по® Я(0.) 7 4 6 9 5 8 1 3 10 2
Рейтинг по КПО, Я(КПО) 7 5 6 9 1=2 8 3 1-2 10 4
1п(КПО/Ю)+ 0, =5 -0,84 0,37 -0,5 -2,06 0,3 -1,03 1,31 0,6 -2,25 1,28
Рейтинг по 5, ад 7 4 6 9 5 8 1 3 10 2
л(кпо)+ад 14 9 12 18 6,5 16 4 4,5 20 6
7 5 6 9 4 8 1 2 10 3
Сравнение приведенных результатов в показывает, что при использовании традиционной методики мы получаем несколько совпадающих значений количества верных, неверных ответов и логитов уровня знания и, как результат, - невозможность разделить тестируемых по уровню знаний. При этом результаты не отражают реальной ситуации, так как студенты с одина-
ковыми характеристиками давали различные ответы (см. табл. 3). Следует отметить, что даже для такого малого числа испытуемых результаты, полученные по традиционной методике, имеют довольно большое число совпадающих значений оценки уровня знания. Можно предположить, что решение проблемы выстраивания по рейтингам обучающихся при большом объеме выборки еще более осложнится.
Предлагаемая методика исключает такую ситуацию. Все испытуемые, как видно из табл. 4, имеют индивидуальный набор характеристик их ответов, что достигается за счет совместного учета долей верных, неверных, неполных ответов при расчете логитов уровня знаний, а также логита полноты ответа. Таким образом, предполагаемая методика дает ряд преимуществ:
- введение доли верных, неверных и неполных ответов в расчет указанных характеристик позволяет получать более подробную информацию об ответах;
- полнота ответа, учитывающая соотношение числа дистракторов и числа верных ответов в вопросе, а также соотношения числа верных ответов, данных тестируемым, числом верных ответов в ТЗ значительно повышает дискриминативность теста в целом;
- логит полноты ответа дополняет полученную информацию и в случае одинаковых значений логитов знаний корректирует суммарный показатель 5 = ©у + Я., позволяет получить более объективные данные, что дает впоследствии возможность расставить обучающихся по рейтингам в соответствии с их индивидуальными результатами (сравнение рейтингов испытуемых первым и вторым способами см. в табл. 3 и 4).
Задавая критерии оценки по уровню знания, легко перевести тестовые баллы в отметку. Так, при сдаче, например, вступительных экзаменов важно как можно точнее разделить испытуемых по уровням знаний, а при текущем контроле иногда достаточно определить, достигнуты ли тестируемым нормативные уровни знаний. Подобный подход позволит более точно диагностировать уровень и структуру знаний обучаемых и оценить их качество подготовки.
Результаты предварительно проведенного исследования показали перспективность предложенного подхода к оцениванию качества подготовки обучаемых при использовании предложенной методики обработки многовариантных тестовых заданий, и в дальнейшем дают основание провести экспериментальную проверку ее эффективности на практике.
Библиографический список
1. Нейман, Ю. М. Введение в теорию моделирования и параметризации педагогических тестов / Ю. М. Нейман, В. А. Хлебников. - М.: Прометей, 2000. -168 с.
2. Станкевич, Т. Г. К вопросу о классификации многовариантных тестовых заданий с выбором нескольких правильных ответов в зависимости от числа
правильных ответов / Т. Г. Станкевич, А. Г. Деребина // Общие проблемы квалиметрии в образовании: материалы XI Всерос. симп. «Квалиметрия в образовании: методология, методика, практика». - М.: Исслед. центр проблем качества подготовки специалистов, 2006. - Ч. 2. - С. 33-35.
3. Станкевич, Т. Г. Новый подход к обработке многовариантных тестовых заданий с выбором нескольких правильных ответов / Т. Г. Станкевич, Г. Я. Кама-шев // Вопросы тестирования в образовании. - 2005. - № 4 (16). - С. 32-43.
4. Челышкова, М. Б. Теория и практика конструирования педагогических тестов / М. Б. Челышкова. - М.: Логос, 2002. - 431 с.
УДК 3 78.634:343.8:343.851.5
К. А. Кунаш, А. Н. Ростовцев
ПОДГОТОВКА КУРСАНТОВ ВУЗОВ ФСИН К ПРОФИЛАКТИЧЕСКОЙ РАБОТЕ С НЕСОВЕРШЕННОЛЕТНИМИ ПРАВОНАРУШИТЕЛЯМИ*
Рост пре<лупности несовершеннолетних, повышение криминальной активности детей младших возрастов, увеличение доли тяжких преступлений, совершаемых подростками, вызывают обоснованную тревогу в обществе и обусловливают необходимость принятия эффективных мер, направленных на профилактику преступности вообще и преступного поведения несовершеннолетних в частности [1-4, 7 и др.]. Грамотно организованная профилактическая работа с несовершеннолетними правонарушителями, выбор и осуществление адекватных технологий, форм и методов работы предполагают предупреждение совершения преступлений подростками.
Профилактическая работа с несовершеннолетними правонарушителями должна осуществляться высококвалифицированными сотрудниками, прошедшими специальную профессиональную подготовку в этом направлении [6, 8]. Однако в настоящее время профилактическую работу выполняют сотрудники, зачастую не понимающие специфики профилактической деятельности и не знающие эффективных методов и приемов превентивной работы. Вопросы профессиональной подготовки выпускников ведомственных вузов для осуществления профилактической работы являются актуальными и требуют решения на государственном и отраслевом уровнях [5]. Подготовка курсантов вузов ФСИН к профилактической деятельности с несовершеннолетними, профилактике рецидива как одному из
* Работа выполняется при финансовой поддержке МОиН РФ: задание на выполнение работы по теме 1.1.06 «Исследование процесса социализации подростков-правонарушителей» (тематический план № 1, фундаментальные исследования).
