СРАВНИТЕЛЬНЫЙ АНАЛИЗ НАДЕЖНОСТИ ТЕСТОВЫХ ЗАДАНИЙ МЕТОДОМ ЭКСПЕРТНОГО МОДЕЛИРОВАНИЯ РЕШЕНИЯ Текст научной статьи по специальности «Науки об образовании»

Булгаков Олег Митрофанович Гривенная Елена Николаевна Дедикова Анна Олеговна

Сравнительный анализ надежности тестовых заданий методом экспертного моделирования решения

Проанализированы результаты экспертного моделирования решения тестовых заданий шести видов по истории России, географии, физике (электричество и магнетизм). Модель тестируемого представлена шестью уровнями обученности в зависимости от объемов освоенного материала. Для каждого вида тестовых заданий и уровня обученности тестируемых определены вероятности угадывания верного ответа, что позволило сопоставить различные виды тестовых заданий по их потенциальной устойчивости к ошибкам второго рода.

Ключевые слова: тестирование учебных достижений, единичные тестовые задания, достоверность оценивания знаний, ошибки второго рода, угадывание верных ответов, экспертное моделирование, гипотеза, вероятность.

Comparative analysis of tests assignments reliability by expert decision modeling method

The results of expert modeling of solving test tasks of six types on the history of Russia, geography, physics (electricity and magnetism) are analyzed. The model of the test subject was represented by six levels of training, depending on the amount of material mastered. Probabilities of guessing the correct answer were determined for each type of test tasks and the level of training of the test subjects, which made it possible to compare different types of test tasks according to their potential resistance to errors of the second kind.

Keywords: testing of educational achievements, test tasks unite, reliability of knowledge assessment, errors of the second kind, guessing the right answers, expert modeling, hypothesis, probability.

Несмотря на то, что компьютерные тесты для оценивания учебных достижений обучающихся (КТОУДО) прочно занимают ключевые позиции в инструментарии средств контроля текущей успеваемости, предварительной и промежуточной аттестации, контроля остаточных знаний, в том числе в системах независимого мониторинга качества подготовки специалистов, существует немало проблем интерпретации и анализа результатов тестирования. В основе таких проблем, как правило, лежит некорректное решение разработчиками тестов и в целом фондов оценочных средств задачи обеспечения надежности тестирования, которое в значительной мере определяется обеспечением достоверности оценок тестов.

Как надежность, так и достоверность оценок КТОУДО обеспечиваются надежностью и достоверностью оценок единичных тестовых заданий (ЕТЗ), корректностью алгоритмов оценивания, включая формирование выборки ЕТЗ из их базы (структурная выборка, распределение ЕТЗ по уровням сложности, разнообразие

видов ЕТЗ), начисление баллов за полностью и частично правильно решенные задания с учетом их сложности, применение штрафов, выбор порогов и диапазонов оценок, перевод набранных баллов в оценки (в целом теста и отдельных компетенций, тем, дидактических единиц содержания) и др., а также корректностью моделей и процедур обобщения и первичного анализа данных.

Очевидным решением обеспечения высокой достоверности оценок КТОУДО является увеличение количества ЕТЗ в выборке, что обеспечивает максимальный охват контролируемого содержания обучения и возможность варьирования пороговыми значениями оценочных критериев в широких пределах. Однако на практике разработчику КТОУДО приходится решать задачу оптимизации объема выборки заданий теста на основе поиска компромисса между полнотой оцениваемых дидактических единиц содержания обучения и временем тестирования, что опосредованно определяет надежность оценок знаний и умений обучающихся. Лимитирование времени тестирования

129

влечет за собой ограничение количества ЕТЗ в их выборке, поэтому задача создания компактных и одновременно высоконадежных КТОУДО может быть решена за счет использования таких видов ЕТЗ, которые не только обладают повышенной устойчивостью к угадыванию верных ответов и временной деградации, но и характеризуются высоким дидактическим потенциалом.

В [1] приведены оценки надежности КТОУДО, составленных из различных видов ЕТЗ закрытого типа: с выбором единственного верного ответа, с множественным выбором, на установление соответствия, на установление последовательности, с градацией верных ответов, с упорядочиванием дистракторов. Отличительной особенностью методики расчетов вероятности преодоления порога положительной оценки, интерпретируемой как вероятность отказа КТОУДО, является учет уровня обученности испытуемых. Модель испытуемого характеризуется несколькими уровнями обученности в соответствии с усвоенным объемом контролируемого содержания обучения, что позволяет для каждого уровня вычислить вероятность получения положительной оценки с учетом угадывания неизвестных ответов. Каждый уровень обученности подразумевает не только знание определенного процента верных ответов, но и частичное исключение дистракторов (для ЕТЗ с выбором единственного верного ответа и множественным выбором), частичное знание верных ответов, например, одного из нескольких верных ответов в ЕТЗ с множественным выбором либо одного или двух парных соответствий в ЕТЗ на установление соответствий и т.п.

В [2] представлены данные анкетирования преподавателей образовательных организаций высшего и среднего общего образования, занимающихся разработкой тестов для оценивания знаний обучающихся. В анкетах было предложено оценить различные виды ЕТЗ по таким показателям, как устойчивость к угадыванию верного ответа, обучающий потенциал, простота разработки тестов из ЕТЗ данного вида и др.

Для расширения верификационной базы исследований надежности тестов, составленных из однородных ЕТЗ, методов априорной оценки надежности и достоверности оценок КТОУДО, нами было проведено экспертное моделирование решения ЕТЗ различных видов по нескольким предметным областям.

В состав экспертной группы по каждой предметной области входило пять преподавате-

лей-предметников, один методист и один психолог. Задачей методиста и психолога, которые работали во всех экспертных группах, было обеспечение единых алгоритмов выработки экспертных оценок и корректности их обсуждения и принятия. Процедура принятия экспертного решения включала в себя выдвижение рабочей гипотезы, ее обсуждение, выдвижение альтернативной гипотезы, обсуждение альтернативной гипотезы, при необходимости корректировка рабочей или альтернативной гипотезы, утверждение одной из гипотез в качестве экспертного решения. Экспертное решение утверждалось исключительно преподавателями-предметниками, простым голосованием. Подавляющее большинство (около 90%) решений было принято единогласно, в остальных случаях - при одном воздержавшемся или одном «против», что явилось следствием достижения консенсуса при обсуждении гипотез и их корректировке.

В начале экспертизы преподавателям-предметникам предлагали шестиуровневую шкалу - модель подготовленности тестируемых со следующими характеристиками уровней обу-ченности:

А - тестируемый не владеет учебным материалом, в ответе использует остаточные знания, в том числе из смежных предметных областей, общую эрудицию;

Б - тестируемый имеет лишь общее представление о предметной области, оперирует обрывочными, бессистемными сведениями по изучаемому предмету, использует общую эрудицию;

В - тестируемый обладает фрагментарными знаниями в предметной области в объеме примерно половины дидактических единиц изученного содержания;

Г - тестируемый знает большую часть учебного материала, уверенно решает типовые качественные задачи (простые и среднего уровня сложности);

Д - тестируемый знает весь учебный материал, однако испытывает затруднения в решении сложных качественных задач, в том числе ориентированных на междисциплинарное содержание, ответах на вопросы, требующие углубленных знаний или хороших аналитических навыков;

Е - идеальная модель тестируемого, дающего верные ответы на все рассматриваемые ЕТЗ.

Суть экспертного решения состояла в определении для рассматриваемого ЕТЗ и уровня обученности тестируемых объема знаний (частично верных ответов), позволяющих мак-

130

симально повысить вероятность угадывания верного ответа. Например, в ЕТЗ с выбором единственного верного ответа эксперты исключали из рассмотрения некоторое количество дистракторов, соответствующее уровню подготовленности тестируемых, в ЕТЗ с установлением парных соответствий - некоторое количество пар соответствий и т.д.

Виды рассматриваемых ЕТЗ [2-6]:

1 - на установление парных соответствий;

2 - с выбором единственного верного ответа;

3 - с множественным выбором верных ответов;

4 - на упорядочивание дистракторов;

5 - на установление последовательности;

6 - с градацией верных ответов.

Общей задачей экспертного моделирования было выявление на основе сравнительного анализа экспертных оценок и их следствий видов ЕТЗ, наиболее устойчивых к угадыванию тестируемыми верного ответа при его реальном незнании. В связи с этим составители ЕТЗ ориентировались на примерно одинаковую содержательную сложность заданий по одной предметной области, а для корректности сопоставления видов ЕТЗ структура каждого вида содержала пять позиций.

Ниже приведены предложенные экспертам тестовые задания шести видов по истории России.

1. Установите соответствие:

Город

Владимир

Москва

Псков

Смоленск

Ярославль

Год основания 863 903 1010 1108 1147

2. Дедом Ивана Калиты был:

а) Александр Невский;

б) Юрий Долгорукий;

в) Симеон Гордый;

г) Владимир Мономах;

д) Дмитрий Донской.

3. В числе первых героев Советского Союза были:

а) Александр Покрышкин;

б) Валерий Чкалов;

в) Анатолий Ляпидевский;

г) Иван Доронин;

д) Герман Титов.

4. Первый российский военный корабль был построен (расположите на первом месте правильный ответ, а затем ответы в порядке убывания их достоверности):

а) в Кронштадте;

б) в окрестностях Коломны;

в) под Воронежем;

г) в Китеже;

д) в Лиссабоне.

5. Расположите в хронологическом порядке фамилии руководителей Правительства СССР:

а) Иосиф Виссарионович Сталин;

б) Вячеслав Михайлович Молотов;

в) Георгий Максимилианович Маленков;

г) Николай Александрович Булганин;

д) Алексей Иванович Рыков.

6. Целью строительства Санкт-Петербурга было (расположите ответы в порядке значимости):

а) перенос столицы Российского государства из Москвы;

б) создание плацдарма для ведения Северной войны на Балтике;

в) освоение северо-западных земель России;

г) создание крупной торгово-экономической и военной базы, максимально приближенной к европейским торговым центрам;

д) строительство Балтийского флота.

Принятые экспертами гипотезы по каждому заданию приведены в порядке возрастания моделируемого экспертами уровня обученности тестируемого по заданной шкале.

1 - А: Москва - не 903, Смоленск - не 1108;

1 - Б: Москва - 1147, Смоленск - не 1108, Ярославль - не 863, Владимир - не 863;

1 - В: Москва - 1147, Смоленск - 863, Ярославль - не 903, Псков - не 1108;

1 - Г: Москва - 1147, Смоленск - 863, Псков -903;

1 - Д = 1 - Г.

2 - А: не Дмитрий Донской;

2 - Б: не Дмитрий Донской, не Юрий Долгорукий;

2 - В: не Дмитрий Донской, не Владимир Мономах, не Юрий Долгорукий;

2 - Г = 2 - В;

2 - Д: верный ответ.

3 - А: не Герман Титов;

3 - Б: не Герман Титов, не Александр По-крышкин;

3 - В: Анатолий Ляпидевский + не Герман Титов, не Александр Покрышкин;

3 - Г: Анатолий Ляпидевский + не Герман Титов, не Александр Покрышкин, не Валерий Чкалов;

3 - Д = 3 - Г.

131

4 - А: не в Лиссабоне (без определения позиции Лиссабона);

4 - Б: не в Китеже и не в Лиссабоне (без определения позиций Китежа и Лиссабона);

4 - В: 4 - Лиссабон, 5 - Китеж;

4 - Г: 4 - Лиссабон, 5 - Китеж, Кронштадт не на 1-м месте;

4 - Д: 3 - Кронштадт; 4 - Лиссабон, 5 - Китеж.

5 - А: не Сталин на 1-й позиции;

5 - Б: не Сталин, не Маленков на 1-й позиции + Маленков был позже Сталина;

5 - В: не Сталин, не Маленков, не Булганин на 1-й позиции + Маленков и Булганин были позже Сталина;

5 - Г: 1 - Рыков, 2-3 - Молотов и Сталин, 4-5 - Маленков и Булганин;

5 - Д: 1 - Рыков, 2 - Молотов, 3 - Сталин, 4-5 - Маленков и Булганин.

6 - А: не а) на 1-м месте;

6 - Б: не а) и не д) на 1-м месте;

6 - В: д) - 4; а) - 5; + б) не на 1-м месте;

6 - Г: б) - 3; д) - 4; а) - 5;

6 - Д: верный ответ.

Рассчитанные для каждого ЕТЗ и уровня обученности тестируемых вероятности угадывания правильного ответа [7] приведены в таблице 1.

Таблица 1

Вероятности угадывания правильных ответов на единичное тестовое задание по истории России

Урони подготовленное™ Тит.Г '!н1г1.ЛШ11

1 2 г 4 5' 6

А п.с1 ж 0,25 0.М&7 0.0104 0.0104 0,0 ]Н

К С,] о,ззз 0,143 0,0 Ш 0,02М 0,013^

В 0.13? ад 0.25 адет 0.0625 0.2з

Г 4,5 ад ад 0,25 0,25 <1,5

д 0,5 1 0,5 0.5 0.5 1

Е ] 1 1 1 1 1

Здесь и далее символом «*» маркированы задания, отмеченные экспертами как наиболее сложные.

Аналогичным образом вторая группа экспертов выполнила моделирование решения ЕТЗ (до момента угадывания верного ответа) по географии.

1. Установите соответствие: Страна Столица Эквадор Бамако

Малави Хараре

Мали Бельмопан

Белиз Лилонегле

Зимбабве Кито

2. Самая полноводная река в мире:

а) Енисей;

б) Амур;

в) Амазонка;

г) Миссисипи;

д) Нил.

3. Страны, с которыми Россия имеет сухопутные границы:

а) Узбекистан;

б) Норвегия;

в) Польша;

г) Армения;

д) Турция.

4. Столицей Республики Тыва является (расположите на первом месте правильный ответ, а затем ответы в порядке убывания их достоверности):

а) Улан-Удэ;

б) Улан-Батор;

в) Габороне;

д) Кызыл;

е) Тана.

5. Расположите города по их близости к Москве:

а) Казань;

б) Воронеж;

в) Минск;

г) Санкт-Петербург;

д) Вологда.

6. Значение Северного морского пути для России заключается в (расположите ответы в порядке значимости):

а) разведывании месторождений полезных ископаемых в Арктике;

б) установлении морского сообщения между Северо-Западом и Дальним Востоком;

в) развитии инфраструктуры арктического побережья;

г) формировании единой транспортной системы областей страны, связанных реками с Северным Ледовитым океаном;

д) развитии международного сотрудничества со странами арктического бассейна.

Результаты экспертного моделирования выглядят следующим образом.

132

1 - А: Зимбабве - не Кито, Эквадор - не Ли-лонегле (исключение 2 неверных);

1 - Б: Малави - не Кито, Зимбабве - не Кито, Эквадор - не Лилонегле, Эквадор - не Бамако, Эквадор - не Хараре;

1 - В: Эквадор - Кито; Зимбабве - не Бамако, Зимбабве - не Лилонегле, Белиз - не Хараре, Белиз - не Бамако;

1 - Г: Эквадор - Кито; Зимбабве - Хараре; Белиз - не Бамако, Мали - не Бельмопан;

1 - Д: Эквадор - Кито; Зимбабве - Хараре; Мали - Бамако.

2 - А: не Миссисипи;

2 - Б: не Миссисипи, не Нил;

2 - В: не Миссисипи, не Нил, не Амур;

2 - Г: Амазонка - правильный ответ;

2 - Д = 2 - Г.

3 - А: не Турция;

3 - Б: Польша + не Турция;

3 - В Польша + не Турция, не Узбекистан;

3 - Г: Польша + не Узбекистан, не Турция, не Армения;

3 - Д: верный ответ.

4 - А: на 1 месте не Тана и не Габороне;

4 - Б: на 1 месте не Тана, не Габороне и не Улан-Батор;

4 - В: на 1 месте Кызыл, на 2-м не Габороне и не Тана;

4 - Г: 1 - Кызыл, 5 - Тана, 2 - не Габороне;

4 - Д: 1 - Кызыл, 4 - Габороне, 5 - Тана.

5 - А: на 1 месте не Казань и не Воронеж;

5 - Б: на 1 месте не Казань и не Воронеж, на последнем месте не Санкт-Петербург;

5 - В: на 5 месте Казань, на 1 месте не Воронеж и не Минск, Вологда ближе Санкт-Петербурга;

5 - Г: 1 - Вологда, 5 - Казань, Санкт-Петербург - не 4;

5 - Д: 1 - Вологда, 4 - Минск, 5 - Казань.

6 - А: 5 место - д);

6 - Б: 5 место - д), 4 место - а);

6 - В: 5 место - д), 4 место - а); г) - не 1-е место;

6 - Г: 1 - б), 4 - а), 5 - д;

6 - Д: верный ответ.

В таблице 2 приведены расчетные значения вероятности угадывания тестируемыми правильного ответа для каждого экспертного решения.

Таблица 2

Вероятности угадывания правильных ответов на единичное тестовое задание по географии

Урмм1ч подготаипБшюста Гниэн щший

Г 2 3 4 5" 6

А 0.012? 0,25 0.0667 0,0 и? 0.01.19 0.0417

Б 0,027« адззз 0 121 0,0003 0.0417 0,167

В 0,167 0.25 0.083? 0,167 (>.25

Г 0.25 1 0,5 0,25 0,25 0,5

д 0.5 1 1 0,5 0.5 !

Е 1 1 ] 1 ! 1

Третьей группе экспертов было предложено провести моделирование частичного или полного решения ЕТЗ по физике (раздел электричество и магнетизм).

1. Установите соответствие:

Физическая Единица

величина измерения

Индуктивность Тесла

Магнитный поток Фарада

Проводимость Генри Электрическая емкость Сименс

Магнитная индукция Вебер

2. Возникновение градиента температур в находящемся в магнитном поле проводнике, через который протекает электрический ток, называется эффектом:

а) Лебедева;

б) Пельтье;

в) Холла;

г) Эттингсгаузена;

д) Доплера.

3. Частоту гармонического электрического колебания можно измерить:

а) осциллографом;

б) гальванометром;

в) селективным вольтметром;

г) частотомером;

д) мостом Уитстона.

4. Относительная ширина полосы частот резонансного контура определяется (расположите на первом месте правильный ответ, а затем ответы в порядке убывания их достоверности):

а) произведением емкости и индуктивности контура;

б) комплексным сопротивлением контура;

в) величиной рассеиваемой за период колебаний мощности;

г) добротностью контура;

д) надежностью контура.

133

5. Расположите виды радиочастот в порядке возрастания длины волны:

1) КВЧ;

2) СВЧ;

3) УВЧ;

4) ГВЧ;

5) ОВЧ.

6. Ампер в Международной системе единиц (СИ) определяется как (расположите ответы по их соответствию правильному определению):

1) сила тока, который при прохождении по двум параллельным прямолинейным проводникам бесконечной длины и пренебрежимо малой площади кругового поперечного сечения, расположенным в вакууме на расстоянии 1 метр, вызвал бы силу взаимодействия в 210-7 ньютона на погонный метр проводника;

2) сила тока, при прохождении которого через стандартный раствор нитрата серебра осаждается 1,11800 мг серебра в секунду;

3) сила тока, при котором через поперечное сечение проводника за одну проходит заряд величиной в 1 кулон;

4) сила тока, который создает падение напряжения в 1 вольт на сопротивлении в 1 Ом;

5) сила тока, который возникает в проводнике сопротивлением 1 Ом при подключении его в качестве нагрузки к источнику ЭДС величиной 1 вольт.

Соответствующие результаты моделирования, закрепленные экспертными решениями, представлены следующими гипотезами о знаниях тестируемых.

1 - А: проводимость - не Фарада, не Генри; электрическая емкость - не Сименс;

1 - Б: электрическая емкость - Фарада; проводимость - не Тесла, не Генри;

1 - В: электрическая емкость - Фарада; индуктивность - Генри; проводимость - не Вебер;

1 - Г: емкость - Фарада; индуктивность -Генри; проводимость - Сименс;

1 - Д: верный ответ.

2 - А: не Доплера;

2 - Б: не Доплера, не Холла;

2 - В: не Доплера, не Холла, не Пельтье;

2 - Г = 2 - В;

2 - Д: верный ответ.

3 - А: частотомером;

3 - Б: частотомером и осциллографом;

3 - В: частотомером и осциллографом; не гальванометром;

3 - Г: частотомером и осциллографом; не гальванометром, не мостом Уитстона;

3 - Д: верный ответ.

4 - А: 5 - надежностью;

4 - Б: 5 - надежностью, 1 - не комплексным сопротивлением и не произведением емкости на индуктивность;

4 - В: 1 - добротностью, 5 - надежностью, 2 - не рассеиваемой за период колебаний мощностью;

4 - Г: 1 - добротностью, 2 - комплексным сопротивлением контура, 5 - надежностью;

4 - Д = 4 - Г.

5 - А: 5 - не ГВЧ и не СВЧ;

5 - Б: 1 - не СВЧ и не УВЧ, 5 - не СВЧ, не ГВЧ, не КВЧ;

5 - В: 1 - не СВЧ, не УВЧ, не ОВЧ; 2 - не ОВЧ, не УВЧ; 3 - не ГВЧ, не КВЧ;

4 - не ГВЧ, не КВЧ; 5 - не СВЧ, не ГВЧ, не КВЧ;

5 - Г: 1 - ГВЧ или КВЧ, 2 - ГВЧ или КВЧ, 3 -СВЧ или ОВЧ, 4 - СВЧ, УВЧ или ОВЧ, 5 - ОВЧ или УВЧ;

5 - Д: 1- ГВЧ или КВЧ, 2 - ГВЧ или КВЧ, 3 -СВЧ, 4 - ОВЧ или УВЧ, 5 - ОВЧ или УВЧ.

6 - А: нет вариантов;

6 - Б: 4 - 4) или 5); 5 - 4) или 5);

6 - В = 6 - Б;

6 - Г: 1 - 1), 2 - 2) или 3), 3 - 2) или 3), 4 - 4) или 5); 5 - 4) или 5);

6 - Д: 1 - 1), 2 - 2) или 3), 3 - 2) или 3), 4 - 4); 5 -5).

Соответствующие расчетные значения вероятностей угадывания тестируемыми правильного ответа приведены в таблице 3.

Таблица 3

Вероятности угадывания правильных ответов на единичное тестовое задание по физике (электричество и магнетизм)

Уровни ЕОДГ9ГОВК1ШС1СЛ1 Типы килпий

! 1 3 4 5" б*

Л 0,01<П 0,25 (1.0625 0,9417 0,013!? 0,00№

Е 0.0833 0.333 0,125 0,083.1 0.0333 0.0833

В 0,25 0,5 0,25 0,35 0,05 0ЛВДЗ

Г 0,5 0,5 0.5 0.5 0.125 0,25

д 1 ] 1 0,5 0,25 0,25

ь: 1 1 1 1 1 1

Сравнение данных, представленных в таблицах 1-3, показывает, что уровень обучен-ности «Д» практически гарантирует верное ре-

134

шение, если задание сформулировано в виде вопроса с выбором единственного верного ответа. В одном из трех случаев (география) верный ответ, по мнению экспертов, для данного вида ЕТЗ обеспечивался уровнем «Г».

При составлении ЕТЗ наибольшие трудности вызвал вид заданий 5 - установление последовательности, так как необходимо было выдержать единую структуру ЕТЗ для всех предметных областей и примерно одинаковый уровень содержательной сложности для каждой предметной области. В связи с этим составителям заданий пришлось отказаться от наиболее распространенной структуры ЕТЗ данного вида - восстановления правильной последовательности слов в определении (задание проигрывало в содержательной сложности остальным ЕТЗ в предметной области) или символов в формулах (нереализуемо для географии и истории России). В итоге ЕТЗ на установление последовательности, единые по структуре для всех трех предметных областей, обладали некоторым сходством с ЕТЗ вида 1 (на установление парных соответствий). Однако, по мнению экспертов, алгоритмы решения заданий видов 1 и 5 существенно отличались: позиции в последовательностях формировались путем взаимного сопоставления относительно общего признака, что не требовало конкретики знаний как отправной точки решения в отличие от ЕТЗ вида 1. По мнению экспертов, данный подход к составлению ЕТЗ вида 5 привел к повышению их содержательной сложности во всех трех предметных областях.

Выводы. Важной в методическом аспекте задачей составления КТОУДО является минимизация правильных ответов за счет угадывания, что необходимо для обеспечения достоверности оценок тестируемых. Решению данной задачи в значительной мере способствует оптимальный выбор вида ЕТЗ, из которых составляется тест. Требование к достоверности оценок теста находится в противоречии с требованием к его компактности, т.е. количеству ЕТЗ, из которых составлен тест. Увеличение объема теста позволяет повысить его надежность и достоверность оценок, однако приводит к увеличению времени тестирования, что, с одной стороны, усложняет решение задач мониторинга качества образования, а с другой - является фактором снижения надежности и достоверности результатов тестирования за счет повышения вероятности ошибок первого рода [8]. Разрешить данное противоречие позволяет конструирование КТОУДО из такого вида ЕТЗ, которые за счет минимизации оши-

бок второго рода, основным механизмом которых является угадывание верных ответов, обеспечивают приемлемую достоверность оценок при предельной компактности теста [1, 8].

На этапе подготовки ЕТЗ для экспертного моделирования их выполнения была решена задача сопоставимости данных для анализа выполнения ЕТЗ одного вида для трех предметных областей (истории России, географии, физики (электричество и магнетизм)), а также обеспечен единый уровень содержательной сложности для ЕТЗ различных видов в каждой из предметных областей.

На основе экспертных решений рассчитаны вероятности угадывания верных ответов тестируемыми с различным уровнем обученности по шестиуровневой модели. Расчетные результаты хорошо согласуются с полученными ранее априорными оценками вероятности ошибок второго рода для тестов, составленных из однородных ЕТЗ различных видов [1].

Несмотря на достаточное количество дис-тракторов (четыре), ЕТЗ с выбором единственного верного ответа оказались подвержены угадыванию верного ответа обучающимися, чьи модели обученности характеризуются неполнотой и даже фрагментарностью усвоения тестируемого содержания. Усложнение ЕТЗ с множественным выбором за счет заранее не известного тестируемым количества верных ответов не привело к существенному снижению вероятности угадывания верных ответов. В то же время ЕТЗ с упорядочиванием дистракто-ров и на установление последовательности, по мнению экспертов, ни по одной из предметных областей не могли быть корректно решены обучающимися, чей уровень подготовки позволял бы им получать преимущественно отличные оценки по соответствующим учебным дисциплинам. Данный результат объяснен экспертами исключительно специфической структурой данных ЕТЗ, требующих от обучающихся одновременно конкретных знаний и понимания их содержательной и логической взаимосвязи. Обеспечение трудности ЕТЗ с выбором единственного ответа, с множественным выбором и на установление последовательности, адекватной трудности ЕТЗ с упорядочиванием дистракторов и на установление последовательности оказалось возможным лишь за счет повышения содержательной сложности заданий. Трудность ЕТЗ с градацией верных ответов (вид 6) и с упорядочиванием дистракторов (вид 4) зависит от предметной области и является наивысшей в естественно-научной предметной области. По мнению разработчиков

135

тестов и экспертов, имеет место корреляция между сложностью разработки ЕТЗ и сложностью их решения, что особенно характерно для ЕТЗ видов 5 и 6.

1. Булгаков О.М., Старостенко И.Н., Хромых А.А., Дедикова А.О. Модели оценки качества тестов для контроля знаний. Краснодар, 2021.

2. Булгаков О.М., Ладыга А. И. Тестирование остаточных знаний обучающихся. Краснодар, 2021.

3. Аванесов В. С. Теория и практика педагогических измерений (материалы публикаций в открытых источниках и Интернет). Екатеринбург, 2005.

4. Ефремова Н.Ф. Тестовый контроль в образовании: учеб. пособие. М., 2005.

5. Ким В.С. Тестирование учебных достижений. Уссурийск, 2007.

6. Булгаков О.М., Дедикова А.О. Тестирование учебных достижений: от проверки знаний к проверке понимания // Вестник Санкт-Петербургского университета МВД России. 2020. № 2(86). С. 183-190.

7. Гмурман В.Е. Теория вероятностей и математическая статистика: учеб. для прикладного бакалавриата. 12-е изд. М., 2017.

8. Булгаков О.М., Дедикова А.О. О применимости методологического аппарата теории надежности к оценке качества тестов для проверки знаний // Вестник Воронежского института ФСИН России. 2017. № 4. С. 214-221.

Результаты экспертного моделирования могут быть полезны для специалистов - практиков разработки КТОУДО различного целевого назначения.

1. BulgakovO.M., Starostenko I.N., KhromykhA.A., Dedikova A.O. Models for assessing the quality of tests for knowledge control. Krasnodar, 2021.

2. Bulgakov O.M., Ladyga A.I. Testing the residual knowledge of students. Krasnodar, 2021.

3.AvanesovV.S. Theoryand practiceofpedagogical measurements (materials of publications in open sources and the Internet). Ekaterinburg, 2005.

4. Efremova N.F. Test control in education: textbook. Moscow, 2005.

5. Kim V.S. Testing of educational achievements. Ussuriysk, 2007.

6. Bulgakov O.M., Dedikova A.O. Testing educational achievements: from testing knowledge to testing understanding // Bulletin of the St. Petersburg University of the Ministry of Internal Affairs of Russia. 2020. No. 2(86). P. 183-190.

7. Gmurman V.E. Probability theory and mathematical statistics: a textbook for applied undergraduate studies. 12th ed. Moscow, 2017.

8. Bulgakov O.M., Dedikova A.O. On the applicability of the methodological apparatus of the theory of reliability to the assessment of the quality of tests for testing knowledge // Bulletin of the Voronezh Institute of the Federal Penitentiary Service of Russia. 2017. No. 4. P. 214-221.

СВЕДЕНИЯ ОБ АВТОРАХ

Булгаков Олег Митрофанович, доктор технических наук, профессор, первый заместитель начальника Краснодарского университета МВД России; e-mail: ombfrier@yandex.ru;

Гривенная Елена Николаевна, доктор педагогических наук, доцент, начальник отдела мониторинга реализации образовательных программ управления учебно-методической работы Краснодарского университета МВД России; e-mail: lady-docc@yandex.ru;

Дедикова Анна Олеговна, педагог дополнительного образования по информатике МБОУ «Прогимназия № 2»; e-mail: dedikova_a_o@rambler.ru

INFORMATION ABOUT AUTHORS

O.M. Bulgakov, Doctor of Technics, Professor, First Deputy Head of the Krasnodar University of the Ministry of the Interior of Russia; e-mail: ombfrier@yandex.ru;

E.N. Grivennaya, Doctor of Pedagogics, Associate Professor, Head of the Section for Monitoring the Implementation of Educational Programs of Educational and Methodological Department of the Krasnodar University of the Ministry of the Interior of Russia; e-mail: lady-docc@yandex.ru;

A.O. Dedikova, supplementary education teacher of computer science of Municipal Budget Educational Institution «Progymnasium № 2»; e-mail: dedikova_a_o@rambler.ru

136